«Students’ Use of Generative AI: The Threat of Hallucinations». 2023. Center for Democracy and Technology (blog). 18 de diciembre de 2023. https://cdt.org/insights/students-use-of-generative-ai-the-threat-of-hallucinations/.

Los sistemas de inteligencia artificial generativa entrenados con grandes cantidades de datos existentes utilizan el aprendizaje automático para producir nuevo contenido (como texto o imágenes) en respuesta a las indicaciones de los usuarios. En educación, la inteligencia artificial generativa se menciona con mayor frecuencia en el contexto de la integridad académica, con profesores expresando temores sobre el fraude en el aula.

Sin embargo, la encuesta a profesores, padres y estudiantes muestra que el 45 por ciento de los estudiantes que dicen haber utilizado inteligencia artificial generativa informan haberlo hecho por razones personales, mientras que solo el 23 por ciento informa haberlo utilizado para la escuela. De aquellos que han utilizado la tecnología por razones personales, muchas de las aplicaciones son de gran importancia: el 29 por ciento la ha utilizado para lidiar con la ansiedad o problemas de salud mental, el 22 por ciento para lidiar con problemas con amigos y el 16 por ciento para lidiar con problemas familiares. Como resultado, incluso en el contexto de uso personal, los sistemas de inteligencia artificial generativa que producen información incorrecta pueden tener consecuencias perjudiciales significativas.

¿Qué son las alucinaciones y por qué ocurren? Por su estilo de escritura y la forma en que proporcionan información, los sistemas de inteligencia artificial generativa pueden parecer fuentes confiables y autorizadas de información. Sin embargo, estos sistemas a menudo producen texto que es factualmente incorrecto. Estos errores factuales se conocen como «alucinaciones». Las alucinaciones son una consecuencia tanto del diseño como de la estructura operativa de los sistemas de inteligencia artificial generativa.

Desde el punto de vista del diseño, los sistemas de inteligencia artificial generativa están construidos con la intención de imitar el texto producido por humanos. Para lograr esto, generalmente se entrenan con enormes conjuntos de datos de texto a partir de los cuales el sistema aprende sobre la estructura de oraciones y párrafos, y luego produce texto que parece tener sentido para los lectores humanos al predecir repetidamente la siguiente palabra más lógica. Este proceso no está diseñado para crear contenido que sea verdadero o correcto, sino que tenga sentido.

Estructuralmente, la mayoría de los sistemas de inteligencia artificial generativa operan «desconectados», lo que significa que no están obteniendo activamente datos de internet para responder a indicaciones. Por lo tanto, están limitados a los datos contenidos en sus conjuntos de datos de entrenamiento. Esto hace que los sistemas de inteligencia artificial generativa sean particularmente poco confiables cuando se trata de eventos actuales que no aparecen en sus conjuntos de datos de entrenamiento.

Los posibles impactos perjudiciales de las alucinaciones en los estudiantes La realidad de las alucinaciones de inteligencia artificial generativa, junto con los altos niveles de uso personal por parte de los estudiantes para asuntos importantes, plantea grandes preocupaciones sobre el acceso a información precisa en momentos de crisis. Por ejemplo, los estudiantes podrían estar haciendo preguntas a ChatGPT (u otra herramienta de inteligencia artificial generativa) sobre cómo lidiar con un problema de salud mental en curso, que podría ser potencialmente una situación de vida o muerte. Dado que la mayoría de los sistemas de inteligencia artificial generativa probablemente utilizados por los estudiantes se entrenan con información recopilada de internet, podrían replicar malentendidos comunes sobre problemas sensibles como desafíos de salud mental, roles de género y orientación sexual.

Además de las alucinaciones tradicionales, que son simplemente información incorrecta, la inteligencia artificial generativa también puede tener impactos emocionales significativos en los estudiantes que utilizan la herramienta por razones personales al replicar prejuicios sociales contra poblaciones marginadas, incluidas cuestiones de raza, género u orientación sexual. Los estudiantes, especialmente durante las etapas vitales de desarrollo de la educación K-12, pueden internalizar estos prejuicios, ya sea contra ellos mismos o contra otros.

Las alucinaciones también son motivo de preocupación significativa cuando los estudiantes utilizan plataformas de inteligencia artificial generativa con fines académicos. La posibilidad de que los estudiantes reciban información inexacta puede ir en contra directa del objetivo de las escuelas de proporcionar información confiable y de calidad a los estudiantes. Los estudiantes que no comprenden las posibilidades de alucinaciones de estas herramientas pueden usarlas de manera ineficaz y perder usos beneficiosos. Sin comprender las limitaciones de la inteligencia artificial generativa, los estudiantes pueden no poder aprovechar de manera efectiva su potencial como herramienta para complementar su aprendizaje y habilidades de pensamiento crítico.

¿Cómo deben abordar las escuelas el problema de las alucinaciones?

Para combatir las posibles consecuencias devastadoras de las alucinaciones de inteligencia artificial generativa tanto en contextos personales como académicos, las escuelas deben:

• Comprender las limitaciones de la inteligencia artificial generativa y asegurarse de que los maestros estén adecuadamente capacitados. Aunque los beneficios potenciales de estas herramientas para mejorar el aprendizaje pueden ser emocionantes, es imperativo que los funcionarios escolares estén completamente familiarizados con las deficiencias tecnológicas e impartan ese conocimiento a los educadores. Los maestros desempeñan un papel crucial para garantizar que la inteligencia artificial generativa se utilice de manera responsable y apropiada en el aula. Pero para hacerlo, necesitan acceso a recursos y capacitación.
• Continuar invirtiendo en consejeros y otros apoyos de salud mental. Las escuelas deben tener cuidado de no dirigir a los estudiantes hacia el uso de inteligencia artificial generativa como recurso sobre temas tan sensibles como su salud mental. Los problemas de salud mental en curso requieren empatía y experiencia humanas, por lo que las escuelas no deben adquirir herramientas de inteligencia artificial generativa para reemplazar o incluso triar el cuidado que de otro modo proporcionaría un ser humano. Si las escuelas van a adquirir una herramienta para complementar a los consejeros y apoyos de salud mental ya existentes, deberían hacer referencia a nuestra guía sobre principios de adquisición responsables, ya que incluso como herramienta complementaria, los sistemas de inteligencia artificial generativa pueden causar daño si no se prueban y regulan adecuadamente.
• Brindar educación a los estudiantes sobre qué es la inteligencia artificial generativa, cómo funciona y por qué ocurren las alucinaciones. Para combatir la exageración no controlada del público en torno a la inteligencia artificial generativa, las escuelas deben dotar a los estudiantes con conocimientos básicos sobre la tecnología, sus capacidades y limitaciones, y cómo puede salir mal tanto en usos académicos como personales.
• Brindar educación a los estudiantes sobre la alfabetización mediática y las habilidades de investigación. El lanzamiento de ChatGPT en noviembre pasado subrayó la necesidad de que los estudiantes comprendan cómo ser consumidores responsables y efectivos del conocimiento a través de nuevas herramientas tecnológicas. El uso de la inteligencia artificial generativa es cada vez más inevitable de la misma manera que el uso de internet, por lo que es vital que las escuelas proporcionen a los estudiantes capacitación y recursos sobre cómo evaluar la precisión y confiabilidad de la información obtenida a través de ChatGPT y otras plataformas de inteligencia artificial generativa.
• Asegurarse de que maestros y estudiantes comprendan cuándo es apropiado usar la inteligencia artificial generativa. La inteligencia artificial generativa no está destinada a reemplazar la enseñanza y el aprendizaje tradicionales en ningún caso; no es un reemplazo del conocimiento y no es un terapeuta o consejero efectivo para problemas personales. Sin embargo, puede usarse, por ejemplo, como una herramienta de apoyo para mejorar la escritura o como una herramienta novedosa para la investigación al explorar un nuevo tema. Las escuelas deben proporcionar orientación y capacitación tanto a maestros como a estudiantes sobre cómo hacer un uso efectivo de la inteligencia artificial generativa.