Barshay, Jill. «Kids Who Use ChatGPT as a Study Assistant Do Worse on Tests». The Hechinger Report, 2 de septiembre de 2024. http://hechingerreport.org/kids-chatgpt-worse-on-tests/.

El experimento involucró a casi 1.000 estudiantes turcos de noveno a undécimo grado. Los estudiantes que utilizaron ChatGPT resolvieron un 48% más de problemas de práctica correctamente, pero obtuvieron un 17% menos en el examen final. Incluso aquellos que usaron una versión de ChatGPT diseñada para actuar como tutor no mostraron mejoría en los exámenes, aunque resolvieron un 127% más de problemas de práctica correctamente.

En primer lugar, los profesores repasaron una lección impartida previamente con toda la clase y, a continuación, se asignaron aleatoriamente sus aulas para practicar las matemáticas de una de estas tres maneras: con acceso a ChatGPT, con acceso a un tutor de IA potenciado por ChatGPT o sin ningún tipo de ayuda de alta tecnología. A los alumnos de cada curso se les asignaron los mismos problemas de práctica con o sin IA. Después, realizaban un examen para comprobar lo bien que habían aprendido el concepto. Los investigadores realizaron cuatro ciclos de este tipo, dando a los estudiantes cuatro sesiones de 90 minutos de tiempo de práctica en cuatro temas matemáticos diferentes para entender si la IA tiende a ayudar, perjudicar o no hacer nada.

Los errores de ChatGPT también pueden haber sido un factor contribuyente. El chatbot sólo respondió correctamente a los problemas de matemáticas la mitad de las veces. Sus cálculos aritméticos eran erróneos el 8% de las veces, pero el mayor problema era que su planteamiento paso a paso de cómo resolver un problema era erróneo el 42% de las veces. La versión tutorizada de ChatGPT recibía directamente las soluciones correctas y estos errores se reducían al mínimo.

ChatGPT también parece producir un exceso de confianza. En las encuestas que acompañaron al experimento, los estudiantes dijeron que no creían que ChatGPT les hubiera hecho aprender menos, aunque sí lo había hecho. Los estudiantes con el tutor de IA pensaban que habían mejorado mucho en el examen, aunque no fuera así. (También es otro buen recordatorio para todos nosotros de que nuestras percepciones de cuánto hemos aprendido a menudo son erróneas).

Los investigadores titularon su artículo «“Generative AI Can Harm Learning,» (La IA generativa puede perjudicar el aprendizaje) para dejar claro a padres y educadores que la actual variedad de chatbots de IA disponibles gratuitamente puede «inhibir sustancialmente el aprendizaje». Incluso una versión perfeccionada de ChatGPT diseñada para imitar a un tutor no ayuda necesariamente.

Los investigadores concluyeron que los estudiantes se apoyan demasiado en el chatbot, lo que inhibe su aprendizaje real, y que las respuestas erróneas de ChatGPT también contribuyeron a este problema. El estudio destaca la preocupación de que la tecnología, aunque útil, puede reducir la adquisición de habilidades fundamentales cuando se usa en exceso.