«AI Detectors Falsely Accuse Students of Cheating—With Big Consequences». Bloomberg.com.18 de octubre de 2024. https://www.bloomberg.com/news/features/2024-10-18/do-ai-detectors-work-students-face-false-cheating-accusations.

Un estudio revela que alrededor de dos tercios de los profesores utilizan regularmente herramientas para detectar contenido generado por IA. Este uso extendido puede llevar a que incluso pequeñas tasas de error se traduzcan en un gran número de acusaciones falsas.

Desde el lanzamiento de ChatGPT hace casi dos años, las escuelas han implementado diversas herramientas de detección para identificar contenido escrito por IA. Los mejores detectores de redacciones con IA son muy precisos, pero no son infalibles. Businessweek probó dos de los principales servicios -GPTZero y Copyleaks- en una muestra aleatoria de 500 redacciones de solicitudes universitarias enviadas a la Universidad A&M de Texas en el verano de 2022, poco antes del lanzamiento de ChatGPT, garantizando así que no habían sido generadas por IA. Los ensayos se obtuvieron a través de una solicitud de registros públicos, lo que significa que no formaban parte de los conjuntos de datos con los que se entrenan las herramientas de IA. Businessweek descubrió que los servicios marcaban falsamente entre el 1% y el 2% de los ensayos como probablemente escritos por IA, y en algunos casos afirmaban tener una certeza cercana al 100%.

Incluso una tasa de error tan pequeña como puede acumularse rápidamente, dado el gran número de trabajos que los estudiantes realizan cada año, con consecuencias potencialmente devastadoras para los estudiantes que son falsamente marcados. Al igual que ocurre con las acusaciones más tradicionales de engaño y plagio, los estudiantes que utilizan IA para hacer sus deberes tienen que rehacer sus tareas y se enfrentan a suspensos y períodos de prueba.

Los más vulnerables a acusaciones erróneas son aquellos que escriben de manera más genérica, como estudiantes no nativos en inglés o aquellos con estilos de escritura más mecánicos. Moira Olmsted, una estudiante de 24 años, fue acusada de utilizar IA para un trabajo en línea en la Universidad Central Methodist, lo que le valió una calificación de cero. La acusación se basó en un detector de IA que había marcado su trabajo como posiblemente generado por inteligencia artificial, a pesar de su estilo de escritura, influenciado por su trastorno del espectro autista. Aunque logró que la calificación fuera cambiada, recibió una advertencia de que futuras detecciones similares serían tratadas como plagio.

Un estudio realizado en 2023 por investigadores de la Universidad de Stanford descubrió que los detectores de IA eran «casi perfectos» cuando comprobaban redacciones escritas por estudiantes de octavo curso nacidos en EE.UU., pero marcaban más de la mitad de las redacciones escritas por estudiantes no nativos de inglés como generadas por IA. Turnitin, una popular herramienta de detección de IA ha declarado que tiene una tasa de falsos positivos del 4% al analizar frases. Turnitin se negó a poner su servicio a disposición para realizar pruebas. En una entrada del blog 2023, la Universidad de Vanderbilt, una de las principales escuelas que desactivaron el servicio de detección de IA de Turnitin por motivos de precisión, señaló que, de lo contrario, cientos de trabajos de estudiantes habrían sido marcados incorrectamente durante el curso académico como escritos en parte por IA. Las empresas de detección de IA insisten en que sus servicios no deben tratarse como juez, jurado y verdugo, sino como un dato para ayudar a informar y orientar a los profesores.

Businessweek también descubrió que los servicios de detección de IA a veces pueden ser engañados por herramientas automatizadas diseñadas para hacer pasar la escritura de IA por humana. Esto podría dar lugar a una carrera armamentística que enfrentara a una tecnología contra otra, dañando la confianza entre educadores y estudiantes con escasos beneficios educativos.

OpenAI ha anunciado recientemente que no lanzará una herramienta para detectar escritos generados por IA, en parte debido a preocupaciones sobre su impacto negativo en ciertos grupos, incluidos los estudiantes que hablan inglés como segunda lengua. Aunque algunas instituciones están reconsiderando el uso de detectores de IA, muchos colegios todavía confían en ellos. Startups de detección de IA han atraído inversiones significativas desde 2019, lo que refleja el aumento del uso de estas tecnologías. Sin embargo, la ansiedad y paranoia en el aula persisten, ya que los estudiantes dedican tiempo a defender la integridad de su trabajo y temen el uso de herramientas de asistencia de escritura comunes.

A pesar de que algunas empresas de detección de IA afirman tener tasas de error bajas, la presión sobre los estudiantes para evitar ser acusados de hacer trampa ha llevado a algunos a modificar sus trabajos, lo que, en muchos casos, ha empeorado su calidad. La situación ha provocado que algunos estudiantes eliminen herramientas como Grammarly de sus dispositivos por miedo a ser marcados como autores de contenido generado por IA. Bloomberg descubrió que utilizar Grammarly para «mejorar» una redacción o «hacer que suene académica» convertirá un trabajo que había pasado de estar escrito al 100% por humanos a estar escrito al 100% por IA.

Educadores y estudiantes consideran que el sistema actual es insostenible, dada la tensión que crea y el hecho de que la IA está aquí para quedarse. Algunos profesores prefieren confiar en su intuición y mantener un diálogo abierto con los estudiantes en lugar de depender de herramientas de detección.