Myers, Andrew. «AI-Detectors Biased Against Non-Native English Writers.» Stanford Institute for Human-Centered Artificial Intelligence, 15 de mayo de 2023. https://hai.stanford.edu/news/ai-detectors-biased-against-non-native-english-writers.

Los detectores de escritura con IA funcionan mejor con hablantes nativos de inglés. Los ensayos de estudiantes nacidos en EE. UU. fueron evaluados con alta precisión, mientras que los textos de hablantes no nativos fueron clasificados erróneamente como generados por IA en más del 60 % de los casos.

Un estudio de la Universidad de Stanford revela que los detectores de contenido generado por inteligencia artificial (IA) presentan sesgos significativos contra los escritores no nativos de inglés. Estos sistemas, diseñados para identificar textos producidos por IA, muestran una precisión notablemente baja al evaluar ensayos escritos por estudiantes cuya lengua materna no es el inglés.

La investigación, dirigida por el profesor James Zou, encontró que mientras los detectores alcanzaban una precisión casi perfecta al evaluar ensayos de estudiantes nacidos en EE. UU., clasificaron erróneamente más del 61% de los ensayos del TOEFL (Test of English as a Foreign Language) como generados por IA. Además, todos los detectores identificaron como IA 18 de los 91 ensayos evaluados (19%), y al menos uno de ellos marcó 89 de los 91 ensayos (97%) como potencialmente generados por IA.

Este sesgo se atribuye al uso de métricas como la «perplejidad», que mide la complejidad lingüística. Los escritores no nativos suelen obtener puntuaciones más bajas en aspectos como riqueza léxica, diversidad léxica, complejidad sintáctica y gramatical, lo que los hace más susceptibles a ser identificados erróneamente como generadores de IA. Además, los sistemas actuales son fácilmente manipulables mediante técnicas como la «ingeniería de indicaciones», donde se solicita a una IA generativa que reescriba un texto utilizando un lenguaje más sofisticado, lo que puede engañar a los detectores.

Los autores del estudio advierten sobre los riesgos éticos de utilizar estos detectores sin una evaluación rigurosa, ya que podrían llevar a acusaciones injustas o sanciones para estudiantes y trabajadores extranjeros. Proponen evitar su uso en entornos educativos con alta presencia de hablantes no nativos de inglés y sugieren el desarrollo de métodos más sofisticados, como la incorporación de marcas de agua digitales en los textos generados por IA, para mejorar la fiabilidad de los sistemas de detección.