Elkhatat, Ahmed M., Khaled Elsaid y Saeed Almeer. 2023. “Evaluating the efficacy of AI content detection tools in differentiating between human and AI-generated text.” International Journal for Educational Integrity 19: 17. https://doi.org/10.1007/s40979-023-00140-5

Se investiga la efectividad de diversas herramientas de detección de contenido generado por IA, como OpenAI, Writer, Copyleaks, GPTZero y CrossPlag, en la identificación de textos producidos por modelos de IA como ChatGPT.

Utilizando párrafos sobre el tema de las torres de refrigeración en procesos de ingeniería generados por ChatGPT Modelos 3.5 y 4, junto con respuestas humanas de control, los investigadores evaluaron la capacidad de estas herramientas para distinguir entre contenido humano y generado por IA.

Los resultados revelaron que las herramientas de detección fueron más precisas al identificar contenido generado por GPT 3.5 en comparación con GPT 4. Sin embargo, al aplicarlas a las respuestas humanas de control, las herramientas mostraron inconsistencias, produciendo falsos positivos y clasificaciones inciertas. Esto destaca la necesidad de un desarrollo y refinamiento continuo de las herramientas de detección de contenido generado por IA, ya que el contenido generado por IA se vuelve cada vez más sofisticado y difícil de distinguir del texto escrito por humanos.

El estudio subraya la importancia de no depender exclusivamente de estas herramientas para garantizar la integridad académica. Se recomienda adoptar un enfoque más holístico que combine el uso de herramientas de detección con revisiones manuales y consideraciones contextuales para asegurar una evaluación justa y precisa del contenido académico. Además, los autores sugieren que las instituciones educativas reconsideren sus métodos de evaluación tradicionales, incorporando tecnologías de IA para mejorar el aprendizaje y la evaluación, al tiempo que fomentan una cultura de honestidad académica y responsabilidad.

Aspectos clave:

• Ninguna herramienta es completamente infalible; la combinación de detección automática y revisión manual es esencial.
• Los textos generados por ChatGPT 4 son más difíciles de detectar, mostrando la necesidad de mejorar continuamente estas herramientas.
• Se recomienda integrar estas tecnologías con políticas educativas que fomenten la honestidad académica y métodos de evaluación adaptados.