Thelwall, M., Lehtisaari, M., Katsirea, I., Holmberg, K., & Zheng, E.-T. (2025). Does ChatGPT ignore article retractions and other reliability concerns? Learned Publishing. Advance online publication. https://doi.org/10.1002/leap.2018

El trabajo destaca la necesidad de un uso crítico y cuidadoso de herramientas como ChatGPT en contextos académicos, donde la precisión y la confiabilidad de la información son esenciales.

El estudio examina cómo los modelos de lenguaje grande (LLMs), específicamente ChatGPT 4o-mini, manejan información sobre artículos académicos que han sido retractados o que presentan problemas de confiabilidad. Los autores recopilaron un conjunto de 217 estudios académicos que habían sido retractados o señalados por problemas, todos con alta repercusión en redes sociales (altmetrics). Se pidió a ChatGPT 4o-mini que evaluara la calidad de estos artículos en múltiples ocasiones (un total de 6510 evaluaciones). Sorprendentemente, en ninguna de las respuestas se mencionó que los artículos estaban retractados ni que tenían errores significativos, y en muchas ocasiones se les asignaron calificaciones altas, como «de clase mundial» o «excelente a nivel internacional».

Además, en un análisis complementario, se tomaron 61 afirmaciones extraídas de estos artículos problemáticos y se consultó a ChatGPT si cada una era verdadera. En dos tercios de los casos, el modelo respondió afirmativamente, incluyendo afirmaciones que ya habían sido desmentidas hacía más de diez años. Estos hallazgos ponen de relieve un riesgo importante: aunque los LLMs son cada vez más utilizados para apoyar revisiones académicas y búsquedas de información, no siempre detectan ni advierten sobre la retirada o la invalidez de la información que manejan. Por lo tanto, los usuarios deben ser cautelosos y verificar cuidadosamente cualquier contenido generado por estos modelos para evitar la propagación de información falsa o desactualizada.