Gray, Andrew. «ChatGPT “contamination”: estimating the prevalence of LLMs in the scholarly literature». arXiv, 25 de marzo de 2024. https://doi.org/10.48550/arXiv.2403.16887.

El uso de ChatGPT y herramientas similares de Large Language Model (LLM) en la comunicación académica y la publicación académica ha sido ampliamente discutido desde que se volvieron fácilmente accesibles para una audiencia general a fines de 2022.

Las herramientas de Modelos de Lenguaje Grande (LLM) ofrecen una forma de generar grandes cantidades de texto de calidad razonablemente alta automáticamente, en respuesta a indicaciones humanas. Aunque estas herramientas han estado disponibles durante algunos años, el lanzamiento de ChatGPT 3.5 a finales de 2022, que ofrece una interfaz fácil y amplia publicidad para la herramienta, las hizo disponibles y visibles para el público en general. Desde entonces, ha habido una amplia discusión sobre su uso en las comunicaciones académicas. El entusiasmo inicial de que podrían reemplazar de manera confiable la mayoría de las formas de escritura seria, incluidos los intentos de enumerarlas como autores en documentos, ha sido reemplazado por una comprensión más matizada de sus capacidades y sus considerables limitaciones.

A fines de 2023, las encuestas encontraron que el 30% de los investigadores había utilizado herramientas para ayudar a escribir manuscritos, y muchos editores habían comenzado a ofrecer orientación sobre su uso. Por ejemplo, Wiley permite el uso de herramientas para desarrollar contenido, pero solo si los autores asumen plena responsabilidad por las declaraciones realizadas, y cuando este uso se divulga de manera transparente en el documento. Sin embargo, «las herramientas que se utilizan para mejorar la ortografía, la gramática y la edición general no están incluidas en el alcance de estas pautas».

El uso de LLMs para generar documentos fue ampliamente predicho después del lanzamiento, particularmente en «fábricas de documentos» (Paper Mills) que producen grandes cantidades de artículos de calidad deficiente. Sin embargo, es desafiante evaluar el efecto a gran escala. Algunos elementos distintivos de ChatGPT (como su conocida propensión a «alucinar» referencias) son difíciles de identificar que con el análisis caso por caso, y es probable que sean detectados por editores de todas formas.

Recientes investigaciones han identificado evidencia sólida de que ChatGPT y herramientas similares están siendo utilizados por investigadores para generar revisiones por pares para documentos de conferencias en el campo de la inteligencia artificial. Sin embargo, no se encontraron indicios de un patrón similar en las revisiones por pares para el portafolio de revistas de Nature.

Para identificar potencialmente documentos asistidos por LLM, se han identificado palabras conocidas por estar desproporcionadamente asociadas con textos generados por LLM. Estas palabras pueden ser señales de un aumento en el uso de texto generado por LLM en la literatura en su conjunto.

El estudio ha analizado la prevalencia de ciertas palabras clave y ha encontrado un aumento significativo en el uso de estas palabras en 2023, indicativo del posible uso extendido de LLM en la escritura académica. Se estima que al menos 60.000 artículos publicados en 2023 podrían haber sido asistidos por LLM, representando ligeramente más del 1% de todos los artículos académicos publicados.

Se han observado implicaciones significativas tanto para la integridad de la investigación como para el desarrollo futuro de los LLMs. Es importante abordar estas implicaciones para garantizar la calidad y la integridad de la investigación académica en el futuro.