Gray, Andrew. «ChatGPT “contamination”: estimating the prevalence of LLMs in the scholarly literature». arXiv, 25 de marzo de 2024. https://doi.org/10.48550/arXiv.2403.16887.

El uso de ChatGPT y herramientas similares de Large Language Model (LLM) en la comunicación académica y la publicación académica ha sido ampliamente discutido desde que se volvieron fácilmente accesibles para una audiencia general a fines de 2022.

Las herramientas de Modelos de Lenguaje Grande (LLM) ofrecen una forma de generar grandes cantidades de texto de calidad razonablemente alta automáticamente, en respuesta a indicaciones humanas. Aunque estas herramientas han estado disponibles durante algunos años, el lanzamiento de ChatGPT 3.5 a finales de 2022, que ofrece una interfaz fácil y amplia publicidad para la herramienta, las hizo disponibles y visibles para el público en general. Desde entonces, ha habido una amplia discusión sobre su uso en las comunicaciones académicas. El entusiasmo inicial de que podrían reemplazar de manera confiable la mayoría de las formas de escritura seria, incluidos los intentos de enumerarlas como autores en documentos, ha sido reemplazado por una comprensión más matizada de sus capacidades y sus considerables limitaciones.

A fines de 2023, las encuestas encontraron que el 30% de los investigadores había utilizado herramientas para ayudar a escribir manuscritos, y muchos editores habían comenzado a ofrecer orientación sobre su uso. Por ejemplo, Wiley permite el uso de herramientas para desarrollar contenido, pero solo si los autores asumen plena responsabilidad por las declaraciones realizadas, y cuando este uso se divulga de manera transparente en el documento. Sin embargo, «las herramientas que se utilizan para mejorar la ortografía, la gramática y la edición general no están incluidas en el alcance de estas pautas».

El uso de LLMs para generar documentos fue ampliamente predicho después del lanzamiento, particularmente en «fábricas de documentos» (Paper Mills) que producen grandes cantidades de artículos de calidad deficiente. Sin embargo, es desafiante evaluar el efecto a gran escala. Algunos elementos distintivos de ChatGPT (como su conocida propensión a «alucinar» referencias) son difíciles de identificar que con el análisis caso por caso, y es probable que sean detectados por editores de todas formas.

Recientes investigaciones han identificado evidencia sólida de que ChatGPT y herramientas similares están siendo utilizados por investigadores para generar revisiones por pares para documentos de conferencias en el campo de la inteligencia artificial. Sin embargo, no se encontraron indicios de un patrón similar en las revisiones por pares para el portafolio de revistas de Nature.

Para identificar potencialmente documentos asistidos por LLM, se han identificado palabras conocidas por estar desproporcionadamente asociadas con textos generados por LLM. Estas palabras pueden ser señales de un aumento en el uso de texto generado por LLM en la literatura en su conjunto.

El estudio ha analizado la prevalencia de ciertas palabras clave y ha encontrado un aumento significativo en el uso de estas palabras en 2023, indicativo del posible uso extendido de LLM en la escritura académica. Se estima que al menos 60.000 artículos publicados en 2023 podrían haber sido asistidos por LLM, representando ligeramente más del 1% de todos los artículos académicos publicados.

Se han observado implicaciones significativas tanto para la integridad de la investigación como para el desarrollo futuro de los LLMs. Es importante abordar estas implicaciones para garantizar la calidad y la integridad de la investigación académica en el futuro.

Maiberg ·, Emanuel. «Scientific Journals Are Publishing Papers With AI-Generated Text». 404 Media, 18 de marzo de 2024. https://www.404media.co/scientific-journals-are-publishing-papers-with-ai-generated-text/.

La frase ChatGPT «A partir de mi última actualización de conocimientos» aparece en varios trabajos publicados por revistas académicas. Las revistas científicas están publicando artículos con texto generado por IA

La inclusión de lenguaje aparentemente generado por herramientas de IA como ChatGPT en artículos científicos publicados muestra cuán omnipresente se ha vuelto la tecnología, y destaca los problemas que arrastra desde tiempo atrás la publicación académica en algunas revistas académicas revisadas por pares.

Al buscar la frase «As of my last knowledge update» en Google Scholar, una herramienta de búsqueda gratuita que indexa artículos publicados en revistas académicas, se obtienen 115 resultados. La frase es utilizada frecuentemente por ChatGPT de OpenAI para indicar cuándo se está obteniendo los datos que proporciona a los usuarios, y los meses y años específicos encontrados en estos artículos académicos corresponden a actualizaciones de conocimiento previas de ChatGPT.

«Hasta la última actualización de mis conocimientos, en septiembre de 2021, no existe una correlación científica ampliamente aceptada entre el entrelazamiento cuántico y las ondas escalares longitudinales», una frase que frecuentemente utiliza ChatGPT, se lee en un artículo titulado «Quantum Entanglement: Examining its Nature and Implications» publicado en el «Journal of Material Sciences & Manfacturing [sic] Research», una publicación que afirma estar revisada por expertos.

La mayoría de los artículos científicos que se observan y que incluyen esta frase fueron publicados en revistas que son pequeñas, no muy conocidas y parecen ser «fábricas de artículos«, revistas con bajos estándares editoriales que publicarán casi cualquier cosa rápidamente. Una publicación donde se encontró la frase generada por IA, la revista Open Access Research Journal of Engineering and Technology,, solicita «cargos por publicación bajos», un «certificado electrónico» de publicación, y actualmente está anunciando una convocatoria de artículos, prometiendo la aceptación dentro de 48 horas y la publicación dentro de cuatro días.

Este tipo de revistas son un problema bien conocido en la comunidad académica, y preceden a la llegada de las herramientas de IA generativas. En febrero, The Guardian informó que el año pasado se retiraron 10.000 «artículos fraudulentos» de revistas académicas. Un estudio en Nature también destacó estafas de «pago por publicación», que son revistas que cobran tarifas exorbitantes a cambio de publicar un artículo rápidamente. Separar este tipo de artículos y revistas de la ciencia legítima a veces puede ser difícil, porque muchas revistas respetables también cobran a los científicos «tarifas de procesamiento de artículos» (APCs) para ser publicadas.

Sin embargo, también se encontró lenguaje generado por IA en revistas académicas más respetables. La semana pasada, la investigadora de Bellingcat Kolina Koltai tuiteó un artículo publicado en Superficies e Interfaces, que incluía la frase «Certainly, here is a possible introduction for your topic:» (He aquí una posible introducción para su tema) al comienzo de la introducción del artículo. El título del artículo es “The three-dimensional porous mesh structure of Cu-based metal-organic-framework – aramid cellulose separator enhances the electrochemical performance of lithium metal anode batteries.”

Michael J. Naughton, profesor de física en Boston College y uno de los editores de Superficies e Interfaces, dijo que la publicación es consciente del artículo y está «retractándolo». Naughton también señaló la política existente de la publicación sobre IA.

«Cuando los autores utilizan inteligencia artificial generativa (IA) y tecnologías asistidas por IA en el proceso de escritura, los autores solo deben usar estas tecnologías para mejorar la legibilidad y el lenguaje», establece la política. «La aplicación de la tecnología debe hacerse con supervisión y control humanos, y los autores deben revisar cuidadosamente y editar el resultado, ya que la IA puede generar una salida que suena autoritaria pero que puede ser incorrecta, incompleta o sesgada.»

La política también establece que los autores deben revelar si usan IA en el artículo.

Algunos de los artículos indexados en Google Scholar que usan respuestas estándar de ChatGPT no son necesariamente investigaciones generadas por IA. Algunos de los artículos son estudios que investigan los tipos de respuestas que da ChatGPT, y simplemente citan las respuestas que obtienen. Por ejemplo, uno de los artículos que utiliza el término está investigando los «modelos de falla» de varios sistemas de chat de IA.

Esta no es la primera vez que se observa a revistas académicas publicar contenido generado por IA. En febrero, una revista llamada Frontiers in Cell Development and Biology publicó un artículo con varias imágenes claramente generadas por IA, incluida una de una rata con un pene gigante.