Conroy, Gemma. «Scientists Used ChatGPT to Generate an Entire Paper from Scratch — but Is It Any Good?» Nature, 7 de julio de 2023. https://doi.org/10.1038/d41586-023-02218-z.

Un par de científicos produjeron un artículo de investigación en menos de una hora con la ayuda de ChatGPT, una herramienta impulsada por inteligencia artificial (IA) que puede entender y generar texto similar a como lo haría humano. El artículo era fluido, perspicaz y presentado en la estructura esperada para un artículo científico, pero los investigadores señalan que hay muchos obstáculos por superar antes de que la herramienta pueda ser realmente útil.

El objetivo era explorar las capacidades de ChatGPT como un «copiloto» de investigación y generar debate sobre sus ventajas y desventajas, según Roy Kishony, biólogo y científico de datos en el Technion, Instituto de Tecnología de Israel en Haifa. «Necesitamos una discusión sobre cómo obtener los beneficios con menos inconvenientes», dice.

Kishony y su estudiante Tal Ifargan, también científico de datos en el Technion, descargaron un conjunto de datos disponible públicamente del Behavioral Risk Factor Surveillance System de los Centros para el Control y la Prevención de Enfermedades de Estados Unidos, una base de datos de encuestas telefónicas relacionadas con la salud. El conjunto de datos incluye información recopilada de más de 250,000 personas sobre su estado de diabetes, consumo de frutas y verduras y actividad física.

Los componentes básicos de un artículo

Los investigadores pidieron a ChatGPT que escribiera código que pudieran usar para descubrir patrones en los datos que pudieran analizar más a fondo. En su primer intento, el chatbot generó código lleno de errores y que no funcionaba. Pero cuando los científicos transmitieron los mensajes de error y le pidieron que corrigiera los errores, finalmente produjo código que se podía utilizar para explorar el conjunto de datos.

Con un conjunto de datos más estructurado en mano, Kishony e Ifargan pidieron a ChatGPT que los ayudara a desarrollar un objetivo de estudio. La herramienta sugirió que investigaran cómo la actividad física y la dieta afectan el riesgo de diabetes. Una vez que generó más código, ChatGPT entregó los resultados: consumir más frutas y verduras y hacer ejercicio se asocia con un menor riesgo de diabetes. Luego, se le pidió a ChatGPT que resumiera los hallazgos clave en una tabla y escribiera toda la sección de resultados. Paso a paso, pidieron a ChatGPT que escribiera el resumen, la introducción, los métodos y las secciones de discusión de un manuscrito. Finalmente, pidieron a ChatGPT que refinara el texto. «Compusimos [el artículo] a partir de la salida de muchas indicaciones», dice Kishony. «Cada paso se basa en los productos de los pasos anteriores».

Aunque ChatGPT generó un manuscrito claramente escrito con un análisis de datos sólido, el artículo estaba lejos de ser perfecto, según Kishony. Un problema que encontraron los investigadores fue la tendencia de ChatGPT a llenar los vacíos inventando cosas, un fenómeno conocido como alucinación. En este caso, generó citas falsas e información inexacta. Por ejemplo, el artículo afirma que el estudio «aborda una brecha en la literatura», una frase común en los artículos, pero inexacta en este caso, según Tom Hope, científico de la computación en la Universidad Hebrea de Jerusalén. El hallazgo «no es algo que sorprenderá a los expertos médicos», dice. «Está lejos de ser novedoso».

Beneficios y preocupaciones

Kishony también se preocupa de que estas herramientas puedan facilitar que los investigadores participen en prácticas deshonestas, como el «P-hacking», en el que los científicos prueban varias hipótesis en un conjunto de datos, pero solo informan aquellas que producen un resultado significativo.

Otra preocupación es que la facilidad para producir artículos con herramientas generativas de IA pueda resultar en una inundación de revistas con documentos de baja calidad, agrega. Afirma que su enfoque de datos a artículo, con una supervisión humana central en cada paso, podría ser una forma de garantizar que los investigadores puedan comprender, verificar y replicar fácilmente los métodos y los hallazgos.

Vitomir Kovanović, quien desarrolla tecnologías de IA para la educación en la Universidad de Australia del Sur en Adelaide, señala que es necesario tener una mayor visibilidad de las herramientas de IA en los artículos de investigación. De lo contrario, será difícil evaluar si los hallazgos de un estudio son correctos, dice. «Es probable que tengamos que hacer más en el futuro si la producción de documentos falsos se vuelve tan fácil».

Las herramientas de IA generativas tienen el potencial de acelerar el proceso de investigación al llevar a cabo tareas sencillas pero que consumen mucho tiempo, como escribir resúmenes y generar código, dice Shantanu Singh, biólogo computacional en el Broad Institute del MIT y Harvard en Cambridge, Massachusetts. Podrían utilizarse para generar artículos a partir de conjuntos de datos o para desarrollar hipótesis, dice. Sin embargo, debido a que las alucinaciones y los sesgos son difíciles de detectar para los investigadores, Singh dice: «No creo que escribir artículos completos, al menos en el futuro previsible, sea un uso particularmente bueno».

En conclusión. ChatGpt no puede escribir un trabajo de investigación científica completamente solo. El conocimiento científico, la experiencia humana, el pensamiento crítico y el análisis son esenciales para la redacción de un trabajo de investigación. ChatGPT puede utilizarse como asistente en la generación de contenidos para un trabajo de investigación científica.