Stanford HAI. «Researchers Use GPT-4 To Generate Feedback on Scientific Manuscripts». Accedido 31 de octubre de 2023. https://hai.stanford.edu/news/researchers-use-gpt-4-generate-feedback-scientific-manuscripts.

Combinando un amplio modelo lingüístico (LLM) y artículos científicos revisados por pares de código abierto, investigadores de Stanford han creado una herramienta basada en inteligencia Artificial que esperan pueda ayudar a otros investigadores a pulir y mejorar sus borradores.

La investigación científica tiene un problema con poder disponer de pares que analicen la validez de los artículos. No hay suficientes revisores cualificados para evaluar todos los estudios. Este problema afecta sobre todo a los investigadores jóvenes y a los de instituciones menos conocidas, que a menudo no tienen acceso a mentores experimentados que puedan dar su opinión a tiempo. Además, muchos estudios científicos son rechazados sumariamente sin revisión por pares.

Intuyendo una crisis creciente en una época de aumento de los estudios científicos, investigadores de IA de la Universidad de Stanford han utilizado el gran modelo lingüístico GPT-4 y un conjunto de datos de miles de artículos publicados anteriormente -repletos de los comentarios de sus revisores- para crear una herramienta que pueda «revisar previamente» los borradores de manuscritos.

«Esperamos que los investigadores puedan utilizar esta herramienta para mejorar sus borradores antes de presentarlos oficialmente a congresos y revistas», afirma James Zou, profesor adjunto de Ciencia de Datos Biomédicos en Stanford y miembro del Instituto de IA Centrada en el Ser Humano (HAI) de Stanford. Zou es el autor principal del estudio, publicado recientemente en arXiv.

Los investigadores empezaron comparando los comentarios realizados por un gran modelo lingüístico con los de revisores humanos. Afortunadamente, una de las revistas científicas más importantes, Nature, y sus quince subrevistas (Nature Medicine, etc.), no sólo publica cientos de estudios al año, sino que incluye los comentarios de los revisores de algunos de esos trabajos. Y Nature no es la única. La International Conference on Learning Representations (ICLR) hace lo mismo con todos los trabajos -tanto los aceptados como los rechazados- de su conferencia anual sobre aprendizaje automático.

«Entre los dos, curamos casi 5.000 estudios y comentarios revisados por pares para compararlos con los comentarios generados por GPT-4», dice Zou. «El modelo lo hizo sorprendentemente bien».

Las cifras se asemejan a un diagrama de Venn de comentarios superpuestos. Entre los cerca de 3.000 artículos de la familia Nature incluidos en el estudio, había una intersección entre GPT-4 y los comentarios humanos de casi el 31 por ciento. En el caso de ICLR, las cifras eran aún mayores: casi el 40% de los comentarios de GPT-4 y humanos coincidían. Es más, si se consideran únicamente los artículos rechazados del ICLR (es decir, los artículos menos maduros), el solapamiento de comentarios entre GPT-4 y humanos aumentó hasta casi el 44%: casi la mitad de todos los comentarios de GPT-4 y humanos coincidían.

La importancia de estas cifras se hace más patente si se tiene en cuenta que, incluso entre los humanos, existe una variación considerable entre los comentarios de los distintos revisores de un mismo artículo. El solapamiento entre humanos fue del 28% en las revistas Nature y del 35% en ICLR. Según estos parámetros, el rendimiento de GPT-4 es comparable al de los humanos.

Pero aunque las comparaciones entre ordenadores y humanos son instructivas, la verdadera prueba es si los autores de los artículos revisados valoran los comentarios aportados por uno u otro método de revisión. El equipo de Zou llevó a cabo un estudio de usuarios en el que investigadores de más de 100 instituciones enviaron sus artículos, incluidos muchos preprints, y recibieron los comentarios de GPT-4. La mitad de los investigadores participantes consideraron que GPT-4 era el método más eficaz. Más de la mitad de los investigadores participantes consideraron que los comentarios de GPT-4 eran «útiles/muy útiles» y el 82 por ciento los consideraron «más beneficiosos» que ciertos comentarios de algunos revisores humanos.

En el artículo, Zou se apresura a señalar que el método tiene sus limitaciones. En particular, los comentarios de GPT-4 pueden ser a veces más «genéricos» y no detectar los problemas técnicos más profundos del artículo. El GPT-4 también tiende a centrarse sólo en aspectos limitados de los comentarios científicos (por ejemplo, «añadir experimentos con más conjuntos de datos») y se queda corto a la hora de profundizar en los métodos de los autores.

Zou insistió en que el equipo no está sugiriendo que la GPT-4 elimine al «experto humano (par)» de la revisión por pares y sustituya a la revisión humana. La revisión por expertos humanos «es y debe seguir siendo» la base de la ciencia rigurosa, afirma.

«Pero creemos que la retroalimentación de la IA puede beneficiar a los investigadores en las primeras etapas de la redacción de sus artículos, sobre todo si se tienen en cuenta las crecientes dificultades para obtener a tiempo la opinión de los expertos sobre los borradores», concluye Zou. «Desde ese punto de vista, creemos que GPT-4 y la retroalimentación humana se complementan bastante bien».

Impact of Social Sciences. «Can Generative AI Add Anything to Academic Peer Review?», 26 de septiembre de 2023. https://blogs.lse.ac.uk/impactofsocialsciences/2023/09/26/can-generative-ai-add-anything-to-academic-peer-review/.

Aunque las aplicaciones de IA generativa prometen eficiencia y pueden beneficiar el proceso de revisión por pares, dadas sus deficiencias y nuestro limitado conocimiento de su funcionamiento interno, Mohammad Hosseini y Serge P.J.M. Horbach sostienen que no deberían utilizarse de forma independiente ni indiscriminada en todos los contextos. Centrándose en los últimos acontecimientos, sugieren que el proceso de revisión por pares es uno de los contextos en los que la IA generativa debería utilizarse con mucho cuidado, si es que se utiliza.

En el siempre cambiante panorama de la investigación académica y la comunicación académica, la llegada de la inteligencia artificial generativa y modelos de lenguaje grandes (LLM) como el ChatGPT de OpenAI ha despertado atención, elogios y críticas. El uso de la inteligencia artificial generativa en diversas tareas académicas se ha discutido en profundidad. Entre los posibles casos de uso, contar con el apoyo de la inteligencia artificial generativa para revisores y editores en el proceso de revisión por pares parece una opción prometedora. El sistema de revisión por pares ha enfrentado durante mucho tiempo diversos desafíos, incluyendo revisiones sesgadas o no constructivas, escasez de revisores expertos y la naturaleza que consume mucho tiempo de la empresa.

Aunque el uso de la inteligencia artificial generativa podría mitigar algunos de estos desafíos, como ocurre con muchas discusiones sobre la integración de nuevas tecnologías en flujos de trabajo existentes, también existen varias preocupaciones legítimas. Recientemente se analizó el uso de LLM en el contexto de cinco temas críticos dentro del contexto de la revisión por pares: los roles de los revisores y editores, la calidad y funciones de las revisiones por pares, problemas de reproducibilidad y las amplias implicaciones sociales y epistémicas del proceso de revisión por pares. Se concluyó que la inteligencia artificial generativa tiene el potencial de remodelar los roles tanto de los revisores por pares como de los editores, agilizando el proceso y posiblemente aliviando problemas relacionados con la falta de revisores. Sin embargo, esta posible transformación no está exenta de complejidad.

Asistir en las revisiones, pero no ser un revisor independiente

En su forma actual, las aplicaciones de IA generativa son incapaces de realizar revisiones por pares de forma independiente (es decir, sin supervisión humana), porque siguen cometiendo demasiados errores y su funcionamiento interno es desconocido y cambia rápidamente, lo que da lugar a resultados impredecibles. Sin embargo, la IA generativa puede ayudar a los actores del proceso de revisión por pares de otras maneras, por ejemplo, ayudando a los revisores a mejorar sus notas iniciales para que sean más constructivas y respetuosas. Además, la IA generativa puede permitir a los académicos que no escriban en su lengua materna contribuir al proceso de revisión en otros idiomas (por ejemplo, inglés), o ayudar a los editores a redactar cartas de decisión basadas en un conjunto de informes de revisión. Estos casos de uso podrían ayudar a ampliar el grupo de revisores y hacer que el proceso sea más eficiente y equitativo.

Confidencialidad, sesgo y robustez

A pesar de estos posibles beneficios, y además de las limitadas capacidades de la inteligencia artificial generativa para llevar a cabo revisiones independientes, existen preocupaciones importantes relacionadas con el uso de LLMs en contextos de revisión. Estas preocupaciones se refieren, por ejemplo, a la forma en que los desarrolladores de herramientas de inteligencia artificial generativa utilizan los datos proporcionados. Especialmente cuando se envían conjuntos de datos que pueden contener información personal o confidencial, la forma en que los desarrolladores de las herramientas utilizan el contenido proporcionado debería ser transparente, lo cual no es el caso en la actualidad. Además, las herramientas de inteligencia artificial generativa corren el riesgo de agravar algunos de los sesgos existentes en la revisión por pares, ya que reproducen contenido y sesgos presentes en sus datos de entrenamiento. En tercer lugar, dado que estas herramientas evolucionan rápidamente y su resultado depende en gran medida de la indicación proporcionada (incluso cambios menores podrían tener un gran impacto en el contenido generado), su resultado no siempre es reproducible. Esto plantea dudas sobre la robustez de las revisiones generadas con la ayuda de la inteligencia artificial, lo que refuerza la idea de que la inteligencia artificial generativa solo podría servir para mejorar (en cuanto a formato, tono, gramática y legibilidad) las revisiones que han sido escritas por revisores humanos.

Externalización del elemento social de la revisión por pares

Otra preocupación se relaciona con el hecho de que la revisión por pares es un proceso inherentemente social. De hecho, en lugar de ser un mecanismo de control mecánicamente objetivo, la revisión por pares se basa en las interacciones entre colegas acerca de lo que significa hacer buena ciencia. Por lo tanto, el proceso es un medio importante para debatir y negociar las normas de la comunidad acerca de qué preguntas deben abordarse, qué métodos son apropiados o aceptables, qué formas de comunicación son más adecuadas y muchas otras cuestiones. La revisión por pares también es un componente constitutivo fundamental de la integridad de la investigación y las normas éticas. En un estudio reciente, descubrimos que, en lo que respecta a las normas de integridad de la investigación, los investigadores valoran principalmente la opinión de sus pares epistémicos, es decir, aquellos que publican en las mismas revistas o asisten a las mismas conferencias, en lugar de, por ejemplo, otros colegas que trabajan en el mismo instituto. Los procesos de revisión por pares son un lugar destacado donde los expertos «se encuentran» y donde se desarrollan discusiones sobre estos temas, de manera implícita o explícita. Externalizar estos procesos a herramientas automatizadas podría empobrecer estas discusiones y tener consecuencias imprevistas más amplias.

Desarrollos recientes

En los último meses varios acontecimientos han cambiado el panorama de la inteligencia artificial generativa y han tenido un impacto en su uso con fines de revisión académica por pares. La reacción de algunos financiadores, como el National Institutes of Health (NIH) [Notice number NOT-OD-23-149] y Australian Research Council [Policy on Use of Generative Artificial Intelligence in the ARC’s grants programs]) que han prohibido el uso de la inteligencia artificial generativa en sus procesos de revisión y evaluación de subvenciones, se encuentra entre estos cambios.

Estos financiadores están principalmente preocupados por la confidencialidad y la generación de contenido falso, y con razón. La revisión de subvenciones es un juego diferente en comparación con las revisiones de artículos en revistas, ya que lo primero moldea las agendas de investigación y el acceso a recursos financieros, mientras que lo segundo informa principalmente sobre los resultados de estudios que ya se han realizado y, a veces, se han publicado como preprints.

En cuanto a la generación de contenido falso, los modelos de inteligencia artificial generativa aún cometen errores, incluso a nivel de hechos básicos. Por lo tanto, utilizarlos para revisar subvenciones y posteriormente distribuir fondos podría dañar seriamente la integridad del flujo de trabajo de los financiadores y comprometer la legitimidad de las decisiones de financiamiento. Además, las solicitudes de subvención a veces contienen información detallada sobre cada miembro del proyecto, cuya privacidad podría verse comprometida si se comparte con terceros. Esto también es una preocupación principal cuando se utiliza la inteligencia artificial generativa para revisar manuscritos o conjuntos de datos, que podrían contener información personal o sensible sobre los participantes en la investigación o tecnologías.

Las aplicaciones de la inteligencia artificial generativa todavía se encuentran en fases tempranas de desarrollo y en un futuro cercano podrían beneficiar el proceso de revisión por pares de muchas maneras. Dicho esto, dadas las limitaciones de esta tecnología, se deberían fomentar experimentos a pequeña escala y una adopción gradual. También debemos estar preparados para poner fin a su uso cuando sea necesario o en casos en los que los riesgos superen a los beneficios.

Si bien apoyamos la prohibición de las aplicaciones de inteligencia artificial generativa en algunos contextos, también tenemos preocupaciones sobre esta estrategia a largo plazo. Además de la complicada pregunta de cómo hacer cumplir dicha prohibición y supervisar el cumplimiento, siempre es necesario equilibrar las preocupaciones en relación con la inteligencia artificial generativa con sus beneficios en términos de eficiencia, que podrían liberar recursos financieros (en el caso de los financiadores, para financiar proyectos adicionales). En el futuro, recomendamos a los diferentes grupos de usuarios en la academia que revisen y modifiquen con frecuencia sus políticas sobre el uso de aplicaciones de inteligencia artificial generativa en función de las circunstancias y adopten medidas de mitigación de riesgos que se adapten a su contexto específico.