Archivo de la etiqueta: Revisión científica

¿Puede la inteligencia artificial revisar la literatura científica y descifrar su significado?

Pearson, Helen. «Can AI Review the Scientific Literature — and Figure out What It All Means?» Nature 635, n.o 8038 (13 de noviembre de 2024): 276-78. https://doi.org/10.1038/d41586-024-03676-9.


La inteligencia artificial (IA) está revolucionando la revisión de la literatura científica al ofrecer herramientas que pueden resumir grandes volúmenes de información de manera rápida. Sin embargo, esta innovación plantea tanto beneficios como riesgos.

La IA en la ciencia no es un tema nuevo. Los investigadores han utilizado herramientas de software durante décadas para buscar y analizar la literatura científica. Sin embargo, los recientes modelos de lenguaje de gran escala (LLM), como ChatGPT, han generado entusiasmo por la automatización de la síntesis de información. Estos modelos no solo encuentran y resumen artículos, sino que ahora pueden, en teoría, generar revisiones narrativas de literatura científica, aunque todavía no alcanzan el nivel de rigor de las revisiones sistemáticas.

Este campo está en auge debido a la dificultad de los investigadores para mantenerse al día con la creciente cantidad de publicaciones científicas. Tal es el caso de Sam Rodriques, quien, junto a su equipo de la startup FutureHouse, ha creado un sistema de IA llamado PaperQA2, diseñado para sintetizar información científica. Con él, lograron producir artículos sobre 17.000 genes humanos, muchos de los cuales carecían de una página en Wikipedia.

Los motores de búsqueda de IA en ciencia

Algunos motores de búsqueda con IA, como Consensus y Elicit, se han diseñado específicamente para facilitar la revisión de literatura académica. Estos motores primero realizan una búsqueda en bases de datos científicas como Semantic Scholar y PubMed, y luego utilizan un LLM para resumir los estudios encontrados y generar respuestas sintetizadas. El usuario puede ver referencias y filtros para ajustar los resultados. Estas herramientas pueden hacer que el proceso de revisión y redacción sea más eficiente al encargarse de las tareas más laboriosas, aunque la calidad de sus resúmenes no es comparable aún a la de una revisión realizada por expertos.

Desafíos y limitaciones

Los expertos advierten que pedirle a una IA como ChatGPT que redacte revisiones completas desde cero sería poco fiable. Los LLM entrenan con grandes volúmenes de texto y generan respuestas basadas en probabilidad, sin evaluar la credibilidad de las fuentes. Esto significa que pueden combinar información académica válida con fuentes menos confiables, sin dar prioridad a la literatura de mayor calidad. Además, pueden generar errores o «alucinaciones», es decir, referencias o afirmaciones inexistentes.

Para evitar estos problemas, algunos investigadores emplean un método llamado “generación aumentada por recuperación”, que consiste en cargar en el modelo únicamente artículos seleccionados previamente. Esta técnica reduce los errores, pero no los elimina por completo.

Revisión sistemática y el papel de la IA

Mientras las revisiones narrativas son confiables, la revisión sistemática presenta mayores obstáculos. Este tipo de revisión requiere pasos estrictos, como búsqueda exhaustiva, evaluación de la calidad de los estudios, síntesis de datos y, a menudo, un meta-análisis. Cada paso es revisado por al menos dos investigadores para garantizar precisión y transparencia. En 2019, un equipo de investigadores, incluido Paul Glasziou, estableció un récord al completar una revisión sistemática en solo dos semanas, empleando herramientas como RobotSearch y RobotReviewer, que usan IA para identificar estudios y evaluar riesgos de sesgo. Sin embargo, aunque estas herramientas reducen el tiempo de revisión, la IA aún no puede completar una revisión sistemática de forma autónoma.

Elicit y otros sistemas afirman ayudar en la revisión sistemática, pero no la automatizan completamente. En su lugar, permiten a los investigadores acelerar pasos específicos, como la clasificación de artículos y la extracción de datos, mientras que otros procesos siguen dependiendo del juicio humano. La limitación de estos sistemas es que solo pueden buscar en artículos de acceso abierto y abstracts, dejando fuera gran parte de la literatura científica, que suele estar bajo pago.

Riesgos y futuro de la IA en revisiones científicas

Aunque la IA puede ayudar a mejorar la velocidad y eficiencia de las revisiones, también podría dar lugar a revisiones menos rigurosas y de menor calidad. La tentación de utilizar herramientas de IA para realizar revisiones rápidamente podría resultar en artículos poco precisos, contaminando la literatura científica. Sin embargo, hay quienes creen que la IA también podría elevar los estándares en la revisión de literatura al hacer que más científicos consulten la literatura existente antes de lanzar nuevos estudios.

Algunos expertos sugieren que el desarrollo de herramientas de IA para la ciencia debería estar en manos de organizaciones sin fines de lucro que promuevan la transparencia y la evaluación rigurosa. Recientemente, en el Reino Unido se ha anunciado una inversión significativa en herramientas de síntesis de evidencia, lo que refleja el creciente interés en abordar estos desafíos. La clave para el futuro parece estar en equilibrar la eficiencia que la IA puede aportar con la necesidad de mantener estándares rigurosos en la investigación científica.

Preprints revisados por pares y el modelo Publish-Review-Curate (PRC)

Bourguet, D. ; Guillemaud, T. «Peer-reviewed preprints and the Publish-Review-Curate model | Plan S». Accedido 29 de octubre de 2024. https://www.coalition-s.org/blog/peer-reviewed-preprints-and-the-publish-review-curate-model/.

El modelo tradicional de publicación científica enfrenta críticas crecientes por ser lento, poco transparente y controlado por un número limitado de editores y revisores. Este modelo, en el que los artículos pueden tardar meses o años en ser evaluados y aceptados para su publicación, ha sido señalado como ineficiente y, en algunos casos, obsoleto. En este contexto, han surgido alternativas como los preprints revisados por pares y el modelo Publish-Review-Curate (PRC), que buscan hacer el proceso de publicación más accesible, abierto y rápido.

Entre las alternativas emergentes se encuentran los preprints revisados por pares, en los que los autores suben versiones preliminares de sus artículos a servidores públicos antes de ser revisados formalmente. Esto permite que sus resultados estén disponibles de inmediato, acelerando la difusión del conocimiento. En la modalidad de preprints revisados, servicios especializados llevan a cabo la revisión formal de estos documentos y publican las evaluaciones de manera abierta. Ejemplos de estos servicios incluyen Review Commons, PREreview y Peer Community In (PCI), los cuales permiten que los lectores accedan tanto al artículo como a los comentarios de expertos en el campo, proporcionando una perspectiva crítica adicional.

El modelo Publish-Review-Curate (PRC) agrega una fase de curación que va más allá de la revisión. A diferencia del modelo de preprints revisados, el modelo PRC organiza los artículos en colecciones seleccionadas, que se presentan en revistas o plataformas específicas. La curación actúa como un filtro adicional que resalta aquellos artículos que cumplen con ciertos estándares de calidad, dándoles una mayor visibilidad. Sin embargo, esta curación no implica necesariamente una validación formal, sino que funciona como una recomendación de lectura para quienes estén interesados en el tema. Un ejemplo de este enfoque es el de eLife, donde los artículos se publican primero como preprints y, tras la revisión, no se les asigna una decisión de “aceptación” o “rechazo” tradicional, sino que se publican junto a revisiones y evaluaciones editoriales cualitativas.

Estos modelos alternativos, aunque ofrecen transparencia y accesibilidad, también introducen ambigüedades en torno a los conceptos de revisión y curación. Por un lado, la revisión por pares no siempre equivale a una validación; muchas veces, los lectores asumen que un artículo revisado por pares ha sido validado científicamente, cuando en realidad no siempre es así. Las revisiones brindan críticas constructivas, pero no necesariamente una evaluación concluyente, lo cual puede confundir a lectores menos familiarizados con el proceso. Por otro lado, la curación tampoco implica validación. Aunque se asocia con la selección de artículos destacados, no necesariamente significa que estos hayan pasado por una evaluación exhaustiva, lo cual puede inducir a error si el lector asume que todos los artículos curados son de alta calidad.

Para abordar estas ambigüedades, Peer Community In (PCI) propone un enfoque de validación binaria en el que cada artículo revisado recibe una decisión clara de «aceptación» o «rechazo». Este enfoque permite ofrecer a los lectores una señal inequívoca sobre la calidad y relevancia del artículo, lo que reduce el riesgo de malinterpretaciones sobre su nivel de validación. Dentro de este marco, PCI sugiere dos variantes del modelo PRC: en el primero, la curación implica validación (Publish-Review-Curate=Validate); en el segundo, la validación ocurre antes de la curación (Publish-Review=>Validate-Curate), lo que da al artículo ya validado una visibilidad adicional.

Comparado con el sistema tradicional, el modelo PRC con validación binaria ofrece diversas ventajas: elimina los largos retrasos al hacer los preprints públicos de inmediato; promueve la transparencia al hacer accesibles las revisiones; fomenta la equidad mediante criterios de evaluación abiertos; y permite una mayor diversidad de evaluadores, introduciendo múltiples perspectivas y reduciendo la centralización del proceso en un pequeño grupo de editores.

En conclusión, el modelo Publish-Review-Curate, especialmente cuando incorpora una validación binaria, se presenta como una alternativa robusta y transparente al modelo de publicación científica tradicional. A medida que estos modelos se ajusten y perfeccionen, es probable que ganen terreno dentro del ecosistema de investigación, proporcionando una respuesta a las limitaciones del sistema tradicional y ofreciendo mayor accesibilidad, rapidez y transparencia en la publicación científica.

Un análisis DAFO exhaustivo de la IA y la experiencia humana en la revisión por pares

Roohi Ghosh, «Strengths, Weaknesses, Opportunities, and Threats: A Comprehensive SWOT Analysis of AI and Human Expertise in Peer Review», The Scholarly Kitchen, 12 de septiembre de 2024, https://scholarlykistg.wpenginepowered.com/2024/09/12/strengths-weaknesses-opportunities-and-threats-a-comprehensive-swot-analysis-of-ai-and-human-expertise-in-peer-review/.

Roohi Ghosh aborda el papel de la revisión por pares en la era digital, especialmente a medida que se aproxima la Semana de la Revisión por Pares.

El auge del contenido generado por IA en revistas científicas plantea preguntas sobre la responsabilidad del proceso de revisión. La carga de trabajo de los revisores es abrumadora, con millones de artículos publicados cada año y un número limitado de revisores disponibles, quienes realizan este trabajo de manera voluntaria, a menudo en su tiempo libre.

Ghosh señala que la revisión por pares debe centrarse en fortalecer la ciencia, no en detectar contenido de IA. La expectativa de que los revisores busquen texto generado por IA desvía su atención de su verdadero objetivo, lo que diluye su experiencia. En lugar de añadir presión, la IA debería ser una herramienta que facilite el trabajo de los revisores.

Se plantean preguntas sobre cómo integrar herramientas de IA que puedan identificar contenido generado por IA antes de que los artículos lleguen a los revisores, permitiéndoles concentrarse en el contenido. También se sugiere que se debe ofrecer capacitación específica sobre el uso efectivo de estas herramientas y desarrollar un enfoque colaborativo entre revisores.

El análisis SWOT propone examinar las fortalezas, debilidades, oportunidades y amenazas tanto de la IA como de la experiencia humana en la revisión por pares. En lugar de culpar, se debe fomentar un diálogo sobre cómo utilizar la IA como un aliado en la preservación de la integridad de la investigación y replantear los roles dentro del proceso de revisión. La conversación debe cambiar de la culpa a la colaboración, reimaginando el futuro de la revisión por pares.

 “AI Scientist” de Sakana AI investiga de forma autónoma desafiando las normas científicas

AI, Sakana. «Sakana AI The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery», 13 de agosto de 2024. https://sakana.ai/.

AI Scientist” es el primer sistema integral para la investigación científica completamente automática. Este sistema permite que los Modelos de Lenguaje Grande (LLMs) realicen investigaciones de manera independiente.

Uno de los grandes desafíos de la inteligencia artificial es desarrollar agentes capaces de realizar investigaciones científicas y descubrir nuevo conocimiento. Aunque los modelos actuales ya ayudan a los científicos humanos en tareas como generar ideas o escribir código, aún requieren mucha supervisión y están limitados a tareas específicas.

Sakana AI, junto con científicos de las universidades de Oxford y British Columbia, ha desarrollado un sistema de inteligencia artificial llamado “AI Scientist”. Este innovador sistema es capaz de realizar investigaciones científicas de manera autónoma, cubriendo todo el proceso de investigación, desde la generación de ideas hasta la elaboración de manuscritos científicos completos.

“AI Scientist” automatiza diversas etapas, como la creación y evaluación de nuevas ideas, la ejecución de experimentos, la recopilación de datos y la redacción de informes científicos. Sin embargo, este avance también suscita preguntas importantes sobre el rol futuro de los científicos humanos. Aunque la IA es eficaz en el procesamiento de grandes cantidades de datos y en la identificación de patrones, la intuición, creatividad y juicio ético humanos continúan siendo indispensables.

Este proceso incluye:

  1. Generación de Ideas: El Científico de IA «brainstormea» nuevas direcciones de investigación, basándose en un código inicial y en búsquedas en Semantic Scholar para asegurar la novedad de las ideas.
  2. Iteración Experimental: Ejecuta los experimentos propuestos, produce gráficos y notas que se usan en la redacción del artículo.
  3. Redacción del Artículo: Redacta un informe conciso y claro en LaTeX, citando autonomamente artículos relevantes.
  4. Revisión Automatizada de Artículos: Desarrolla un revisor automático basado en LLM que evalúa los artículos con una precisión casi humana, mejorando continuamente la producción científica del sistema.

Pese a su potencial, “AI Scientist” tiene varias limitaciones. No es capaz de hacer preguntas a los autores ni de interpretar figuras, y frecuentemente genera propuestas similares en diferentes ejecuciones. Además, puede fallar en la implementación de ideas y presenta desafíos en aspectos visuales y de citación. Los resultados producidos deben considerarse como sugerencias para futuras investigaciones más que como ciencia definitiva.

“AI Scientist” abre una caja de Pandora de nuevos problemas, aunque el informe completo discute estos temas en mayor detalle. Entre los problemas clave se encuentran las consideraciones éticas y el impacto potencial en el proceso académico. Aunque “AI Scientist” puede ser una herramienta útil para los investigadores, su capacidad para crear y enviar automáticamente artículos puede aumentar significativamente la carga de trabajo de los revisores y tensar el proceso académico, afectando el control de calidad científica. Esto es similar a las preocupaciones en torno a la IA generativa en otras aplicaciones, como la generación de imágenes.

Además, el Revisor Automatizado, si se despliega en línea, podría reducir significativamente la calidad de las revisiones e imponer sesgos indeseables en los artículos. Por ello, es fundamental que los artículos y revisiones generados por IA sean identificados como tales para asegurar la transparencia total.

Como con muchas tecnologías anteriores, “AI Scientist” tiene el potencial de ser utilizado de manera poco ética. Por ejemplo, podría realizar investigaciones no éticas o peligrosas si se le da acceso a laboratorios virtuales para realizar experimentos biológicos. Esto podría dar lugar a la creación de virus o sustancias tóxicas antes de que se detecten los riesgos. Del mismo modo, podría desarrollar virus informáticos peligrosos si se le solicita crear software funcional. Estas capacidades en mejora subrayan la necesidad urgente de alinear estos sistemas con valores éticos y garantizar que exploren de manera segura.

En cuanto a los modelos utilizados, se emplearon modelos de frontera propietarios, como GPT-4o y Sonnet, pero también se exploraron modelos abiertos como DeepSeek y Llama-3. Aunque los modelos propietarios actuales producen los mejores artículos, no hay razón fundamental para que un solo modelo mantenga esta ventaja. Se espera que todos los LLMs, incluidos los modelos abiertos, continúen mejorando. La competencia entre LLMs ha llevado a su mayor disponibilidad y capacidades mejoradas, y el trabajo busca ser independiente del proveedor del modelo base. Los modelos abiertos ofrecen beneficios significativos, como menor costo, disponibilidad garantizada, mayor transparencia y flexibilidad. El objetivo es usar estos modelos en un sistema cerrado de investigación automejorado.

Finalmente, aunque se imagina un ecosistema científico completamente impulsado por IA que incluya investigadores, revisores y conferencias, no se cree que el papel del científico humano se vea disminuido. Más bien, este rol evolucionará y se adaptará a la nueva tecnología, moviéndose hacia tareas de mayor nivel.

Los científicos que dedican tiempo a revisar manuscritos no reciben recompensas por sus esfuerzos. Es hora de cambiar eso.

Magazine, Undark. «The Misplaced Incentives in Academic Publishing». Undark Magazine, 4 de julio de 2024. https://undark.org/2024/07/04/opinion-misplaced-incentives-academic-publishing/.

Las lamentaciones sobre los modelos actuales de publicación académica provienen de todos los rincones de la comunidad científica. ¿Cómo funciona el sistema? El científico redacta los resultados de su estudio en forma de artículo. Ese artículo es revisado por «pares» (normalmente otros científicos) para una revista. Con pocas excepciones, esta es la ruta necesaria para publicar trabajos en el ecosistema profesional de la ciencia.

Los argumentos en contra son muchos, pero tienden a centrarse en características dudosas de la revisión por pares y el modelo de negocio de las revistas que publican informes revisados por pares sobre nuevas investigaciones. Las revistas cobran a las instituciones por suscripciones, y a menudo los investigadores individuales pagan hasta miles de dólares por artículo para su publicación. Todo esto mientras las revistas utilizan mano de obra gratuita o de bajo costo de editores y revisores. La hipocresía relacionada es que estas revistas se benefician de investigaciones pagadas por los contribuyentes, financiadas a través de organismos federales como la National Science Foundation y los National Institutes of Health.

A pesar de que el público financia gran parte de este trabajo, la mayor parte permanece tras un muro de pago, accesible gratuitamente solo para aquellos afiliados a instituciones que pueden pagar suscripciones (y los raros individuos que pueden pagar por sí mismos), eliminando así a la mayoría del público de la ciencia ciudadana. Muchas de las revistas que ofrecen artículos de «acceso abierto» lo hacen cobrando una tarifa exorbitante a los investigadores para publicar.

Pero por condenables que sean estos cargos, solo capturan un aspecto de la hipocresía y la irracionalidad en el modelo de publicación académica. Esto ha llevado a concluir que muchos de los mayores pecados, no apreciados, de la publicación no surgen de las revistas en sí, sino del ecosistema profesional que define la academia moderna. La estructura de incentivos fomenta un comportamiento que refuerza el modelo de publicación actual, que está roto.

El sistema actual recompensa la productividad individual mucho más que las contribuciones al sistema que fomenta la productividad. Es decir, la ciencia académica ha creado un desajuste entre los deseos y necesidades de los científicos individuales y el esfuerzo necesario para mantener una empresa científica sostenible, donde los comentarios de sus pares son necesarios.

Los científicos más experimentados suelen aconsejar dejar de lado la revisión de manuscritos o el servicio como editor de una revista y en su lugar centrarse en la propia producción. Este es un excelente consejo para un proceso pervertido: la revisión por pares de calidad es lo que da confianza en que la investigación que se lee en las revistas es de alta calidad. Pero la centralidad de la revisión por pares se basa en la suposición de que las personas evaluarán cuidadosamente el trabajo de otros por buena voluntad, o que los autores reconocerán las horas de trabajo que requieren las publicaciones de los revisores devolviendo el favor.

Seguramente, la participación de los científicos en el proceso puede ayudar a su propia productividad: los académicos construyen relaciones con los editores de revistas en las que podrían publicar sus propios manuscritos, y leer y revisar manuscritos les expone a nuevos trabajos. Pero en el mejor de los casos, estos beneficios son indirectos. Hablando claramente, prácticamente nadie en la historia de la ciencia profesional ha sido promovido o recompensado significativamente por proporcionar revisiones estelares del trabajo de otros. Aquellos que pasan horas mejorando el trabajo de sus pares a menudo lo hacen como un favor (o más bien, como una «donación»).

El sistema actual recompensa la productividad individual mucho más que las contribuciones al sistema que fomenta la productividad.

No es necesario estar versado en teoría de juegos evolutiva para reconocer cómo este sistema selecciona el comportamiento egoísta: las perspectivas de carrera de un científico son mucho mejores si decide solo producir manuscritos, en lugar de participar en su evaluación. El problema aquí puede describirse en términos termodinámicos: para que el sistema funcione responsablemente, la energía invertida debería ser aproximadamente igual a la energía que se obtiene. Muchos manuscritos publicados de impacto fueron producto del trabajo de dos o tres (o más) revisores. La única forma de agregar balance energético sería que cada investigador revisara dos o tres manuscritos por cada uno que publican como autor principal o corresponsal (uno de los que lideraron el esfuerzo de investigación). Desafortunadamente, los propios intereses de los científicos tienen prioridad.

Impresionantemente, el incentivo al egoísmo funciona tanto para científicos junior como senior. Los científicos junior deben centrarse en sí mismos porque la productividad es la clave para el ascenso profesional. Para los científicos senior, no hay razón para participar porque su (a menudo bien ganada) seguridad laboral elimina prácticamente cualquier consecuencia de no participar. Debido a la falta de incentivos, incluso las revistas de alto impacto pueden tener dificultades para encontrar revisores capacitados para los manuscritos enviados.

Los asociados postdoctorales y los estudiantes de posgrado pueden y deben participar formalmente en la revisión por pares porque muchos están calificados para hacerlo, y porque evaluar manuscritos es un excelente ejercicio de formación para el científico en desarrollo. Pero la motivación para incluir a los aprendices en la revisión por pares no es un nuevo deseo de formar a los científicos junior en todos los aspectos de la ciencia. Más bien, se necesita incluirlos porque se está quedando sin voluntarios más experimentados, y se debe encontrar la mano de obra donde pueda encontrarse.

La crisis de revisores tiene otros efectos perniciosos. Si todos los que son autores principales de un manuscrito que es revisado no devuelven el esfuerzo, entonces las matemáticas resultantes no cuadran tan bien: menos personas revisan manuscritos que las que los escriben. ¿El problema aquí? Las mentes que revisan nuevos trabajos deberían idealmente ser tan diversas en perspectiva como los autores que generan el trabajo. Este no es un problema de equilibrio, sino uno relacionado con la innovación: las diferentes perspectivas están mejor equipadas para apreciar la vasta gama de ciencia que se está llevando a cabo en todo el mundo.

Sin una gran y diversa base de revisores, un número relativamente pequeño de individuos moldea el trabajo que termina en las revistas. Incluso si esta pequeña fracción de súper-revisores son personas honestas y confiables, sus sesgos, metodológicos o de otro tipo, seguramente sesgarán los tipos de investigación que terminan en las páginas de nuestras revistas favoritas.

Al final, señalar estos defectos podría ser poco más que otra contribución al popular universo de quejas académicas. Se pueden identificar cosas del sistema que no gustan, que socavan la calidad, la originalidad y la inclusividad. Y algunos de estos elementos son legítimamente difíciles de cambiar.

Las mentes que revisan nuevos trabajos deberían idealmente ser tan diversas en perspectiva como los autores que generan el trabajo.

Sin embargo, la publicación académica es diferente de muchos otros rincones defectuosos de la ciencia profesional. Y algunas de las soluciones se pueden lograr con actividades relativamente de bajo esfuerzo. El pago por la revisión es una solución propuesta popular. Pero otras pueden lograrse sin consideraciones financieras. Por ejemplo, los decanos de ciencia en instituciones de élite podrían reunirse mañana (vía Zoom) y decidir una forma formal de incentivar fuertemente la participación en todos los aspectos del proceso de publicación. Podrían reconocer una verdad no reconocida: el científico que evalúa manuscritos regularmente, reanaliza datos y proporciona comentarios reflexivos y extensos es tanto un protector y promotor de la ciencia original como el que publica exclusivamente manuscritos por su cuenta. Estas son áreas factibles donde el liderazgo puede cambiar la conversación en relativamente poco tiempo. Por supuesto, existen grandes barreras para que algo de este tipo se ponga en práctica.

Al final, los intentos de racionalizar el sistema existente con argumentos como «Esto es lo que todos los demás están haciendo y lo que se ha hecho en el pasado» no pueden ser defendidos por ningún tipo de pensamiento maduro. Los caminos hacia muchos tipos de infierno están pavimentados con «Solo trabajo aquí».

Es necesario ser empático. Cambiar las cosas requiere tiempo y energía. Los sistemas que sustentan la publicación académica son subproductos de decisiones y no decisiones de personas ostensiblemente inteligentes que son hábiles en revelar las maravillas del mundo natural. Es hora de que dirijan su ingenio hacia adentro, hacia la creación de un nuevo sistema que recompense activamente a todos los que mantienen viva la ciencia.

Situación de la revisión por pares en 2024

IOP Publishing. «State of Peer Review 2024». Accedido 15 de mayo de 2024. https://ioppublishing.org/state-of-peer-review-2024/.

IOP Publishing ha publicado el informe «State of Peer Review 2024». En marzo de 2024, repitieron la encuesta de 2020 a revisores por pares en ciencias físicas, añadiendo nuevas preguntas. Los objetivos eran comparar respuestas para detectar cambios y recoger opiniones sobre temas como la IA generativa, el sesgo en la revisión por pares y la revisión doble anónima. El informe destaca cómo la pandemia de Covid-19, el aumento de publicaciones científicas y la aparición de la IA generativa han influido en la revisión por pares, además de abordar el aumento de retractaciones y la comercialización de la mala conducta investigativa.

Resultados Clave

  • Sesgo: La proporción de encuestados que reportan haber experimentado sesgo en el proceso de revisión por pares ha disminuido (16% en 2024 frente al 24% en 2020).
  • Motivación: El interés en el artículo sigue siendo la principal motivación para aceptar una invitación a revisar.
  • Uso de IA: Las opiniones sobre el impacto de la IA generativa en la revisión por pares están divididas.
  • Solicitudes de Revisión:
    • 50% reporta un aumento en las solicitudes en los últimos tres años.
    • 47% recibe menos de una invitación al mes.
    • 54% siente que recibe la cantidad adecuada de solicitudes.
    • 35% de los investigadores en etapas tempranas tienen más tiempo para revisar.
    • 52% prefiere revisar manuscritos de doble anonimato.

Tiempo Disponible para la Revisión

  • Frecuencia: 46.9% recibe menos de una solicitud al mes, solo el 3% recibe más de 11 solicitudes mensuales.
  • Diferencias Geográficas y de Carrera: No hay diferencias significativas por género, pero sí por etapa de carrera y región, con variaciones entre Europa y el resto del mundo.
  • Tendencias Recientes: 49.5% de los encuestados han visto un aumento en las solicitudes en los últimos tres años.

Tiempo Disponible Comparado con Solicitudes

  • En 2024, 30% tiene más tiempo disponible para revisiones comparado con 18% en 2020.
  • 16% recibe demasiadas solicitudes frente al 26% en 2020.
  • La mayoría, 54%, reporta recibir la cantidad adecuada de solicitudes.

No se observaron diferencias significativas por género, pero sí por etapa de carrera y región geográfica, especialmente entre países de ingresos altos y bajos.

Impacto de la IA Generativa en la Revisión por Pares

  • Opiniones Diversas:
    • Impacto Negativo: 35% de los encuestados.
    • Neutral/Sin Impacto: 36%.
    • Impacto Positivo: 29%.

Comentarios de los Respondentes:

  • Positivos: Utilidad para revisar manuscritos por plagio y calidad del idioma.
  • Negativos: Preocupaciones sobre la precisión y ética de los modelos de IA actuales.
  • General: La verificación y edición humana experta es necesaria antes de usar textos generados por IA en el proceso de revisión.

La IA generativa frente a la publicación académica

«Hanging in the balance: Generative AI versus scholarly publishing». Accedido 24 de abril de 2024. https://spie.org/news/photonics-focus/janfeb-2024/hanging-in-the-balance#_=

Desde la invención de la imprenta por Gutenberg en 1454, el sector editorial ha enfrentado desafíos relacionados con la alfabetización, el plagio, la censura de la información y el acceso a la misma. El lanzamiento de ChatGPT-3 en noviembre de 2022 marcó un hito, ya que este modelo de lenguaje generativo ha revolucionado la capacidad de generación de ideas, lo que ha generado tanto entusiasmo como preocupación en la comunidad académica.

Uno de los aspectos más destacados del debate es la creatividad de los modelos de lenguaje generativo, que pueden generar textos e imágenes. Aunque su capacidad para inventar referencias puede ser un problema, estos modelos son útiles para la generación de nuevas ideas y para identificar lagunas en la investigación existente. Sin embargo, surge la pregunta sobre la atribución de autoría, ya que los modelos generativos no pueden ser considerados como autores de estudios científicos, según el Consejo de Ética en Publicación (COPE).

En cuanto a la revisión por pares, la falta de revisores cualificados y la sobrecarga de trabajo en los editores han llevado a considerar el uso de AI para agilizar el proceso. Aunque existen preocupaciones sobre la confidencialidad y el sesgo en los resultados generados por los modelos de lenguaje generativo, estos también pueden ser herramientas útiles para la revisión de literatura y la identificación de trabajos relevantes en un área de investigación.

Otro aspecto a considerar es el fraude en la publicación académica, que ha aumentado con la capacidad de los modelos de lenguaje generativo para producir textos con una calidad gramatical aparentemente perfecta. Sin embargo, la responsabilidad sigue recayendo en los autores humanos, quienes deben garantizar la integridad ética de sus investigaciones.

A pesar de estos desafíos, los modelos de lenguaje generativo también ofrecen oportunidades para hacer que la publicación académica sea más accesible para personas cuyo idioma nativo no es el inglés. Estas herramientas pueden ayudar a superar barreras lingüísticas y permitir que los investigadores se centren en la ciencia en lugar de en la perfección gramatical en sus manuscritos.

En última instancia, el debate sobre el papel de la AI generativa en la publicación académica aún está en curso. A medida que la tecnología avanza, es crucial abordar sus desafíos éticos y técnicos para garantizar que beneficie a la comunidad académica en su conjunto.

Recomendaciones para acelerar la revisión abierta por pares de los preprints con el fin de mejorar la cultura científica

Avissar-Whiting M, Belliard F, Bertozzi SM, Brand A, Brown K, Clément-Stoneham G, et al. (2024) Recommendations for accelerating open preprint peer review to improve the culture of science. PLoS Biol 22(2): e3002502. https://doi.org/10.1371/journal.pbio.3002502


El proceso de revisión por pares es una parte importante del proceso científico, pero la revisión por pares tradicional en revistas está siendo sometida a un escrutinio cada vez mayor debido a su ineficiencia y falta de transparencia. A medida que los preprints se vuelven más ampliamente utilizados y aceptados, plantean la posibilidad de repensar el proceso de revisión por pares.

Los preprints están permitiendo nuevas formas de revisión por pares que tienen el potencial de ser más exhaustivas, inclusivas y colegiadas que la revisión por pares tradicional en revistas, y así cambiar fundamentalmente la cultura de la revisión por pares hacia una colaboración constructiva. En esta visión de consenso, se hace una llamada a la acción a los actores en la comunidad para acelerar el creciente impulso de compartir preprints y proporcionar recomendaciones para capacitar a los investigadores para que brinden una revisión por pares abierta y constructiva para los preprints.

Las revisiones críticas («reviews») de investigadores independientes («pares») pueden identificar vacíos conceptuales, lógicos o metodológicos en el trabajo científico. Por lo tanto, la revisión por pares se ha convertido en un aspecto clave del proceso científico y se utiliza en financiamiento y evaluación, así como para evaluar artículos, lo que puede ayudar a los autores a mejorar los manuscritos y brindar a los lectores (incluido el público en general) una mayor confianza en los hallazgos reportados. Aunque muchos investigadores ahora se sienten cómodos haciendo públicos sus manuscritos como preprints antes de la revisión por pares, las encuestas informan que el 90% de los investigadores creen que la revisión por pares mejora la calidad del trabajo publicado y ha mejorado el artículo más reciente que publicaron.

Sin embargo, la revisión por pares de revistas enfrenta muchos desafíos. Puede ser lenta, ineficiente, propensa a errores, inequitativa y excesivamente enfocada en brindar consejos a un editor de revista para ayudar en su decisión. A pesar de requerir una gran inversión de tiempo por parte de la comunidad científica, la revisión por pares realizada por 2 o 3 investigadores individuales no puede detectar todos los problemas en un estudio. Como resultado, graves fallos pueden salir a la luz solo después de la publicación en una revista, cuando un artículo se vuelve visible para un grupo más amplio de expertos. Mientras tanto, la falta de transparencia puede ocultar errores y sesgos en el proceso de revisión por pares. Aunque más de 500 revistas ahora publican revisiones por pares junto con los artículos publicados, la mayoría no lo hace, y las revisiones por pares de artículos rechazados casi nunca se hacen públicas. Esta es una oportunidad desperdiciada para proporcionar reconocimiento a los revisores, información contextual adicional que podría ayudar a los lectores de un artículo a evaluar sus méritos y la transparencia necesaria para estudiar y mejorar el proceso de revisión por pares. Además, los revisores pueden ser responsables de juzgar si un artículo es lo suficientemente emocionante o «completo» para una revista en particular. Esto puede contribuir a una tendencia en la que los revisores sugieran experimentos o análisis adicionales en lugar de brindar consejos centrados únicamente en el trabajo presentado. Como resultado, ahora se espera que los artículos de ciencias de la vida incluyan significativamente más datos que en décadas anteriores, lo que crea una carga adicional para los autores y, en última instancia, ralentiza la diseminación de nuevas evidencias científicas.

La creciente adopción de preprints ofrece una oportunidad importante para experimentar con nuevos enfoques de revisión por pares que podrían ayudar a abordar estos problemas. Nuevos enfoques que involucran revisión por pares abierta en preprints también podrían proporcionar beneficios a autores, revisores y lectores. Este punto de vista de consenso emite un llamado a la acción a los interesados ​​en la comunidad para acelerar el creciente impulso del intercambio de preprints y proporcionar recomendaciones para capacitar a los investigadores para que brinden una revisión por pares abierta y constructiva para preprints.

IOP Publishing (IOPP) proporciona comentarios a los revisores sobre sus informes de revisión para mejorar la calidad de la revisión por pares y fortalecer las mejores prácticas

Cullen, Cait. «IOP Publishing Unveils Industry-Leading Feedback System for Reviewers». IOP Publishing, 14 de noviembre de 2023. https://ioppublishing.org/news/iop-publishing-unveils-industry-leading-feedback-system-for-reviewers/


IOP Publishing (IOPP) ahora ofrece retroalimentación a los revisores sobre sus informes de revisión para mejorar la calidad de la revisión por pares y fortalecer las mejores prácticas en las ciencias físicas.

IOPP ha implementado el nuevo programa de manera voluntaria en todas sus revistas propietarias. Cuando los revisores optan por recibir comentarios sobre su informe, IOPP compartirá una evaluación numérica de qué tan útil fue el informe para los editores internos en una escala del 1 al 5, siendo 5 excepcional y 1 indicando que el informe no es adecuado para tomar una decisión. Luego, los revisores pueden ver información constructiva sobre la estructura y utilidad de los informes que explica la evaluación.

Una encuesta que incluyó a más de 1.200 investigadores que han revisado o sido invitados a revisar con IOPP muestra que recibir comentarios sobre sus informes de revisión mejoraría su experiencia en la revisión por pares, ya sea ser notificados sobre la decisión final sobre el artículo o recibir información sobre la calidad de su informe. En particular, los resultados muestran que los comentarios sobre la calidad de los informes son más valorados por los investigadores en etapas tempranas de sus carreras, donde estos comentarios pueden ser invaluables para desarrollar sus habilidades de investigación.

El lanzamiento sigue a una prueba exitosa del programa en tres revistas de IOP Publishing, incluyendo Engineering Research Express, Environmental Research Letters y Plasma Physics and Controlled Fusion. Más del 85% de los revisores involucrados en la prueba indicaron que recibir comentarios sobre su informe fue útil o muy útil. Desde que IOPP extendió el programa a todas sus revistas propietarias en septiembre, más de 2,700 revisores ya han optado por recibir comentarios sobre sus informes.

Laura Feetham, Gerente de Compromiso de Revisores en IOPP, dice: «El trabajo de nuestros expertos en revisión por pares es crucial para el avance de la ciencia, y sin embargo, los revisores rara vez (si es que alguna vez) reciben comentarios de los editores sobre la calidad de sus informes y en qué medida influyeron en la decisión editorial. Queríamos cambiar esto en nombre de nuestras comunidades de revisión por pares. Ahora, nuestros revisores pueden optar por recibir una evaluación honesta de su informe, directamente del editor. Nuestra esperanza es que esto mejore la transparencia en el sistema de revisión por pares y ayude a los investigadores en etapas tempranas de sus carreras a construir sus habilidades de revisión por pares».

La introducción de la retroalimentación a los revisores es la última de una serie de innovaciones en la revisión por pares en IOPP, que incluye una nueva política de co-revisión y el programa Peer Review Excellence.

Investigadores de la Universidad de Stanford diseñan un modelo de revisión por pares utilizando ChatGPT-4 con resultados sorprendentes

Stanford HAI. «Researchers Use GPT-4 To Generate Feedback on Scientific Manuscripts». Accedido 31 de octubre de 2023. https://hai.stanford.edu/news/researchers-use-gpt-4-generate-feedback-scientific-manuscripts.

Combinando un amplio modelo lingüístico (LLM) y artículos científicos revisados por pares de código abierto, investigadores de Stanford han creado una herramienta basada en inteligencia Artificial que esperan pueda ayudar a otros investigadores a pulir y mejorar sus borradores.

La investigación científica tiene un problema con poder disponer de pares que analicen la validez de los artículos. No hay suficientes revisores cualificados para evaluar todos los estudios. Este problema afecta sobre todo a los investigadores jóvenes y a los de instituciones menos conocidas, que a menudo no tienen acceso a mentores experimentados que puedan dar su opinión a tiempo. Además, muchos estudios científicos son rechazados sumariamente sin revisión por pares.

Intuyendo una crisis creciente en una época de aumento de los estudios científicos, investigadores de IA de la Universidad de Stanford han utilizado el gran modelo lingüístico GPT-4 y un conjunto de datos de miles de artículos publicados anteriormente -repletos de los comentarios de sus revisores- para crear una herramienta que pueda «revisar previamente» los borradores de manuscritos.

«Esperamos que los investigadores puedan utilizar esta herramienta para mejorar sus borradores antes de presentarlos oficialmente a congresos y revistas», afirma James Zou, profesor adjunto de Ciencia de Datos Biomédicos en Stanford y miembro del Instituto de IA Centrada en el Ser Humano (HAI) de Stanford. Zou es el autor principal del estudio, publicado recientemente en arXiv.

Los investigadores empezaron comparando los comentarios realizados por un gran modelo lingüístico con los de revisores humanos. Afortunadamente, una de las revistas científicas más importantes, Nature, y sus quince subrevistas (Nature Medicine, etc.), no sólo publica cientos de estudios al año, sino que incluye los comentarios de los revisores de algunos de esos trabajos. Y Nature no es la única. La International Conference on Learning Representations (ICLR) hace lo mismo con todos los trabajos -tanto los aceptados como los rechazados- de su conferencia anual sobre aprendizaje automático.

«Entre los dos, curamos casi 5.000 estudios y comentarios revisados por pares para compararlos con los comentarios generados por GPT-4», dice Zou. «El modelo lo hizo sorprendentemente bien».

Las cifras se asemejan a un diagrama de Venn de comentarios superpuestos. Entre los cerca de 3.000 artículos de la familia Nature incluidos en el estudio, había una intersección entre GPT-4 y los comentarios humanos de casi el 31 por ciento. En el caso de ICLR, las cifras eran aún mayores: casi el 40% de los comentarios de GPT-4 y humanos coincidían. Es más, si se consideran únicamente los artículos rechazados del ICLR (es decir, los artículos menos maduros), el solapamiento de comentarios entre GPT-4 y humanos aumentó hasta casi el 44%: casi la mitad de todos los comentarios de GPT-4 y humanos coincidían.

La importancia de estas cifras se hace más patente si se tiene en cuenta que, incluso entre los humanos, existe una variación considerable entre los comentarios de los distintos revisores de un mismo artículo. El solapamiento entre humanos fue del 28% en las revistas Nature y del 35% en ICLR. Según estos parámetros, el rendimiento de GPT-4 es comparable al de los humanos.

Pero aunque las comparaciones entre ordenadores y humanos son instructivas, la verdadera prueba es si los autores de los artículos revisados valoran los comentarios aportados por uno u otro método de revisión. El equipo de Zou llevó a cabo un estudio de usuarios en el que investigadores de más de 100 instituciones enviaron sus artículos, incluidos muchos preprints, y recibieron los comentarios de GPT-4. La mitad de los investigadores participantes consideraron que GPT-4 era el método más eficaz. Más de la mitad de los investigadores participantes consideraron que los comentarios de GPT-4 eran «útiles/muy útiles» y el 82 por ciento los consideraron «más beneficiosos» que ciertos comentarios de algunos revisores humanos.

En el artículo, Zou se apresura a señalar que el método tiene sus limitaciones. En particular, los comentarios de GPT-4 pueden ser a veces más «genéricos» y no detectar los problemas técnicos más profundos del artículo. El GPT-4 también tiende a centrarse sólo en aspectos limitados de los comentarios científicos (por ejemplo, «añadir experimentos con más conjuntos de datos») y se queda corto a la hora de profundizar en los métodos de los autores.

Zou insistió en que el equipo no está sugiriendo que la GPT-4 elimine al «experto humano (par)» de la revisión por pares y sustituya a la revisión humana. La revisión por expertos humanos «es y debe seguir siendo» la base de la ciencia rigurosa, afirma.

«Pero creemos que la retroalimentación de la IA puede beneficiar a los investigadores en las primeras etapas de la redacción de sus artículos, sobre todo si se tienen en cuenta las crecientes dificultades para obtener a tiempo la opinión de los expertos sobre los borradores», concluye Zou. «Desde ese punto de vista, creemos que GPT-4 y la retroalimentación humana se complementan bastante bien».