Archivo de la etiqueta: Revisión científica

El presente y el futuro de la revisión por pares: ideas, intervenciones y evidencia

Aczel, Balazs, Ann-Sophie Barwich, Amanda B. Diekman, y John P. A. Ioannidis. 2025. «The Present and Future of Peer Review: Ideas, Interventions, and Evidence.» Proceedings of the National Academy of Sciences 122 (5): e2401232121. https://doi.org/10.1073/pnas.2401232121

El sistema de revisión por pares enfrenta críticas por su falta de transparencia, sesgos e ineficiencia, poniendo en duda su sostenibilidad y utilidad. Este artículo analiza modelos alternativos y posibles mejoras para promover un debate amplio entre la comunidad científica. Los autores coinciden en que se necesita más evidencia rigurosa para implementar cambios justos y efectivos.

El sistema de revisión por pares (peer review) es uno de los pilares fundamentales de la ciencia moderna, pero actualmente se encuentra en el centro de un intenso debate sobre su eficacia, sostenibilidad y futuro. Este artículo ofrece una revisión crítica y panorámica sobre el estado actual de la revisión por pares, sus problemas más destacados, posibles soluciones y alternativas emergentes, buscando promover un diálogo constructivo entre los actores clave del ecosistema académico, incluyendo investigadores, editores, revisores, instituciones y financiadores.

Problemas identificados en la revisión por pares

Los autores enumeran una serie de deficiencias que afectan al sistema actual:

  • Sesgos e inequidades: La revisión por pares puede estar influenciada por prejuicios conscientes e inconscientes relacionados con la identidad del autor (género, afiliación institucional, país de origen), lo que genera desigualdades sistemáticas en la evaluación.
  • Opacidad: Muchos procesos de revisión siguen siendo confidenciales, lo que limita la transparencia y la rendición de cuentas, tanto de los revisores como de los editores.
  • Sobrecarga de trabajo: La creciente cantidad de publicaciones y manuscritos ha generado una sobrecarga en los revisores, quienes muchas veces asumen esta labor sin compensación adecuada, lo que afecta la calidad de las evaluaciones.
  • Retrasos y lentitud: El proceso puede ser extremadamente largo, obstaculizando la rápida difusión del conocimiento, especialmente en áreas donde la inmediatez es crucial, como la salud pública.
  • Dudas sobre la eficacia: Aunque el peer review busca garantizar la calidad, la reproducibilidad y la validez de los resultados científicos, existen estudios que ponen en duda su capacidad real para detectar errores, fraudes o investigaciones irrelevantes.

¿Es sostenible y útil el sistema?

El artículo señala que la revisión por pares, aunque imperfecta, sigue siendo el mejor método del que dispone actualmente la ciencia para evaluar la validez de los trabajos antes de su publicación. Sin embargo, su sostenibilidad está en entredicho debido a la sobrecarga de trabajo y a la creciente insatisfacción de autores y revisores.

Los autores subrayan que, aunque no existe un consenso claro sobre su eficacia absoluta, desmantelar el sistema sin contar con alternativas robustas podría ser arriesgado. La revisión por pares cumple funciones sociales (legitimación del conocimiento) y prácticas (control de calidad), pero necesita adaptarse y evolucionar.

Alternativas y posibles mejoras

El texto revisa distintas propuestas e intervenciones que podrían reformar o complementar el sistema actual:

  1. Revisión abierta (Open Peer Review): Hace públicos los nombres de los revisores y/o los informes de revisión. Aporta transparencia, aunque puede generar presiones y autocensura.
  2. Preprints y revisión post-publicación: Permiten la difusión inmediata del trabajo y que la comunidad científica en general realice comentarios y críticas posteriores.
  3. Incentivos para revisores: Desde reconocimientos públicos hasta compensaciones económicas o acreditaciones profesionales, se discuten mecanismos para valorar el trabajo de revisión.
  4. Uso de inteligencia artificial: Para asistir en tareas preliminares como la detección de plagio, verificación de datos o evaluación del rigor metodológico.
  5. Diversidad e inclusión: Fomentar la participación de revisores de diversas geografías, géneros y trayectorias, mitigando sesgos históricos.
  6. Capacitación formal: Desarrollar programas de formación para revisores, asegurando criterios de evaluación más homogéneos y profesionales.
  7. Evaluación de revisores: Incorporar sistemas de retroalimentación sobre la calidad de las revisiones realizadas.

Evidencias e investigación sobre peer review

Uno de los puntos clave del artículo es la falta de datos sólidos sobre el funcionamiento y los efectos reales de la revisión por pares. Los autores reclaman más estudios empíricos y comparativos que analicen:

  • La eficacia real del sistema en mejorar la calidad de los artículos.
  • El impacto de los distintos modelos alternativos.
  • Los factores que generan sesgos o inequidades.
  • Las experiencias de los diferentes actores involucrados.

Sin una base de evidencia más rigurosa y exhaustiva, sostienen los autores, cualquier reforma corre el riesgo de ser insuficiente o contraproducente.

Conclusiones

El artículo no pretende ofrecer una lista exhaustiva de problemas ni soluciones definitivas, sino abrir un espacio para la reflexión colectiva sobre cómo mejorar el sistema de revisión por pares en un contexto de cambios acelerados en la producción y comunicación del conocimiento científico.

Los autores coinciden en que garantizar evaluaciones justas, eficientes y sostenibles requiere no solo intervenciones concretas, sino también una mayor comprensión de cómo funciona realmente el sistema, sus puntos críticos y las mejores formas de transformarlo.

En definitiva, el futuro de la revisión por pares dependerá de un equilibrio entre innovación y prudencia, combinando la experiencia acumulada con nuevas prácticas que refuercen la confianza, la calidad y la equidad en la ciencia global.

Cómo optimizar las revisiones técnicas en revistas académicas para agilizar la publicación

Padula, Danielle. «Optimizing Journal Technical Checks to Improve Peer Review and Publishing Efficiency.» Scholastica Blog. Última modificación el 28 de febrero de 2024.

Texto completo

Las revisiones técnicas en revistas académicas garantizan que los manuscritos cumplan requisitos básicos de calidad, ética y formato antes de pasar a revisión por pares. Un proceso estandarizado agiliza tiempos, mejora la evaluación y previene errores. Además, simplificar instrucciones y automatizar validaciones optimiza el flujo editorial.

Antes de enviar artículos a revisión por pares y eventual publicación, las revistas académicas deben realizar revisiones técnicas o controles de calidad. Estas revisiones tienen como objetivo garantizar que los manuscritos cumplen con los requisitos básicos de información, políticas editoriales y normativas éticas del journal. De esta manera, se decide si el artículo puede avanzar a revisión por pares o si debe ser rechazado directamente (desk reject). Además, algunos aspectos técnicos pueden revisarse en fases posteriores del proceso editorial, especialmente cuando los manuscritos están más cerca de su aceptación definitiva.

Contar con un proceso estandarizado de revisiones técnicas aporta múltiples beneficios: asegura que los artículos cumplen con estándares éticos y formales, acelera la revisión por pares al evitar que trabajos incompletos avancen y permite que los revisores se concentren en evaluar el contenido científico sin distraerse por aspectos técnicos o formales. Además, ayuda a prevenir retrasos en la publicación derivados de errores o carencias detectadas demasiado tarde.

Cada revista debe adaptar su lista de chequeo técnico según su disciplina y sus procedimientos editoriales, pero hay aspectos comunes a tener en cuenta. Primero, la relevancia del artículo y la integridad de la presentación son fundamentales: comprobar que el título y el resumen son claros y precisos, que los datos de autoría son completos y correctos, que se ha incluido información sobre financiación y que se han proporcionado las palabras clave y la carta de presentación cuando sea necesario. Esto asegura que la contribución encaja dentro del alcance temático de la revista y cumple con los elementos básicos para su evaluación.

En segundo lugar, es crucial verificar que el manuscrito respeta las políticas editoriales y éticas del journal. Esto incluye declaraciones de originalidad, permisos para material reproducido, posibles conflictos de interés y el uso adecuado de herramientas de detección de plagio. También se revisan aspectos como la disponibilidad de los datos utilizados, la mención de fuentes públicas de datos (con DOI cuando proceda), y la declaración sobre el uso de inteligencia artificial en la elaboración del manuscrito. Si el estudio involucra ensayos clínicos, humanos o animales, también deben comprobarse los permisos éticos, consentimiento informado, aprobaciones institucionales y cumplimiento de guías de reporte reconocidas (como CONSORT o PRISMA).

Otro punto clave de la revisión técnica es evaluar de manera preliminar la calidad del contenido. Esto implica verificar que el lenguaje sea claro y profesional, que no haya errores graves de redacción, y que las figuras, tablas y fórmulas sean legibles y cumplan con las normas del journal. También debe revisarse que los métodos estadísticos estén correctamente descritos y que los resultados incluyan métricas adecuadas, como intervalos de confianza o valores p.

Por último, se debe revisar la estructura y el formato del manuscrito, aunque es recomendable no exigir un nivel excesivo de detalle en esta fase inicial. Se trata de asegurar aspectos básicos como que el texto respete los límites de palabras, que las figuras y tablas estén numeradas y etiquetadas correctamente, y que los materiales suplementarios estén bien identificados.

Para optimizar el proceso de revisiones técnicas, es esencial buscar un equilibrio: deben ser lo suficientemente exhaustivas para evitar que manuscritos inadecuados lleguen a revisión por pares, pero no tan minuciosas que ralenticen los tiempos de decisión inicial. Una buena estrategia es limitar al máximo los requisitos formales innecesarios en los manuscritos, como tipografías específicas o estilos de cita, sobre todo si la revista cuenta con herramientas de producción que automatizan esos aspectos tras la aceptación. Asimismo, es fundamental ofrecer a los autores instrucciones claras y simplificadas, organizadas de manera accesible y coherente, con ejemplos, plantillas y formularios estandarizados.

Finalmente, otra vía de optimización es aprovechar las funcionalidades de los formularios de envío de manuscritos en los sistemas de gestión editorial. Configurando campos obligatorios, validaciones automáticas (por ejemplo, de ORCID, afiliaciones institucionales o fuentes de financiación) y casillas de aceptación de políticas éticas, se minimizan errores y omisiones desde el momento del envío, reduciendo así la carga del equipo editorial en las revisiones técnicas.

En resumen, una lista de chequeo técnico bien diseñada y un proceso ágil permiten mejorar la experiencia tanto del equipo editorial como de los autores y revisores, favoreciendo tiempos de publicación más cortos y una mayor calidad en los procesos editoriales.

Ai2 ScholarQA, una herramienta experimental basada en inteligencia artificial para facilitar las revisiones de literatura científica

Ai2 ScholarQA

Ai2 ScholarQA, una herramienta experimental basada en inteligencia artificial para facilitar las revisiones de literatura científica. Desarrollada por el Instituto Allen para la Inteligencia Artificial (Ai2), esta herramienta permite a los investigadores formular preguntas científicas que requieren la comparación y el resumen de múltiples documentos. Ai2 ScholarQA utiliza un modelo avanzado de IA, Claude Sonnet 3.5, y un corpus de artículos de acceso abierto para proporcionar respuestas detalladas y contextualizadas. Aunque la herramienta puede ser menos coherente en algunos casos debido a su enfoque en la evidencia, busca mejorar la eficiencia en las revisiones de literatura. Ai2 planea abrir el código fuente de la funcionalidad principal y continuar explorando formas de personalizar y mejorar el apoyo a la investigación científica con IA.

¿Puede la inteligencia artificial revisar la literatura científica y descifrar su significado?

Pearson, Helen. «Can AI Review the Scientific Literature — and Figure out What It All Means?» Nature 635, n.o 8038 (13 de noviembre de 2024): 276-78. https://doi.org/10.1038/d41586-024-03676-9.


La inteligencia artificial (IA) está revolucionando la revisión de la literatura científica al ofrecer herramientas que pueden resumir grandes volúmenes de información de manera rápida. Sin embargo, esta innovación plantea tanto beneficios como riesgos.

La IA en la ciencia no es un tema nuevo. Los investigadores han utilizado herramientas de software durante décadas para buscar y analizar la literatura científica. Sin embargo, los recientes modelos de lenguaje de gran escala (LLM), como ChatGPT, han generado entusiasmo por la automatización de la síntesis de información. Estos modelos no solo encuentran y resumen artículos, sino que ahora pueden, en teoría, generar revisiones narrativas de literatura científica, aunque todavía no alcanzan el nivel de rigor de las revisiones sistemáticas.

Este campo está en auge debido a la dificultad de los investigadores para mantenerse al día con la creciente cantidad de publicaciones científicas. Tal es el caso de Sam Rodriques, quien, junto a su equipo de la startup FutureHouse, ha creado un sistema de IA llamado PaperQA2, diseñado para sintetizar información científica. Con él, lograron producir artículos sobre 17.000 genes humanos, muchos de los cuales carecían de una página en Wikipedia.

Los motores de búsqueda de IA en ciencia

Algunos motores de búsqueda con IA, como Consensus y Elicit, se han diseñado específicamente para facilitar la revisión de literatura académica. Estos motores primero realizan una búsqueda en bases de datos científicas como Semantic Scholar y PubMed, y luego utilizan un LLM para resumir los estudios encontrados y generar respuestas sintetizadas. El usuario puede ver referencias y filtros para ajustar los resultados. Estas herramientas pueden hacer que el proceso de revisión y redacción sea más eficiente al encargarse de las tareas más laboriosas, aunque la calidad de sus resúmenes no es comparable aún a la de una revisión realizada por expertos.

Desafíos y limitaciones

Los expertos advierten que pedirle a una IA como ChatGPT que redacte revisiones completas desde cero sería poco fiable. Los LLM entrenan con grandes volúmenes de texto y generan respuestas basadas en probabilidad, sin evaluar la credibilidad de las fuentes. Esto significa que pueden combinar información académica válida con fuentes menos confiables, sin dar prioridad a la literatura de mayor calidad. Además, pueden generar errores o «alucinaciones», es decir, referencias o afirmaciones inexistentes.

Para evitar estos problemas, algunos investigadores emplean un método llamado “generación aumentada por recuperación”, que consiste en cargar en el modelo únicamente artículos seleccionados previamente. Esta técnica reduce los errores, pero no los elimina por completo.

Revisión sistemática y el papel de la IA

Mientras las revisiones narrativas son confiables, la revisión sistemática presenta mayores obstáculos. Este tipo de revisión requiere pasos estrictos, como búsqueda exhaustiva, evaluación de la calidad de los estudios, síntesis de datos y, a menudo, un meta-análisis. Cada paso es revisado por al menos dos investigadores para garantizar precisión y transparencia. En 2019, un equipo de investigadores, incluido Paul Glasziou, estableció un récord al completar una revisión sistemática en solo dos semanas, empleando herramientas como RobotSearch y RobotReviewer, que usan IA para identificar estudios y evaluar riesgos de sesgo. Sin embargo, aunque estas herramientas reducen el tiempo de revisión, la IA aún no puede completar una revisión sistemática de forma autónoma.

Elicit y otros sistemas afirman ayudar en la revisión sistemática, pero no la automatizan completamente. En su lugar, permiten a los investigadores acelerar pasos específicos, como la clasificación de artículos y la extracción de datos, mientras que otros procesos siguen dependiendo del juicio humano. La limitación de estos sistemas es que solo pueden buscar en artículos de acceso abierto y abstracts, dejando fuera gran parte de la literatura científica, que suele estar bajo pago.

Riesgos y futuro de la IA en revisiones científicas

Aunque la IA puede ayudar a mejorar la velocidad y eficiencia de las revisiones, también podría dar lugar a revisiones menos rigurosas y de menor calidad. La tentación de utilizar herramientas de IA para realizar revisiones rápidamente podría resultar en artículos poco precisos, contaminando la literatura científica. Sin embargo, hay quienes creen que la IA también podría elevar los estándares en la revisión de literatura al hacer que más científicos consulten la literatura existente antes de lanzar nuevos estudios.

Algunos expertos sugieren que el desarrollo de herramientas de IA para la ciencia debería estar en manos de organizaciones sin fines de lucro que promuevan la transparencia y la evaluación rigurosa. Recientemente, en el Reino Unido se ha anunciado una inversión significativa en herramientas de síntesis de evidencia, lo que refleja el creciente interés en abordar estos desafíos. La clave para el futuro parece estar en equilibrar la eficiencia que la IA puede aportar con la necesidad de mantener estándares rigurosos en la investigación científica.

Preprints revisados por pares y el modelo Publish-Review-Curate (PRC)

Bourguet, D. ; Guillemaud, T. «Peer-reviewed preprints and the Publish-Review-Curate model | Plan S». Accedido 29 de octubre de 2024. https://www.coalition-s.org/blog/peer-reviewed-preprints-and-the-publish-review-curate-model/.

El modelo tradicional de publicación científica enfrenta críticas crecientes por ser lento, poco transparente y controlado por un número limitado de editores y revisores. Este modelo, en el que los artículos pueden tardar meses o años en ser evaluados y aceptados para su publicación, ha sido señalado como ineficiente y, en algunos casos, obsoleto. En este contexto, han surgido alternativas como los preprints revisados por pares y el modelo Publish-Review-Curate (PRC), que buscan hacer el proceso de publicación más accesible, abierto y rápido.

Entre las alternativas emergentes se encuentran los preprints revisados por pares, en los que los autores suben versiones preliminares de sus artículos a servidores públicos antes de ser revisados formalmente. Esto permite que sus resultados estén disponibles de inmediato, acelerando la difusión del conocimiento. En la modalidad de preprints revisados, servicios especializados llevan a cabo la revisión formal de estos documentos y publican las evaluaciones de manera abierta. Ejemplos de estos servicios incluyen Review Commons, PREreview y Peer Community In (PCI), los cuales permiten que los lectores accedan tanto al artículo como a los comentarios de expertos en el campo, proporcionando una perspectiva crítica adicional.

El modelo Publish-Review-Curate (PRC) agrega una fase de curación que va más allá de la revisión. A diferencia del modelo de preprints revisados, el modelo PRC organiza los artículos en colecciones seleccionadas, que se presentan en revistas o plataformas específicas. La curación actúa como un filtro adicional que resalta aquellos artículos que cumplen con ciertos estándares de calidad, dándoles una mayor visibilidad. Sin embargo, esta curación no implica necesariamente una validación formal, sino que funciona como una recomendación de lectura para quienes estén interesados en el tema. Un ejemplo de este enfoque es el de eLife, donde los artículos se publican primero como preprints y, tras la revisión, no se les asigna una decisión de “aceptación” o “rechazo” tradicional, sino que se publican junto a revisiones y evaluaciones editoriales cualitativas.

Estos modelos alternativos, aunque ofrecen transparencia y accesibilidad, también introducen ambigüedades en torno a los conceptos de revisión y curación. Por un lado, la revisión por pares no siempre equivale a una validación; muchas veces, los lectores asumen que un artículo revisado por pares ha sido validado científicamente, cuando en realidad no siempre es así. Las revisiones brindan críticas constructivas, pero no necesariamente una evaluación concluyente, lo cual puede confundir a lectores menos familiarizados con el proceso. Por otro lado, la curación tampoco implica validación. Aunque se asocia con la selección de artículos destacados, no necesariamente significa que estos hayan pasado por una evaluación exhaustiva, lo cual puede inducir a error si el lector asume que todos los artículos curados son de alta calidad.

Para abordar estas ambigüedades, Peer Community In (PCI) propone un enfoque de validación binaria en el que cada artículo revisado recibe una decisión clara de «aceptación» o «rechazo». Este enfoque permite ofrecer a los lectores una señal inequívoca sobre la calidad y relevancia del artículo, lo que reduce el riesgo de malinterpretaciones sobre su nivel de validación. Dentro de este marco, PCI sugiere dos variantes del modelo PRC: en el primero, la curación implica validación (Publish-Review-Curate=Validate); en el segundo, la validación ocurre antes de la curación (Publish-Review=>Validate-Curate), lo que da al artículo ya validado una visibilidad adicional.

Comparado con el sistema tradicional, el modelo PRC con validación binaria ofrece diversas ventajas: elimina los largos retrasos al hacer los preprints públicos de inmediato; promueve la transparencia al hacer accesibles las revisiones; fomenta la equidad mediante criterios de evaluación abiertos; y permite una mayor diversidad de evaluadores, introduciendo múltiples perspectivas y reduciendo la centralización del proceso en un pequeño grupo de editores.

En conclusión, el modelo Publish-Review-Curate, especialmente cuando incorpora una validación binaria, se presenta como una alternativa robusta y transparente al modelo de publicación científica tradicional. A medida que estos modelos se ajusten y perfeccionen, es probable que ganen terreno dentro del ecosistema de investigación, proporcionando una respuesta a las limitaciones del sistema tradicional y ofreciendo mayor accesibilidad, rapidez y transparencia en la publicación científica.

Un análisis DAFO exhaustivo de la IA y la experiencia humana en la revisión por pares

Roohi Ghosh, «Strengths, Weaknesses, Opportunities, and Threats: A Comprehensive SWOT Analysis of AI and Human Expertise in Peer Review», The Scholarly Kitchen, 12 de septiembre de 2024, https://scholarlykistg.wpenginepowered.com/2024/09/12/strengths-weaknesses-opportunities-and-threats-a-comprehensive-swot-analysis-of-ai-and-human-expertise-in-peer-review/.

Roohi Ghosh aborda el papel de la revisión por pares en la era digital, especialmente a medida que se aproxima la Semana de la Revisión por Pares.

El auge del contenido generado por IA en revistas científicas plantea preguntas sobre la responsabilidad del proceso de revisión. La carga de trabajo de los revisores es abrumadora, con millones de artículos publicados cada año y un número limitado de revisores disponibles, quienes realizan este trabajo de manera voluntaria, a menudo en su tiempo libre.

Ghosh señala que la revisión por pares debe centrarse en fortalecer la ciencia, no en detectar contenido de IA. La expectativa de que los revisores busquen texto generado por IA desvía su atención de su verdadero objetivo, lo que diluye su experiencia. En lugar de añadir presión, la IA debería ser una herramienta que facilite el trabajo de los revisores.

Se plantean preguntas sobre cómo integrar herramientas de IA que puedan identificar contenido generado por IA antes de que los artículos lleguen a los revisores, permitiéndoles concentrarse en el contenido. También se sugiere que se debe ofrecer capacitación específica sobre el uso efectivo de estas herramientas y desarrollar un enfoque colaborativo entre revisores.

El análisis SWOT propone examinar las fortalezas, debilidades, oportunidades y amenazas tanto de la IA como de la experiencia humana en la revisión por pares. En lugar de culpar, se debe fomentar un diálogo sobre cómo utilizar la IA como un aliado en la preservación de la integridad de la investigación y replantear los roles dentro del proceso de revisión. La conversación debe cambiar de la culpa a la colaboración, reimaginando el futuro de la revisión por pares.

 “AI Scientist” de Sakana AI investiga de forma autónoma desafiando las normas científicas

AI, Sakana. «Sakana AI The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery», 13 de agosto de 2024. https://sakana.ai/.

AI Scientist” es el primer sistema integral para la investigación científica completamente automática. Este sistema permite que los Modelos de Lenguaje Grande (LLMs) realicen investigaciones de manera independiente.

Uno de los grandes desafíos de la inteligencia artificial es desarrollar agentes capaces de realizar investigaciones científicas y descubrir nuevo conocimiento. Aunque los modelos actuales ya ayudan a los científicos humanos en tareas como generar ideas o escribir código, aún requieren mucha supervisión y están limitados a tareas específicas.

Sakana AI, junto con científicos de las universidades de Oxford y British Columbia, ha desarrollado un sistema de inteligencia artificial llamado “AI Scientist”. Este innovador sistema es capaz de realizar investigaciones científicas de manera autónoma, cubriendo todo el proceso de investigación, desde la generación de ideas hasta la elaboración de manuscritos científicos completos.

“AI Scientist” automatiza diversas etapas, como la creación y evaluación de nuevas ideas, la ejecución de experimentos, la recopilación de datos y la redacción de informes científicos. Sin embargo, este avance también suscita preguntas importantes sobre el rol futuro de los científicos humanos. Aunque la IA es eficaz en el procesamiento de grandes cantidades de datos y en la identificación de patrones, la intuición, creatividad y juicio ético humanos continúan siendo indispensables.

Este proceso incluye:

  1. Generación de Ideas: El Científico de IA «brainstormea» nuevas direcciones de investigación, basándose en un código inicial y en búsquedas en Semantic Scholar para asegurar la novedad de las ideas.
  2. Iteración Experimental: Ejecuta los experimentos propuestos, produce gráficos y notas que se usan en la redacción del artículo.
  3. Redacción del Artículo: Redacta un informe conciso y claro en LaTeX, citando autonomamente artículos relevantes.
  4. Revisión Automatizada de Artículos: Desarrolla un revisor automático basado en LLM que evalúa los artículos con una precisión casi humana, mejorando continuamente la producción científica del sistema.

Pese a su potencial, “AI Scientist” tiene varias limitaciones. No es capaz de hacer preguntas a los autores ni de interpretar figuras, y frecuentemente genera propuestas similares en diferentes ejecuciones. Además, puede fallar en la implementación de ideas y presenta desafíos en aspectos visuales y de citación. Los resultados producidos deben considerarse como sugerencias para futuras investigaciones más que como ciencia definitiva.

“AI Scientist” abre una caja de Pandora de nuevos problemas, aunque el informe completo discute estos temas en mayor detalle. Entre los problemas clave se encuentran las consideraciones éticas y el impacto potencial en el proceso académico. Aunque “AI Scientist” puede ser una herramienta útil para los investigadores, su capacidad para crear y enviar automáticamente artículos puede aumentar significativamente la carga de trabajo de los revisores y tensar el proceso académico, afectando el control de calidad científica. Esto es similar a las preocupaciones en torno a la IA generativa en otras aplicaciones, como la generación de imágenes.

Además, el Revisor Automatizado, si se despliega en línea, podría reducir significativamente la calidad de las revisiones e imponer sesgos indeseables en los artículos. Por ello, es fundamental que los artículos y revisiones generados por IA sean identificados como tales para asegurar la transparencia total.

Como con muchas tecnologías anteriores, “AI Scientist” tiene el potencial de ser utilizado de manera poco ética. Por ejemplo, podría realizar investigaciones no éticas o peligrosas si se le da acceso a laboratorios virtuales para realizar experimentos biológicos. Esto podría dar lugar a la creación de virus o sustancias tóxicas antes de que se detecten los riesgos. Del mismo modo, podría desarrollar virus informáticos peligrosos si se le solicita crear software funcional. Estas capacidades en mejora subrayan la necesidad urgente de alinear estos sistemas con valores éticos y garantizar que exploren de manera segura.

En cuanto a los modelos utilizados, se emplearon modelos de frontera propietarios, como GPT-4o y Sonnet, pero también se exploraron modelos abiertos como DeepSeek y Llama-3. Aunque los modelos propietarios actuales producen los mejores artículos, no hay razón fundamental para que un solo modelo mantenga esta ventaja. Se espera que todos los LLMs, incluidos los modelos abiertos, continúen mejorando. La competencia entre LLMs ha llevado a su mayor disponibilidad y capacidades mejoradas, y el trabajo busca ser independiente del proveedor del modelo base. Los modelos abiertos ofrecen beneficios significativos, como menor costo, disponibilidad garantizada, mayor transparencia y flexibilidad. El objetivo es usar estos modelos en un sistema cerrado de investigación automejorado.

Finalmente, aunque se imagina un ecosistema científico completamente impulsado por IA que incluya investigadores, revisores y conferencias, no se cree que el papel del científico humano se vea disminuido. Más bien, este rol evolucionará y se adaptará a la nueva tecnología, moviéndose hacia tareas de mayor nivel.

Los científicos que dedican tiempo a revisar manuscritos no reciben recompensas por sus esfuerzos. Es hora de cambiar eso.

Magazine, Undark. «The Misplaced Incentives in Academic Publishing». Undark Magazine, 4 de julio de 2024. https://undark.org/2024/07/04/opinion-misplaced-incentives-academic-publishing/.

Las lamentaciones sobre los modelos actuales de publicación académica provienen de todos los rincones de la comunidad científica. ¿Cómo funciona el sistema? El científico redacta los resultados de su estudio en forma de artículo. Ese artículo es revisado por «pares» (normalmente otros científicos) para una revista. Con pocas excepciones, esta es la ruta necesaria para publicar trabajos en el ecosistema profesional de la ciencia.

Los argumentos en contra son muchos, pero tienden a centrarse en características dudosas de la revisión por pares y el modelo de negocio de las revistas que publican informes revisados por pares sobre nuevas investigaciones. Las revistas cobran a las instituciones por suscripciones, y a menudo los investigadores individuales pagan hasta miles de dólares por artículo para su publicación. Todo esto mientras las revistas utilizan mano de obra gratuita o de bajo costo de editores y revisores. La hipocresía relacionada es que estas revistas se benefician de investigaciones pagadas por los contribuyentes, financiadas a través de organismos federales como la National Science Foundation y los National Institutes of Health.

A pesar de que el público financia gran parte de este trabajo, la mayor parte permanece tras un muro de pago, accesible gratuitamente solo para aquellos afiliados a instituciones que pueden pagar suscripciones (y los raros individuos que pueden pagar por sí mismos), eliminando así a la mayoría del público de la ciencia ciudadana. Muchas de las revistas que ofrecen artículos de «acceso abierto» lo hacen cobrando una tarifa exorbitante a los investigadores para publicar.

Pero por condenables que sean estos cargos, solo capturan un aspecto de la hipocresía y la irracionalidad en el modelo de publicación académica. Esto ha llevado a concluir que muchos de los mayores pecados, no apreciados, de la publicación no surgen de las revistas en sí, sino del ecosistema profesional que define la academia moderna. La estructura de incentivos fomenta un comportamiento que refuerza el modelo de publicación actual, que está roto.

El sistema actual recompensa la productividad individual mucho más que las contribuciones al sistema que fomenta la productividad. Es decir, la ciencia académica ha creado un desajuste entre los deseos y necesidades de los científicos individuales y el esfuerzo necesario para mantener una empresa científica sostenible, donde los comentarios de sus pares son necesarios.

Los científicos más experimentados suelen aconsejar dejar de lado la revisión de manuscritos o el servicio como editor de una revista y en su lugar centrarse en la propia producción. Este es un excelente consejo para un proceso pervertido: la revisión por pares de calidad es lo que da confianza en que la investigación que se lee en las revistas es de alta calidad. Pero la centralidad de la revisión por pares se basa en la suposición de que las personas evaluarán cuidadosamente el trabajo de otros por buena voluntad, o que los autores reconocerán las horas de trabajo que requieren las publicaciones de los revisores devolviendo el favor.

Seguramente, la participación de los científicos en el proceso puede ayudar a su propia productividad: los académicos construyen relaciones con los editores de revistas en las que podrían publicar sus propios manuscritos, y leer y revisar manuscritos les expone a nuevos trabajos. Pero en el mejor de los casos, estos beneficios son indirectos. Hablando claramente, prácticamente nadie en la historia de la ciencia profesional ha sido promovido o recompensado significativamente por proporcionar revisiones estelares del trabajo de otros. Aquellos que pasan horas mejorando el trabajo de sus pares a menudo lo hacen como un favor (o más bien, como una «donación»).

El sistema actual recompensa la productividad individual mucho más que las contribuciones al sistema que fomenta la productividad.

No es necesario estar versado en teoría de juegos evolutiva para reconocer cómo este sistema selecciona el comportamiento egoísta: las perspectivas de carrera de un científico son mucho mejores si decide solo producir manuscritos, en lugar de participar en su evaluación. El problema aquí puede describirse en términos termodinámicos: para que el sistema funcione responsablemente, la energía invertida debería ser aproximadamente igual a la energía que se obtiene. Muchos manuscritos publicados de impacto fueron producto del trabajo de dos o tres (o más) revisores. La única forma de agregar balance energético sería que cada investigador revisara dos o tres manuscritos por cada uno que publican como autor principal o corresponsal (uno de los que lideraron el esfuerzo de investigación). Desafortunadamente, los propios intereses de los científicos tienen prioridad.

Impresionantemente, el incentivo al egoísmo funciona tanto para científicos junior como senior. Los científicos junior deben centrarse en sí mismos porque la productividad es la clave para el ascenso profesional. Para los científicos senior, no hay razón para participar porque su (a menudo bien ganada) seguridad laboral elimina prácticamente cualquier consecuencia de no participar. Debido a la falta de incentivos, incluso las revistas de alto impacto pueden tener dificultades para encontrar revisores capacitados para los manuscritos enviados.

Los asociados postdoctorales y los estudiantes de posgrado pueden y deben participar formalmente en la revisión por pares porque muchos están calificados para hacerlo, y porque evaluar manuscritos es un excelente ejercicio de formación para el científico en desarrollo. Pero la motivación para incluir a los aprendices en la revisión por pares no es un nuevo deseo de formar a los científicos junior en todos los aspectos de la ciencia. Más bien, se necesita incluirlos porque se está quedando sin voluntarios más experimentados, y se debe encontrar la mano de obra donde pueda encontrarse.

La crisis de revisores tiene otros efectos perniciosos. Si todos los que son autores principales de un manuscrito que es revisado no devuelven el esfuerzo, entonces las matemáticas resultantes no cuadran tan bien: menos personas revisan manuscritos que las que los escriben. ¿El problema aquí? Las mentes que revisan nuevos trabajos deberían idealmente ser tan diversas en perspectiva como los autores que generan el trabajo. Este no es un problema de equilibrio, sino uno relacionado con la innovación: las diferentes perspectivas están mejor equipadas para apreciar la vasta gama de ciencia que se está llevando a cabo en todo el mundo.

Sin una gran y diversa base de revisores, un número relativamente pequeño de individuos moldea el trabajo que termina en las revistas. Incluso si esta pequeña fracción de súper-revisores son personas honestas y confiables, sus sesgos, metodológicos o de otro tipo, seguramente sesgarán los tipos de investigación que terminan en las páginas de nuestras revistas favoritas.

Al final, señalar estos defectos podría ser poco más que otra contribución al popular universo de quejas académicas. Se pueden identificar cosas del sistema que no gustan, que socavan la calidad, la originalidad y la inclusividad. Y algunos de estos elementos son legítimamente difíciles de cambiar.

Las mentes que revisan nuevos trabajos deberían idealmente ser tan diversas en perspectiva como los autores que generan el trabajo.

Sin embargo, la publicación académica es diferente de muchos otros rincones defectuosos de la ciencia profesional. Y algunas de las soluciones se pueden lograr con actividades relativamente de bajo esfuerzo. El pago por la revisión es una solución propuesta popular. Pero otras pueden lograrse sin consideraciones financieras. Por ejemplo, los decanos de ciencia en instituciones de élite podrían reunirse mañana (vía Zoom) y decidir una forma formal de incentivar fuertemente la participación en todos los aspectos del proceso de publicación. Podrían reconocer una verdad no reconocida: el científico que evalúa manuscritos regularmente, reanaliza datos y proporciona comentarios reflexivos y extensos es tanto un protector y promotor de la ciencia original como el que publica exclusivamente manuscritos por su cuenta. Estas son áreas factibles donde el liderazgo puede cambiar la conversación en relativamente poco tiempo. Por supuesto, existen grandes barreras para que algo de este tipo se ponga en práctica.

Al final, los intentos de racionalizar el sistema existente con argumentos como «Esto es lo que todos los demás están haciendo y lo que se ha hecho en el pasado» no pueden ser defendidos por ningún tipo de pensamiento maduro. Los caminos hacia muchos tipos de infierno están pavimentados con «Solo trabajo aquí».

Es necesario ser empático. Cambiar las cosas requiere tiempo y energía. Los sistemas que sustentan la publicación académica son subproductos de decisiones y no decisiones de personas ostensiblemente inteligentes que son hábiles en revelar las maravillas del mundo natural. Es hora de que dirijan su ingenio hacia adentro, hacia la creación de un nuevo sistema que recompense activamente a todos los que mantienen viva la ciencia.

Situación de la revisión por pares en 2024

IOP Publishing. «State of Peer Review 2024». Accedido 15 de mayo de 2024. https://ioppublishing.org/state-of-peer-review-2024/.

IOP Publishing ha publicado el informe «State of Peer Review 2024». En marzo de 2024, repitieron la encuesta de 2020 a revisores por pares en ciencias físicas, añadiendo nuevas preguntas. Los objetivos eran comparar respuestas para detectar cambios y recoger opiniones sobre temas como la IA generativa, el sesgo en la revisión por pares y la revisión doble anónima. El informe destaca cómo la pandemia de Covid-19, el aumento de publicaciones científicas y la aparición de la IA generativa han influido en la revisión por pares, además de abordar el aumento de retractaciones y la comercialización de la mala conducta investigativa.

Resultados Clave

  • Sesgo: La proporción de encuestados que reportan haber experimentado sesgo en el proceso de revisión por pares ha disminuido (16% en 2024 frente al 24% en 2020).
  • Motivación: El interés en el artículo sigue siendo la principal motivación para aceptar una invitación a revisar.
  • Uso de IA: Las opiniones sobre el impacto de la IA generativa en la revisión por pares están divididas.
  • Solicitudes de Revisión:
    • 50% reporta un aumento en las solicitudes en los últimos tres años.
    • 47% recibe menos de una invitación al mes.
    • 54% siente que recibe la cantidad adecuada de solicitudes.
    • 35% de los investigadores en etapas tempranas tienen más tiempo para revisar.
    • 52% prefiere revisar manuscritos de doble anonimato.

Tiempo Disponible para la Revisión

  • Frecuencia: 46.9% recibe menos de una solicitud al mes, solo el 3% recibe más de 11 solicitudes mensuales.
  • Diferencias Geográficas y de Carrera: No hay diferencias significativas por género, pero sí por etapa de carrera y región, con variaciones entre Europa y el resto del mundo.
  • Tendencias Recientes: 49.5% de los encuestados han visto un aumento en las solicitudes en los últimos tres años.

Tiempo Disponible Comparado con Solicitudes

  • En 2024, 30% tiene más tiempo disponible para revisiones comparado con 18% en 2020.
  • 16% recibe demasiadas solicitudes frente al 26% en 2020.
  • La mayoría, 54%, reporta recibir la cantidad adecuada de solicitudes.

No se observaron diferencias significativas por género, pero sí por etapa de carrera y región geográfica, especialmente entre países de ingresos altos y bajos.

Impacto de la IA Generativa en la Revisión por Pares

  • Opiniones Diversas:
    • Impacto Negativo: 35% de los encuestados.
    • Neutral/Sin Impacto: 36%.
    • Impacto Positivo: 29%.

Comentarios de los Respondentes:

  • Positivos: Utilidad para revisar manuscritos por plagio y calidad del idioma.
  • Negativos: Preocupaciones sobre la precisión y ética de los modelos de IA actuales.
  • General: La verificación y edición humana experta es necesaria antes de usar textos generados por IA en el proceso de revisión.

La IA generativa frente a la publicación académica

«Hanging in the balance: Generative AI versus scholarly publishing». Accedido 24 de abril de 2024. https://spie.org/news/photonics-focus/janfeb-2024/hanging-in-the-balance#_=

Desde la invención de la imprenta por Gutenberg en 1454, el sector editorial ha enfrentado desafíos relacionados con la alfabetización, el plagio, la censura de la información y el acceso a la misma. El lanzamiento de ChatGPT-3 en noviembre de 2022 marcó un hito, ya que este modelo de lenguaje generativo ha revolucionado la capacidad de generación de ideas, lo que ha generado tanto entusiasmo como preocupación en la comunidad académica.

Uno de los aspectos más destacados del debate es la creatividad de los modelos de lenguaje generativo, que pueden generar textos e imágenes. Aunque su capacidad para inventar referencias puede ser un problema, estos modelos son útiles para la generación de nuevas ideas y para identificar lagunas en la investigación existente. Sin embargo, surge la pregunta sobre la atribución de autoría, ya que los modelos generativos no pueden ser considerados como autores de estudios científicos, según el Consejo de Ética en Publicación (COPE).

En cuanto a la revisión por pares, la falta de revisores cualificados y la sobrecarga de trabajo en los editores han llevado a considerar el uso de AI para agilizar el proceso. Aunque existen preocupaciones sobre la confidencialidad y el sesgo en los resultados generados por los modelos de lenguaje generativo, estos también pueden ser herramientas útiles para la revisión de literatura y la identificación de trabajos relevantes en un área de investigación.

Otro aspecto a considerar es el fraude en la publicación académica, que ha aumentado con la capacidad de los modelos de lenguaje generativo para producir textos con una calidad gramatical aparentemente perfecta. Sin embargo, la responsabilidad sigue recayendo en los autores humanos, quienes deben garantizar la integridad ética de sus investigaciones.

A pesar de estos desafíos, los modelos de lenguaje generativo también ofrecen oportunidades para hacer que la publicación académica sea más accesible para personas cuyo idioma nativo no es el inglés. Estas herramientas pueden ayudar a superar barreras lingüísticas y permitir que los investigadores se centren en la ciencia en lugar de en la perfección gramatical en sus manuscritos.

En última instancia, el debate sobre el papel de la AI generativa en la publicación académica aún está en curso. A medida que la tecnología avanza, es crucial abordar sus desafíos éticos y técnicos para garantizar que beneficie a la comunidad académica en su conjunto.