Archivo de la etiqueta: Revisión científica

Nature incluye la revisión por pares transparente

Nature. “Transparent Peer Review to Be Extended to All of Nature’s Research Papers.” June 16, 2025. https://www.nature.com/articles/d41586-025-01880-9.

Durante décadas, el proceso de revisión por pares en Nature —aunque esencial para la validación científica— se mantenía fuera del alcance del lector. Los comentarios de los revisores y las respuestas de los autores eran visibles solo para los implicados en el proceso editorial. Con la nueva política, estos documentos se publicarán junto con el artículo final, permitiendo a la comunidad académica y al público general acceder a una visión detallada de cómo evolucionó cada manuscrito a través de la crítica científica.

La medida pretende fortalecer la confianza en la ciencia publicada, promoviendo una mayor transparencia, integridad y rendición de cuentas. Al hacer públicos los intercambios entre autores y revisores, se ofrece una herramienta educativa poderosa: los investigadores, especialmente los más jóvenes, podrán aprender cómo responder a críticas, mejorar sus escritos científicos y participar activamente en una cultura de revisión rigurosa pero constructiva. Además, este cambio permitirá a los lectores comprender mejor los razonamientos detrás de las decisiones editoriales.

El equipo editorial de Nature sostiene que la revisión transparente puede mejorar la calidad general de la ciencia, ya que los revisores serán más cuidadosos y responsables en sus observaciones, sabiendo que sus comentarios estarán a la vista de todos. Asimismo, esperan que el nuevo sistema disuada posibles conflictos de interés o arbitrariedades dentro del proceso de evaluación.

En definitiva, la decisión de Nature de extender la revisión por pares transparente a todos sus artículos establece un precedente importante en el ámbito editorial académico. No solo impulsa a otras revistas científicas a considerar modelos similares, sino que también consolida una visión más abierta, colaborativa y confiable del proceso de producción científica. Esta medida se enmarca dentro de una tendencia más amplia hacia la ciencia abierta, que busca que el conocimiento científico sea accesible, reproducible y verificable en todas sus etapas.

El primer artículo redactado por una inteligencia artificial que supera la revisión por pares

Whitney Grace, “The First AI-Written Paper to Pass Peer Review” ArnoldIT, April 2, 2025, https://arnoldit.com/wordpress/2025/04/02/the-first-ai-written-paper-to-pass-peer-review/.

Sakana AI informa de que «The AI Scientist Generates Its First Peer-Reviewed Scientific Publication». Se trata del primer artículo generado completamente por IA que ha pasado el mismo proceso de revisión al que someten sus artículos los científicos humanos

El 2 de abril de 2025, la empresa tecnológica  Sakana AI anunció un hito en el campo de la inteligencia artificial y la investigación científica: por primera vez, un artículo generado íntegramente por una IA superó con éxito el proceso de revisión por pares, el mismo procedimiento riguroso al que se someten los trabajos elaborados por investigadores humanos. Este avance representa un punto de inflexión en la relación entre la inteligencia artificial y la producción académica.

El trabajo fue realizado por una versión mejorada de su sistema denominado The AI Scientist-v2, una evolución del modelo original desarrollado por Sakana AI. Aunque los detalles técnicos de esta nueva versión aún no han sido publicados (se prometen en una próxima entrega), se sabe que el experimento se llevó a cabo en colaboración con los organizadores del taller de la conferencia ICLR 2025 (International Conference on Learning Representations), una de las tres principales conferencias internacionales en el campo del aprendizaje automático y la inteligencia artificial, junto con NeurIPS e ICML.

Con el objetivo de garantizar la imparcialidad del proceso, el artículo fue sometido a una revisión a doble ciego: ni los autores del trabajo (en este caso, la IA) ni los evaluadores conocían la identidad de los otros. Aunque se informó al comité de revisión que podría recibir trabajos generados por IA, no se especificó cuáles lo eran, lo que permitió evaluar el contenido en igualdad de condiciones.

La IA fue instruida para investigar y escribir sobre un tema amplio y relevante dentro del campo del aprendizaje profundo. Tras completar el proceso de redacción, se generaron múltiples trabajos, de los cuales se seleccionaron tres para su envío, con el objetivo de no sobrecargar al comité revisor y asegurar la calidad del experimento. Los investigadores humanos responsables del proyecto realizaron un análisis interno de los textos generados y eligieron los tres que consideraron más sólidos, tanto por su calidad técnica como por la diversidad de los temas abordados.

De esos tres artículos, uno fue aceptado tras recibir evaluaciones muy favorables. Obtuvo una puntuación media de 6,33, situándose por encima del umbral medio de aceptación del taller e incluso por encima de muchas propuestas redactadas por científicos humanos. Las valoraciones individuales incluyeron puntuaciones de 6 (ligeramente por encima del umbral de aceptación) y 7 (calificado como un “buen artículo” y con recomendación clara de aceptación).

El objetivo declarado del experimento fue meramente científico: los desarrolladores querían medir, con honestidad y sin intenciones comerciales o engañosas, hasta qué punto una inteligencia artificial es capaz de desempeñar tareas complejas y creativas que tradicionalmente han estado reservadas al intelecto humano. En lugar de levantar sospechas sobre trampas o fraudes en el sistema académico, la intención fue demostrar el potencial real —y los límites— de la inteligencia artificial en la investigación científica contemporánea.

Este acontecimiento abre un debate crucial sobre el futuro de la autoría, la originalidad y la evaluación académica. También plantea preguntas sobre la relación entre humanos y máquinas en el ámbito del conocimiento: ¿Podrán las IA convertirse en colaboradoras regulares de los investigadores humanos? ¿Se redefinirá el concepto de autoría científica? ¿Cómo cambiarán los procesos de revisión y validación de contenidos académicos ante la irrupción de inteligencias artificiales con estas capacidades?

Aunque todavía es pronto para responder con certeza, lo que está claro es que The AI Scientist-v2 ha marcado un antes y un después. A partir de ahora, no solo habrá que competir con otros investigadores en la búsqueda de la verdad científica, sino también con algoritmos que, poco a poco, van demostrando que son capaces no solo de procesar información, sino también de generar conocimiento estructurado y valioso.

El presente y el futuro de la revisión por pares: ideas, intervenciones y evidencia

Aczel, Balazs, Ann-Sophie Barwich, Amanda B. Diekman, y John P. A. Ioannidis. 2025. «The Present and Future of Peer Review: Ideas, Interventions, and Evidence.» Proceedings of the National Academy of Sciences 122 (5): e2401232121. https://doi.org/10.1073/pnas.2401232121

El sistema de revisión por pares enfrenta críticas por su falta de transparencia, sesgos e ineficiencia, poniendo en duda su sostenibilidad y utilidad. Este artículo analiza modelos alternativos y posibles mejoras para promover un debate amplio entre la comunidad científica. Los autores coinciden en que se necesita más evidencia rigurosa para implementar cambios justos y efectivos.

El sistema de revisión por pares (peer review) es uno de los pilares fundamentales de la ciencia moderna, pero actualmente se encuentra en el centro de un intenso debate sobre su eficacia, sostenibilidad y futuro. Este artículo ofrece una revisión crítica y panorámica sobre el estado actual de la revisión por pares, sus problemas más destacados, posibles soluciones y alternativas emergentes, buscando promover un diálogo constructivo entre los actores clave del ecosistema académico, incluyendo investigadores, editores, revisores, instituciones y financiadores.

Problemas identificados en la revisión por pares

Los autores enumeran una serie de deficiencias que afectan al sistema actual:

  • Sesgos e inequidades: La revisión por pares puede estar influenciada por prejuicios conscientes e inconscientes relacionados con la identidad del autor (género, afiliación institucional, país de origen), lo que genera desigualdades sistemáticas en la evaluación.
  • Opacidad: Muchos procesos de revisión siguen siendo confidenciales, lo que limita la transparencia y la rendición de cuentas, tanto de los revisores como de los editores.
  • Sobrecarga de trabajo: La creciente cantidad de publicaciones y manuscritos ha generado una sobrecarga en los revisores, quienes muchas veces asumen esta labor sin compensación adecuada, lo que afecta la calidad de las evaluaciones.
  • Retrasos y lentitud: El proceso puede ser extremadamente largo, obstaculizando la rápida difusión del conocimiento, especialmente en áreas donde la inmediatez es crucial, como la salud pública.
  • Dudas sobre la eficacia: Aunque el peer review busca garantizar la calidad, la reproducibilidad y la validez de los resultados científicos, existen estudios que ponen en duda su capacidad real para detectar errores, fraudes o investigaciones irrelevantes.

¿Es sostenible y útil el sistema?

El artículo señala que la revisión por pares, aunque imperfecta, sigue siendo el mejor método del que dispone actualmente la ciencia para evaluar la validez de los trabajos antes de su publicación. Sin embargo, su sostenibilidad está en entredicho debido a la sobrecarga de trabajo y a la creciente insatisfacción de autores y revisores.

Los autores subrayan que, aunque no existe un consenso claro sobre su eficacia absoluta, desmantelar el sistema sin contar con alternativas robustas podría ser arriesgado. La revisión por pares cumple funciones sociales (legitimación del conocimiento) y prácticas (control de calidad), pero necesita adaptarse y evolucionar.

Alternativas y posibles mejoras

El texto revisa distintas propuestas e intervenciones que podrían reformar o complementar el sistema actual:

  1. Revisión abierta (Open Peer Review): Hace públicos los nombres de los revisores y/o los informes de revisión. Aporta transparencia, aunque puede generar presiones y autocensura.
  2. Preprints y revisión post-publicación: Permiten la difusión inmediata del trabajo y que la comunidad científica en general realice comentarios y críticas posteriores.
  3. Incentivos para revisores: Desde reconocimientos públicos hasta compensaciones económicas o acreditaciones profesionales, se discuten mecanismos para valorar el trabajo de revisión.
  4. Uso de inteligencia artificial: Para asistir en tareas preliminares como la detección de plagio, verificación de datos o evaluación del rigor metodológico.
  5. Diversidad e inclusión: Fomentar la participación de revisores de diversas geografías, géneros y trayectorias, mitigando sesgos históricos.
  6. Capacitación formal: Desarrollar programas de formación para revisores, asegurando criterios de evaluación más homogéneos y profesionales.
  7. Evaluación de revisores: Incorporar sistemas de retroalimentación sobre la calidad de las revisiones realizadas.

Evidencias e investigación sobre peer review

Uno de los puntos clave del artículo es la falta de datos sólidos sobre el funcionamiento y los efectos reales de la revisión por pares. Los autores reclaman más estudios empíricos y comparativos que analicen:

  • La eficacia real del sistema en mejorar la calidad de los artículos.
  • El impacto de los distintos modelos alternativos.
  • Los factores que generan sesgos o inequidades.
  • Las experiencias de los diferentes actores involucrados.

Sin una base de evidencia más rigurosa y exhaustiva, sostienen los autores, cualquier reforma corre el riesgo de ser insuficiente o contraproducente.

Conclusiones

El artículo no pretende ofrecer una lista exhaustiva de problemas ni soluciones definitivas, sino abrir un espacio para la reflexión colectiva sobre cómo mejorar el sistema de revisión por pares en un contexto de cambios acelerados en la producción y comunicación del conocimiento científico.

Los autores coinciden en que garantizar evaluaciones justas, eficientes y sostenibles requiere no solo intervenciones concretas, sino también una mayor comprensión de cómo funciona realmente el sistema, sus puntos críticos y las mejores formas de transformarlo.

En definitiva, el futuro de la revisión por pares dependerá de un equilibrio entre innovación y prudencia, combinando la experiencia acumulada con nuevas prácticas que refuercen la confianza, la calidad y la equidad en la ciencia global.

Cómo optimizar las revisiones técnicas en revistas académicas para agilizar la publicación

Padula, Danielle. «Optimizing Journal Technical Checks to Improve Peer Review and Publishing Efficiency.» Scholastica Blog. Última modificación el 28 de febrero de 2024.

Texto completo

Las revisiones técnicas en revistas académicas garantizan que los manuscritos cumplan requisitos básicos de calidad, ética y formato antes de pasar a revisión por pares. Un proceso estandarizado agiliza tiempos, mejora la evaluación y previene errores. Además, simplificar instrucciones y automatizar validaciones optimiza el flujo editorial.

Antes de enviar artículos a revisión por pares y eventual publicación, las revistas académicas deben realizar revisiones técnicas o controles de calidad. Estas revisiones tienen como objetivo garantizar que los manuscritos cumplen con los requisitos básicos de información, políticas editoriales y normativas éticas del journal. De esta manera, se decide si el artículo puede avanzar a revisión por pares o si debe ser rechazado directamente (desk reject). Además, algunos aspectos técnicos pueden revisarse en fases posteriores del proceso editorial, especialmente cuando los manuscritos están más cerca de su aceptación definitiva.

Contar con un proceso estandarizado de revisiones técnicas aporta múltiples beneficios: asegura que los artículos cumplen con estándares éticos y formales, acelera la revisión por pares al evitar que trabajos incompletos avancen y permite que los revisores se concentren en evaluar el contenido científico sin distraerse por aspectos técnicos o formales. Además, ayuda a prevenir retrasos en la publicación derivados de errores o carencias detectadas demasiado tarde.

Cada revista debe adaptar su lista de chequeo técnico según su disciplina y sus procedimientos editoriales, pero hay aspectos comunes a tener en cuenta. Primero, la relevancia del artículo y la integridad de la presentación son fundamentales: comprobar que el título y el resumen son claros y precisos, que los datos de autoría son completos y correctos, que se ha incluido información sobre financiación y que se han proporcionado las palabras clave y la carta de presentación cuando sea necesario. Esto asegura que la contribución encaja dentro del alcance temático de la revista y cumple con los elementos básicos para su evaluación.

En segundo lugar, es crucial verificar que el manuscrito respeta las políticas editoriales y éticas del journal. Esto incluye declaraciones de originalidad, permisos para material reproducido, posibles conflictos de interés y el uso adecuado de herramientas de detección de plagio. También se revisan aspectos como la disponibilidad de los datos utilizados, la mención de fuentes públicas de datos (con DOI cuando proceda), y la declaración sobre el uso de inteligencia artificial en la elaboración del manuscrito. Si el estudio involucra ensayos clínicos, humanos o animales, también deben comprobarse los permisos éticos, consentimiento informado, aprobaciones institucionales y cumplimiento de guías de reporte reconocidas (como CONSORT o PRISMA).

Otro punto clave de la revisión técnica es evaluar de manera preliminar la calidad del contenido. Esto implica verificar que el lenguaje sea claro y profesional, que no haya errores graves de redacción, y que las figuras, tablas y fórmulas sean legibles y cumplan con las normas del journal. También debe revisarse que los métodos estadísticos estén correctamente descritos y que los resultados incluyan métricas adecuadas, como intervalos de confianza o valores p.

Por último, se debe revisar la estructura y el formato del manuscrito, aunque es recomendable no exigir un nivel excesivo de detalle en esta fase inicial. Se trata de asegurar aspectos básicos como que el texto respete los límites de palabras, que las figuras y tablas estén numeradas y etiquetadas correctamente, y que los materiales suplementarios estén bien identificados.

Para optimizar el proceso de revisiones técnicas, es esencial buscar un equilibrio: deben ser lo suficientemente exhaustivas para evitar que manuscritos inadecuados lleguen a revisión por pares, pero no tan minuciosas que ralenticen los tiempos de decisión inicial. Una buena estrategia es limitar al máximo los requisitos formales innecesarios en los manuscritos, como tipografías específicas o estilos de cita, sobre todo si la revista cuenta con herramientas de producción que automatizan esos aspectos tras la aceptación. Asimismo, es fundamental ofrecer a los autores instrucciones claras y simplificadas, organizadas de manera accesible y coherente, con ejemplos, plantillas y formularios estandarizados.

Finalmente, otra vía de optimización es aprovechar las funcionalidades de los formularios de envío de manuscritos en los sistemas de gestión editorial. Configurando campos obligatorios, validaciones automáticas (por ejemplo, de ORCID, afiliaciones institucionales o fuentes de financiación) y casillas de aceptación de políticas éticas, se minimizan errores y omisiones desde el momento del envío, reduciendo así la carga del equipo editorial en las revisiones técnicas.

En resumen, una lista de chequeo técnico bien diseñada y un proceso ágil permiten mejorar la experiencia tanto del equipo editorial como de los autores y revisores, favoreciendo tiempos de publicación más cortos y una mayor calidad en los procesos editoriales.

Ai2 ScholarQA, una herramienta experimental basada en inteligencia artificial para facilitar las revisiones de literatura científica

Ai2 ScholarQA

Ai2 ScholarQA, una herramienta experimental basada en inteligencia artificial para facilitar las revisiones de literatura científica. Desarrollada por el Instituto Allen para la Inteligencia Artificial (Ai2), esta herramienta permite a los investigadores formular preguntas científicas que requieren la comparación y el resumen de múltiples documentos. Ai2 ScholarQA utiliza un modelo avanzado de IA, Claude Sonnet 3.5, y un corpus de artículos de acceso abierto para proporcionar respuestas detalladas y contextualizadas. Aunque la herramienta puede ser menos coherente en algunos casos debido a su enfoque en la evidencia, busca mejorar la eficiencia en las revisiones de literatura. Ai2 planea abrir el código fuente de la funcionalidad principal y continuar explorando formas de personalizar y mejorar el apoyo a la investigación científica con IA.

¿Puede la inteligencia artificial revisar la literatura científica y descifrar su significado?

Pearson, Helen. «Can AI Review the Scientific Literature — and Figure out What It All Means?» Nature 635, n.o 8038 (13 de noviembre de 2024): 276-78. https://doi.org/10.1038/d41586-024-03676-9.


La inteligencia artificial (IA) está revolucionando la revisión de la literatura científica al ofrecer herramientas que pueden resumir grandes volúmenes de información de manera rápida. Sin embargo, esta innovación plantea tanto beneficios como riesgos.

La IA en la ciencia no es un tema nuevo. Los investigadores han utilizado herramientas de software durante décadas para buscar y analizar la literatura científica. Sin embargo, los recientes modelos de lenguaje de gran escala (LLM), como ChatGPT, han generado entusiasmo por la automatización de la síntesis de información. Estos modelos no solo encuentran y resumen artículos, sino que ahora pueden, en teoría, generar revisiones narrativas de literatura científica, aunque todavía no alcanzan el nivel de rigor de las revisiones sistemáticas.

Este campo está en auge debido a la dificultad de los investigadores para mantenerse al día con la creciente cantidad de publicaciones científicas. Tal es el caso de Sam Rodriques, quien, junto a su equipo de la startup FutureHouse, ha creado un sistema de IA llamado PaperQA2, diseñado para sintetizar información científica. Con él, lograron producir artículos sobre 17.000 genes humanos, muchos de los cuales carecían de una página en Wikipedia.

Los motores de búsqueda de IA en ciencia

Algunos motores de búsqueda con IA, como Consensus y Elicit, se han diseñado específicamente para facilitar la revisión de literatura académica. Estos motores primero realizan una búsqueda en bases de datos científicas como Semantic Scholar y PubMed, y luego utilizan un LLM para resumir los estudios encontrados y generar respuestas sintetizadas. El usuario puede ver referencias y filtros para ajustar los resultados. Estas herramientas pueden hacer que el proceso de revisión y redacción sea más eficiente al encargarse de las tareas más laboriosas, aunque la calidad de sus resúmenes no es comparable aún a la de una revisión realizada por expertos.

Desafíos y limitaciones

Los expertos advierten que pedirle a una IA como ChatGPT que redacte revisiones completas desde cero sería poco fiable. Los LLM entrenan con grandes volúmenes de texto y generan respuestas basadas en probabilidad, sin evaluar la credibilidad de las fuentes. Esto significa que pueden combinar información académica válida con fuentes menos confiables, sin dar prioridad a la literatura de mayor calidad. Además, pueden generar errores o «alucinaciones», es decir, referencias o afirmaciones inexistentes.

Para evitar estos problemas, algunos investigadores emplean un método llamado “generación aumentada por recuperación”, que consiste en cargar en el modelo únicamente artículos seleccionados previamente. Esta técnica reduce los errores, pero no los elimina por completo.

Revisión sistemática y el papel de la IA

Mientras las revisiones narrativas son confiables, la revisión sistemática presenta mayores obstáculos. Este tipo de revisión requiere pasos estrictos, como búsqueda exhaustiva, evaluación de la calidad de los estudios, síntesis de datos y, a menudo, un meta-análisis. Cada paso es revisado por al menos dos investigadores para garantizar precisión y transparencia. En 2019, un equipo de investigadores, incluido Paul Glasziou, estableció un récord al completar una revisión sistemática en solo dos semanas, empleando herramientas como RobotSearch y RobotReviewer, que usan IA para identificar estudios y evaluar riesgos de sesgo. Sin embargo, aunque estas herramientas reducen el tiempo de revisión, la IA aún no puede completar una revisión sistemática de forma autónoma.

Elicit y otros sistemas afirman ayudar en la revisión sistemática, pero no la automatizan completamente. En su lugar, permiten a los investigadores acelerar pasos específicos, como la clasificación de artículos y la extracción de datos, mientras que otros procesos siguen dependiendo del juicio humano. La limitación de estos sistemas es que solo pueden buscar en artículos de acceso abierto y abstracts, dejando fuera gran parte de la literatura científica, que suele estar bajo pago.

Riesgos y futuro de la IA en revisiones científicas

Aunque la IA puede ayudar a mejorar la velocidad y eficiencia de las revisiones, también podría dar lugar a revisiones menos rigurosas y de menor calidad. La tentación de utilizar herramientas de IA para realizar revisiones rápidamente podría resultar en artículos poco precisos, contaminando la literatura científica. Sin embargo, hay quienes creen que la IA también podría elevar los estándares en la revisión de literatura al hacer que más científicos consulten la literatura existente antes de lanzar nuevos estudios.

Algunos expertos sugieren que el desarrollo de herramientas de IA para la ciencia debería estar en manos de organizaciones sin fines de lucro que promuevan la transparencia y la evaluación rigurosa. Recientemente, en el Reino Unido se ha anunciado una inversión significativa en herramientas de síntesis de evidencia, lo que refleja el creciente interés en abordar estos desafíos. La clave para el futuro parece estar en equilibrar la eficiencia que la IA puede aportar con la necesidad de mantener estándares rigurosos en la investigación científica.

Preprints revisados por pares y el modelo Publish-Review-Curate (PRC)

Bourguet, D. ; Guillemaud, T. «Peer-reviewed preprints and the Publish-Review-Curate model | Plan S». Accedido 29 de octubre de 2024. https://www.coalition-s.org/blog/peer-reviewed-preprints-and-the-publish-review-curate-model/.

El modelo tradicional de publicación científica enfrenta críticas crecientes por ser lento, poco transparente y controlado por un número limitado de editores y revisores. Este modelo, en el que los artículos pueden tardar meses o años en ser evaluados y aceptados para su publicación, ha sido señalado como ineficiente y, en algunos casos, obsoleto. En este contexto, han surgido alternativas como los preprints revisados por pares y el modelo Publish-Review-Curate (PRC), que buscan hacer el proceso de publicación más accesible, abierto y rápido.

Entre las alternativas emergentes se encuentran los preprints revisados por pares, en los que los autores suben versiones preliminares de sus artículos a servidores públicos antes de ser revisados formalmente. Esto permite que sus resultados estén disponibles de inmediato, acelerando la difusión del conocimiento. En la modalidad de preprints revisados, servicios especializados llevan a cabo la revisión formal de estos documentos y publican las evaluaciones de manera abierta. Ejemplos de estos servicios incluyen Review Commons, PREreview y Peer Community In (PCI), los cuales permiten que los lectores accedan tanto al artículo como a los comentarios de expertos en el campo, proporcionando una perspectiva crítica adicional.

El modelo Publish-Review-Curate (PRC) agrega una fase de curación que va más allá de la revisión. A diferencia del modelo de preprints revisados, el modelo PRC organiza los artículos en colecciones seleccionadas, que se presentan en revistas o plataformas específicas. La curación actúa como un filtro adicional que resalta aquellos artículos que cumplen con ciertos estándares de calidad, dándoles una mayor visibilidad. Sin embargo, esta curación no implica necesariamente una validación formal, sino que funciona como una recomendación de lectura para quienes estén interesados en el tema. Un ejemplo de este enfoque es el de eLife, donde los artículos se publican primero como preprints y, tras la revisión, no se les asigna una decisión de “aceptación” o “rechazo” tradicional, sino que se publican junto a revisiones y evaluaciones editoriales cualitativas.

Estos modelos alternativos, aunque ofrecen transparencia y accesibilidad, también introducen ambigüedades en torno a los conceptos de revisión y curación. Por un lado, la revisión por pares no siempre equivale a una validación; muchas veces, los lectores asumen que un artículo revisado por pares ha sido validado científicamente, cuando en realidad no siempre es así. Las revisiones brindan críticas constructivas, pero no necesariamente una evaluación concluyente, lo cual puede confundir a lectores menos familiarizados con el proceso. Por otro lado, la curación tampoco implica validación. Aunque se asocia con la selección de artículos destacados, no necesariamente significa que estos hayan pasado por una evaluación exhaustiva, lo cual puede inducir a error si el lector asume que todos los artículos curados son de alta calidad.

Para abordar estas ambigüedades, Peer Community In (PCI) propone un enfoque de validación binaria en el que cada artículo revisado recibe una decisión clara de «aceptación» o «rechazo». Este enfoque permite ofrecer a los lectores una señal inequívoca sobre la calidad y relevancia del artículo, lo que reduce el riesgo de malinterpretaciones sobre su nivel de validación. Dentro de este marco, PCI sugiere dos variantes del modelo PRC: en el primero, la curación implica validación (Publish-Review-Curate=Validate); en el segundo, la validación ocurre antes de la curación (Publish-Review=>Validate-Curate), lo que da al artículo ya validado una visibilidad adicional.

Comparado con el sistema tradicional, el modelo PRC con validación binaria ofrece diversas ventajas: elimina los largos retrasos al hacer los preprints públicos de inmediato; promueve la transparencia al hacer accesibles las revisiones; fomenta la equidad mediante criterios de evaluación abiertos; y permite una mayor diversidad de evaluadores, introduciendo múltiples perspectivas y reduciendo la centralización del proceso en un pequeño grupo de editores.

En conclusión, el modelo Publish-Review-Curate, especialmente cuando incorpora una validación binaria, se presenta como una alternativa robusta y transparente al modelo de publicación científica tradicional. A medida que estos modelos se ajusten y perfeccionen, es probable que ganen terreno dentro del ecosistema de investigación, proporcionando una respuesta a las limitaciones del sistema tradicional y ofreciendo mayor accesibilidad, rapidez y transparencia en la publicación científica.

Un análisis DAFO exhaustivo de la IA y la experiencia humana en la revisión por pares

Roohi Ghosh, «Strengths, Weaknesses, Opportunities, and Threats: A Comprehensive SWOT Analysis of AI and Human Expertise in Peer Review», The Scholarly Kitchen, 12 de septiembre de 2024, https://scholarlykistg.wpenginepowered.com/2024/09/12/strengths-weaknesses-opportunities-and-threats-a-comprehensive-swot-analysis-of-ai-and-human-expertise-in-peer-review/.

Roohi Ghosh aborda el papel de la revisión por pares en la era digital, especialmente a medida que se aproxima la Semana de la Revisión por Pares.

El auge del contenido generado por IA en revistas científicas plantea preguntas sobre la responsabilidad del proceso de revisión. La carga de trabajo de los revisores es abrumadora, con millones de artículos publicados cada año y un número limitado de revisores disponibles, quienes realizan este trabajo de manera voluntaria, a menudo en su tiempo libre.

Ghosh señala que la revisión por pares debe centrarse en fortalecer la ciencia, no en detectar contenido de IA. La expectativa de que los revisores busquen texto generado por IA desvía su atención de su verdadero objetivo, lo que diluye su experiencia. En lugar de añadir presión, la IA debería ser una herramienta que facilite el trabajo de los revisores.

Se plantean preguntas sobre cómo integrar herramientas de IA que puedan identificar contenido generado por IA antes de que los artículos lleguen a los revisores, permitiéndoles concentrarse en el contenido. También se sugiere que se debe ofrecer capacitación específica sobre el uso efectivo de estas herramientas y desarrollar un enfoque colaborativo entre revisores.

El análisis SWOT propone examinar las fortalezas, debilidades, oportunidades y amenazas tanto de la IA como de la experiencia humana en la revisión por pares. En lugar de culpar, se debe fomentar un diálogo sobre cómo utilizar la IA como un aliado en la preservación de la integridad de la investigación y replantear los roles dentro del proceso de revisión. La conversación debe cambiar de la culpa a la colaboración, reimaginando el futuro de la revisión por pares.

 “AI Scientist” de Sakana AI investiga de forma autónoma desafiando las normas científicas

AI, Sakana. «Sakana AI The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery», 13 de agosto de 2024. https://sakana.ai/.

AI Scientist” es el primer sistema integral para la investigación científica completamente automática. Este sistema permite que los Modelos de Lenguaje Grande (LLMs) realicen investigaciones de manera independiente.

Uno de los grandes desafíos de la inteligencia artificial es desarrollar agentes capaces de realizar investigaciones científicas y descubrir nuevo conocimiento. Aunque los modelos actuales ya ayudan a los científicos humanos en tareas como generar ideas o escribir código, aún requieren mucha supervisión y están limitados a tareas específicas.

Sakana AI, junto con científicos de las universidades de Oxford y British Columbia, ha desarrollado un sistema de inteligencia artificial llamado “AI Scientist”. Este innovador sistema es capaz de realizar investigaciones científicas de manera autónoma, cubriendo todo el proceso de investigación, desde la generación de ideas hasta la elaboración de manuscritos científicos completos.

“AI Scientist” automatiza diversas etapas, como la creación y evaluación de nuevas ideas, la ejecución de experimentos, la recopilación de datos y la redacción de informes científicos. Sin embargo, este avance también suscita preguntas importantes sobre el rol futuro de los científicos humanos. Aunque la IA es eficaz en el procesamiento de grandes cantidades de datos y en la identificación de patrones, la intuición, creatividad y juicio ético humanos continúan siendo indispensables.

Este proceso incluye:

  1. Generación de Ideas: El Científico de IA «brainstormea» nuevas direcciones de investigación, basándose en un código inicial y en búsquedas en Semantic Scholar para asegurar la novedad de las ideas.
  2. Iteración Experimental: Ejecuta los experimentos propuestos, produce gráficos y notas que se usan en la redacción del artículo.
  3. Redacción del Artículo: Redacta un informe conciso y claro en LaTeX, citando autonomamente artículos relevantes.
  4. Revisión Automatizada de Artículos: Desarrolla un revisor automático basado en LLM que evalúa los artículos con una precisión casi humana, mejorando continuamente la producción científica del sistema.

Pese a su potencial, “AI Scientist” tiene varias limitaciones. No es capaz de hacer preguntas a los autores ni de interpretar figuras, y frecuentemente genera propuestas similares en diferentes ejecuciones. Además, puede fallar en la implementación de ideas y presenta desafíos en aspectos visuales y de citación. Los resultados producidos deben considerarse como sugerencias para futuras investigaciones más que como ciencia definitiva.

“AI Scientist” abre una caja de Pandora de nuevos problemas, aunque el informe completo discute estos temas en mayor detalle. Entre los problemas clave se encuentran las consideraciones éticas y el impacto potencial en el proceso académico. Aunque “AI Scientist” puede ser una herramienta útil para los investigadores, su capacidad para crear y enviar automáticamente artículos puede aumentar significativamente la carga de trabajo de los revisores y tensar el proceso académico, afectando el control de calidad científica. Esto es similar a las preocupaciones en torno a la IA generativa en otras aplicaciones, como la generación de imágenes.

Además, el Revisor Automatizado, si se despliega en línea, podría reducir significativamente la calidad de las revisiones e imponer sesgos indeseables en los artículos. Por ello, es fundamental que los artículos y revisiones generados por IA sean identificados como tales para asegurar la transparencia total.

Como con muchas tecnologías anteriores, “AI Scientist” tiene el potencial de ser utilizado de manera poco ética. Por ejemplo, podría realizar investigaciones no éticas o peligrosas si se le da acceso a laboratorios virtuales para realizar experimentos biológicos. Esto podría dar lugar a la creación de virus o sustancias tóxicas antes de que se detecten los riesgos. Del mismo modo, podría desarrollar virus informáticos peligrosos si se le solicita crear software funcional. Estas capacidades en mejora subrayan la necesidad urgente de alinear estos sistemas con valores éticos y garantizar que exploren de manera segura.

En cuanto a los modelos utilizados, se emplearon modelos de frontera propietarios, como GPT-4o y Sonnet, pero también se exploraron modelos abiertos como DeepSeek y Llama-3. Aunque los modelos propietarios actuales producen los mejores artículos, no hay razón fundamental para que un solo modelo mantenga esta ventaja. Se espera que todos los LLMs, incluidos los modelos abiertos, continúen mejorando. La competencia entre LLMs ha llevado a su mayor disponibilidad y capacidades mejoradas, y el trabajo busca ser independiente del proveedor del modelo base. Los modelos abiertos ofrecen beneficios significativos, como menor costo, disponibilidad garantizada, mayor transparencia y flexibilidad. El objetivo es usar estos modelos en un sistema cerrado de investigación automejorado.

Finalmente, aunque se imagina un ecosistema científico completamente impulsado por IA que incluya investigadores, revisores y conferencias, no se cree que el papel del científico humano se vea disminuido. Más bien, este rol evolucionará y se adaptará a la nueva tecnología, moviéndose hacia tareas de mayor nivel.

Los científicos que dedican tiempo a revisar manuscritos no reciben recompensas por sus esfuerzos. Es hora de cambiar eso.

Magazine, Undark. «The Misplaced Incentives in Academic Publishing». Undark Magazine, 4 de julio de 2024. https://undark.org/2024/07/04/opinion-misplaced-incentives-academic-publishing/.

Las lamentaciones sobre los modelos actuales de publicación académica provienen de todos los rincones de la comunidad científica. ¿Cómo funciona el sistema? El científico redacta los resultados de su estudio en forma de artículo. Ese artículo es revisado por «pares» (normalmente otros científicos) para una revista. Con pocas excepciones, esta es la ruta necesaria para publicar trabajos en el ecosistema profesional de la ciencia.

Los argumentos en contra son muchos, pero tienden a centrarse en características dudosas de la revisión por pares y el modelo de negocio de las revistas que publican informes revisados por pares sobre nuevas investigaciones. Las revistas cobran a las instituciones por suscripciones, y a menudo los investigadores individuales pagan hasta miles de dólares por artículo para su publicación. Todo esto mientras las revistas utilizan mano de obra gratuita o de bajo costo de editores y revisores. La hipocresía relacionada es que estas revistas se benefician de investigaciones pagadas por los contribuyentes, financiadas a través de organismos federales como la National Science Foundation y los National Institutes of Health.

A pesar de que el público financia gran parte de este trabajo, la mayor parte permanece tras un muro de pago, accesible gratuitamente solo para aquellos afiliados a instituciones que pueden pagar suscripciones (y los raros individuos que pueden pagar por sí mismos), eliminando así a la mayoría del público de la ciencia ciudadana. Muchas de las revistas que ofrecen artículos de «acceso abierto» lo hacen cobrando una tarifa exorbitante a los investigadores para publicar.

Pero por condenables que sean estos cargos, solo capturan un aspecto de la hipocresía y la irracionalidad en el modelo de publicación académica. Esto ha llevado a concluir que muchos de los mayores pecados, no apreciados, de la publicación no surgen de las revistas en sí, sino del ecosistema profesional que define la academia moderna. La estructura de incentivos fomenta un comportamiento que refuerza el modelo de publicación actual, que está roto.

El sistema actual recompensa la productividad individual mucho más que las contribuciones al sistema que fomenta la productividad. Es decir, la ciencia académica ha creado un desajuste entre los deseos y necesidades de los científicos individuales y el esfuerzo necesario para mantener una empresa científica sostenible, donde los comentarios de sus pares son necesarios.

Los científicos más experimentados suelen aconsejar dejar de lado la revisión de manuscritos o el servicio como editor de una revista y en su lugar centrarse en la propia producción. Este es un excelente consejo para un proceso pervertido: la revisión por pares de calidad es lo que da confianza en que la investigación que se lee en las revistas es de alta calidad. Pero la centralidad de la revisión por pares se basa en la suposición de que las personas evaluarán cuidadosamente el trabajo de otros por buena voluntad, o que los autores reconocerán las horas de trabajo que requieren las publicaciones de los revisores devolviendo el favor.

Seguramente, la participación de los científicos en el proceso puede ayudar a su propia productividad: los académicos construyen relaciones con los editores de revistas en las que podrían publicar sus propios manuscritos, y leer y revisar manuscritos les expone a nuevos trabajos. Pero en el mejor de los casos, estos beneficios son indirectos. Hablando claramente, prácticamente nadie en la historia de la ciencia profesional ha sido promovido o recompensado significativamente por proporcionar revisiones estelares del trabajo de otros. Aquellos que pasan horas mejorando el trabajo de sus pares a menudo lo hacen como un favor (o más bien, como una «donación»).

El sistema actual recompensa la productividad individual mucho más que las contribuciones al sistema que fomenta la productividad.

No es necesario estar versado en teoría de juegos evolutiva para reconocer cómo este sistema selecciona el comportamiento egoísta: las perspectivas de carrera de un científico son mucho mejores si decide solo producir manuscritos, en lugar de participar en su evaluación. El problema aquí puede describirse en términos termodinámicos: para que el sistema funcione responsablemente, la energía invertida debería ser aproximadamente igual a la energía que se obtiene. Muchos manuscritos publicados de impacto fueron producto del trabajo de dos o tres (o más) revisores. La única forma de agregar balance energético sería que cada investigador revisara dos o tres manuscritos por cada uno que publican como autor principal o corresponsal (uno de los que lideraron el esfuerzo de investigación). Desafortunadamente, los propios intereses de los científicos tienen prioridad.

Impresionantemente, el incentivo al egoísmo funciona tanto para científicos junior como senior. Los científicos junior deben centrarse en sí mismos porque la productividad es la clave para el ascenso profesional. Para los científicos senior, no hay razón para participar porque su (a menudo bien ganada) seguridad laboral elimina prácticamente cualquier consecuencia de no participar. Debido a la falta de incentivos, incluso las revistas de alto impacto pueden tener dificultades para encontrar revisores capacitados para los manuscritos enviados.

Los asociados postdoctorales y los estudiantes de posgrado pueden y deben participar formalmente en la revisión por pares porque muchos están calificados para hacerlo, y porque evaluar manuscritos es un excelente ejercicio de formación para el científico en desarrollo. Pero la motivación para incluir a los aprendices en la revisión por pares no es un nuevo deseo de formar a los científicos junior en todos los aspectos de la ciencia. Más bien, se necesita incluirlos porque se está quedando sin voluntarios más experimentados, y se debe encontrar la mano de obra donde pueda encontrarse.

La crisis de revisores tiene otros efectos perniciosos. Si todos los que son autores principales de un manuscrito que es revisado no devuelven el esfuerzo, entonces las matemáticas resultantes no cuadran tan bien: menos personas revisan manuscritos que las que los escriben. ¿El problema aquí? Las mentes que revisan nuevos trabajos deberían idealmente ser tan diversas en perspectiva como los autores que generan el trabajo. Este no es un problema de equilibrio, sino uno relacionado con la innovación: las diferentes perspectivas están mejor equipadas para apreciar la vasta gama de ciencia que se está llevando a cabo en todo el mundo.

Sin una gran y diversa base de revisores, un número relativamente pequeño de individuos moldea el trabajo que termina en las revistas. Incluso si esta pequeña fracción de súper-revisores son personas honestas y confiables, sus sesgos, metodológicos o de otro tipo, seguramente sesgarán los tipos de investigación que terminan en las páginas de nuestras revistas favoritas.

Al final, señalar estos defectos podría ser poco más que otra contribución al popular universo de quejas académicas. Se pueden identificar cosas del sistema que no gustan, que socavan la calidad, la originalidad y la inclusividad. Y algunos de estos elementos son legítimamente difíciles de cambiar.

Las mentes que revisan nuevos trabajos deberían idealmente ser tan diversas en perspectiva como los autores que generan el trabajo.

Sin embargo, la publicación académica es diferente de muchos otros rincones defectuosos de la ciencia profesional. Y algunas de las soluciones se pueden lograr con actividades relativamente de bajo esfuerzo. El pago por la revisión es una solución propuesta popular. Pero otras pueden lograrse sin consideraciones financieras. Por ejemplo, los decanos de ciencia en instituciones de élite podrían reunirse mañana (vía Zoom) y decidir una forma formal de incentivar fuertemente la participación en todos los aspectos del proceso de publicación. Podrían reconocer una verdad no reconocida: el científico que evalúa manuscritos regularmente, reanaliza datos y proporciona comentarios reflexivos y extensos es tanto un protector y promotor de la ciencia original como el que publica exclusivamente manuscritos por su cuenta. Estas son áreas factibles donde el liderazgo puede cambiar la conversación en relativamente poco tiempo. Por supuesto, existen grandes barreras para que algo de este tipo se ponga en práctica.

Al final, los intentos de racionalizar el sistema existente con argumentos como «Esto es lo que todos los demás están haciendo y lo que se ha hecho en el pasado» no pueden ser defendidos por ningún tipo de pensamiento maduro. Los caminos hacia muchos tipos de infierno están pavimentados con «Solo trabajo aquí».

Es necesario ser empático. Cambiar las cosas requiere tiempo y energía. Los sistemas que sustentan la publicación académica son subproductos de decisiones y no decisiones de personas ostensiblemente inteligentes que son hábiles en revelar las maravillas del mundo natural. Es hora de que dirijan su ingenio hacia adentro, hacia la creación de un nuevo sistema que recompense activamente a todos los que mantienen viva la ciencia.