Archivo de la etiqueta: Revisión abierta

Los artículos cuyos informes de revisión por pares están disponibles tienen menos probabilidades de ser retractados

Nature. “AI in the lab: how artificial intelligence is changing scientific research”. Nature, 2026. Disponible en: https://www.nature.com/articles/d41586-026-02282-1

Los investigadores señalan que las prácticas de publicación transparentes podrían estar asociadas con una mayor calidad de la investigación, aunque todavía se necesitan más evidencias.

Los artículos científicos cuyos informes de revisión por pares son públicos tienen menos probabilidades de ser retractados que aquellos cuyos informes permanecen confidenciales, según concluye un estudio. Sus autores sugieren que este fenómeno podría reflejar, al menos en algunos casos, una mayor confianza de los investigadores que optan por hacer transparente el proceso de evaluación.

El análisis, publicado este año como preprint en el servidor MetaArXiv, examinó 116.359 artículos publicados desde mayo de 2019 en revistas de acceso abierto de la Public Library of Science (PLOS), con sede en San Francisco (California). Las revistas de PLOS permiten a los autores decidir, una vez aceptado el manuscrito, si desean publicar junto al artículo los informes de revisión por pares. De los trabajos analizados, 46.920 artículos —algo más del 40 %— fueron acompañados por estos informes abiertos.

Entre los artículos con informes públicos de los revisores, 105 fueron posteriormente retractados, frente a 321 retractaciones entre aquellos cuyo proceso de revisión permaneció cerrado.

El estudio no pretende explicar directamente la relación entre la revisión abierta y la menor tasa de retractaciones. Sin embargo, en un trabajo de seguimiento aún no publicado, descrito a Nature Index, el coautor Matt Spick, especialista en integridad de la investigación de la Universidad de Surrey (Reino Unido), investigó si el tono o sentimiento de los informes de los revisores podía aportar alguna explicación.

Una posibilidad era que los autores de PLOS, que deciden si publican los informes únicamente después de que el artículo ha sido aceptado, tendieran a hacerlo cuando las evaluaciones eran especialmente favorables. Para comprobar esta hipótesis, Spick comparó el contenido de los informes de revisión de PLOS con los informes públicos de artículos publicados en revistas de BMC, editorial con sede en Londres y perteneciente a Springer Nature, la misma empresa que publica Nature. No encontró diferencias significativas entre ambos conjuntos de datos, lo que sugiere que la menor tasa de retractaciones no puede explicarse simplemente porque los autores publiquen únicamente las revisiones más positivas.

En su lugar, Spick y Adrian Barnett, estadístico de la Queensland University of Technology (Australia) y coautor del preprint de MetaArXiv, plantean otra hipótesis: los investigadores que tienen una mayor confianza en la calidad de su trabajo y que, además, apoyan las prácticas de ciencia abierta, podrían estar más predispuestos a elegir la revisión por pares abierta. En consecuencia, la decisión de hacer públicos los informes de revisión podría constituir, por sí misma, un indicador indirecto de la calidad del artículo.

Esta interpretación es compartida por Jessica Polka, responsable del desarrollo de materiales docentes de biología en MIT Open Learning, quien considera que publicar los informes de los revisores constituye «una señal muy útil para el lector de que los autores confían en la solidez de sus resultados».

Los autores advierten de que existen numerosos factores que dificultan atribuir esta relación a una única causa.

Por ejemplo, el estudio no analiza las razones concretas por las que algunos artículos fueron retractados. Además de los casos de fraude o mala conducta científica, las retractaciones también pueden producirse por errores honestos o por problemas de reproducibilidad, circunstancias que no necesariamente influyen en la confianza que los autores tienen en su trabajo cuando deciden si desean hacer públicos los informes de revisión.

Asimismo, el estudio no evaluó si el modelo de revisión utilizado por las revistas de PLOS —como la revisión simple ciega (single-blind), en la que los revisores conocen la identidad de los autores pero no al contrario, o la doble ciega (double-blind), en la que autores y revisores permanecen mutuamente anónimos— influye en la proporción de autores que optan por publicar los informes de evaluación.

No obstante, la investigación sí detectó diferencias geográficas significativas. Los investigadores de Arabia Saudí, Corea del Sur, Pakistán, Polonia y China fueron los menos propensos a elegir la revisión abierta, mientras que los autores del Reino Unido, Países Bajos, Francia y Etiopía figuraban entre los más inclinados a hacerlo.

Según Barnett, estas diferencias pueden explicarse, al menos en parte, por factores culturales e institucionales. Las normas académicas, el grado en que universidades y organismos financiadores promueven la ciencia abierta y la transparencia, así como las políticas nacionales de publicación científica, influyen en la disposición de los investigadores a compartir públicamente los informes de revisión.

Las prácticas editoriales también están fuertemente condicionadas por las políticas de grandes financiadores de la investigación y organizaciones filantrópicas, como Wellcome, en Londres, o la Fundación Gates, en Seattle (Washington), que fomentan activamente la ciencia abierta y la publicación de los informes de revisión por pares como parte de una investigación más transparente y responsable.

OpenEval: la inteligencia artificial entra en la revisión científica y redefine el futuro del peer review

OpenEval Project. “OpenEval Project: Transparent LLM-Enabled Peer Review Assessment”. Plataforma de investigación abierta sobre evaluación científica asistida por inteligencia artificial, 2026. Disponible en: OpenEval Project

OpenEval propone una revolución en la evaluación científica al sustituir la revisión global del artículo por un análisis automatizado de cada afirmación individual contenida en el paper, demostrando que la inteligencia artificial puede participar activamente en la validación del conocimiento científico y cuestionando el modelo tradicional de peer review que ha dominado la ciencia durante siglos

El proyecto OpenEval representa una de las iniciativas más ambiciosas actualmente en desarrollo para replantear uno de los pilares centrales de la ciencia moderna: el sistema de peer review o revisión por pares. Durante más de tres siglos, la validación de artículos científicos ha dependido casi exclusivamente del juicio humano de especialistas encargados de evaluar la calidad metodológica, la consistencia argumentativa y la solidez empírica de un trabajo antes de su publicación. Sin embargo, el crecimiento exponencial de la producción científica mundial —acentuado todavía más por el uso creciente de herramientas de inteligencia artificial generativa— está comenzando a desbordar la capacidad del sistema tradicional. OpenEval surge precisamente como respuesta a este problema estructural: desarrollar un sistema transparente, sistemático y automatizado capaz de analizar artículos científicos mediante modelos de lenguaje avanzados y comparar sus evaluaciones con revisiones realizadas por expertos humanos.

La innovación central del proyecto consiste en cambiar radicalmente la unidad básica de evaluación científica. Tradicionalmente, un artículo se revisa como un documento global donde los revisores formulan observaciones generales sobre hipótesis, metodología, resultados o conclusiones. OpenEval propone descomponer cada paper en unidades mínimas verificables: afirmaciones concretas o claims individuales. Cada afirmación es extraída automáticamente del texto mediante procesamiento lingüístico avanzado y posteriormente clasificada según el tipo de evidencia que la respalda. El sistema distingue, por ejemplo, afirmaciones sustentadas en datos experimentales directos, referencias bibliográficas previas, inferencias estadísticas o interpretaciones especulativas. Esta descomposición granular permite que la inteligencia artificial no evalúe un artículo como un bloque narrativo indivisible, sino como una red estructurada de afirmaciones susceptibles de verificación independiente. La idea responde a una intuición fundamental: la ciencia debería ser legible no solo para seres humanos, sino también para máquinas capaces de interpretar formalmente la arquitectura lógica del conocimiento científico.

Para poner a prueba esta metodología, los desarrolladores construyeron uno de los mayores corpus experimentales de revisión científica automatizada disponibles actualmente. El sistema procesó 16.089 artículos científicos procedentes de la revista de acceso abierto eLife, identificando 1.964.856 afirmaciones individuales distribuidas en casi 300.000 unidades evaluables. Paralelamente se recopilaron más de 29.000 revisiones generadas por OpenEval y cerca de 29.205 revisiones realizadas previamente por revisores humanos, permitiendo comparar ambos sistemas de evaluación. Uno de los hallazgos más significativos fue comprobar que la inteligencia artificial identificaba un mayor número de afirmaciones relevantes dentro de cada artículo que los revisores humanos. Mientras los expertos humanos tendían a concentrarse en un conjunto relativamente limitado de resultados principales, OpenEval lograba cubrir un espectro mucho más amplio del contenido científico, detectando matices argumentativos que frecuentemente pasan desapercibidos durante el proceso convencional de peer review.

El proyecto revela además una cuestión especialmente relevante: los sistemas automatizados no solo son capaces de reproducir evaluaciones humanas, sino que en ciertos aspectos pueden mostrar comportamientos analíticos diferentes e incluso más rigurosos. Los datos comparativos muestran que OpenEval tiende a ser más conservador frente a afirmaciones basadas en especulación o inferencias indirectas, mientras que otorga mayor confianza a resultados respaldados por datos experimentales o citas verificables. En varios casos, la inteligencia artificial clasificó determinadas afirmaciones como inciertas o insuficientemente sustentadas allí donde revisores humanos habían emitido valoraciones más favorables. Esto sugiere que la automatización no necesariamente implica replicar sesgos humanos existentes, sino introducir nuevas formas de escrutinio científico potencialmente más sistemáticas y consistentes. La revisión científica comienza así a transformarse desde una práctica artesanal basada en juicio experto hacia un proceso parcialmente algorítmico basado en análisis estructurado del conocimiento.

Otro elemento decisivo del proyecto es su apuesta por la transparencia. A diferencia del sistema tradicional de revisión académica, donde los informes de los evaluadores suelen permanecer ocultos o limitados al editor y a los autores, OpenEval permite explorar públicamente los resultados a través de una interfaz interactiva. Los usuarios pueden examinar manuscritos concretos, visualizar cada afirmación extraída automáticamente y comparar directamente las evaluaciones emitidas por inteligencia artificial frente a revisores humanos. Esta apertura convierte el proceso de evaluación científica en un objeto de investigación en sí mismo, permitiendo estudiar empíricamente cómo se toman decisiones editoriales, qué tipo de afirmaciones generan mayor controversia y en qué áreas coinciden o divergen humanos y algoritmos. La revisión por pares deja de ser una práctica opaca para convertirse en un sistema observable y cuantificable.

Desde una perspectiva más amplia, OpenEval se inscribe en un cambio profundo dentro del ecosistema de comunicación científica contemporánea. Durante siglos, el artículo académico fue simultáneamente unidad de conocimiento, unidad narrativa y unidad de evaluación. Proyectos como OpenEval cuestionan esa estructura histórica al sugerir que el verdadero objeto de validación científica no debería ser el artículo como documento cerrado, sino cada afirmación verificable que lo compone. Esta lógica conecta directamente con propuestas emergentes que defienden una ciencia machine-readable, es decir, una producción científica estructurada de tal forma que sistemas artificiales puedan navegar, contrastar y evaluar automáticamente el conocimiento publicado. Si esta visión prospera, el peer review del futuro podría dejar de consistir en enviar manuscritos completos a dos o tres especialistas y pasar a funcionar como un sistema híbrido donde algoritmos analizan miles de afirmaciones individuales antes de que expertos humanos intervengan en la interpretación final.

La consecuencia filosófica de este proyecto resulta especialmente profunda. Durante siglos se asumió que evaluar ciencia era una capacidad exclusivamente humana basada en experiencia disciplinar, intuición metodológica y juicio crítico experto. OpenEval pone en cuestión esa convicción al demostrar que sistemas algorítmicos pueden participar activamente en la validación del conocimiento científico a gran escala. Esto obliga a replantear no solo la infraestructura editorial académica, sino conceptos mucho más amplios como autoridad científica, legitimidad epistemológica y confianza en los mecanismos que históricamente han definido qué conocimiento merece incorporarse al patrimonio intelectual colectivo. La inteligencia artificial deja así de ser simplemente una herramienta auxiliar para convertirse en un nuevo actor dentro del propio proceso de construcción y validación de la ciencia contemporánea.

Retractados 45 artículos de un autor por el uso de direcciones de correo electrónico falsas en la revisión por pares

Marques, F. (2025, marzo). Use of fake email addresses leads to retraction of 45 articles by Brazilian scientists. Revista Pesquisa FAPESP. Recuperado de https://revistapesquisa.fapesp.br/en/use-of-fake-email-addresses-leads-to-retraction-of-45-articles-by-brazilian-scientists/

Se relata un caso significativo de problemas de integridad académica que llevó a la retracción de 45 artículos científicos firmados por un mismo investigador brasileño, el biólogo Guilherme Malafaia Pinto, del Instituto Federal Goiano (IF-Goiano), campus de Urutaí.

Los 45 trabajos fueron publicados en la revista Science of the Total Environment (STOTEN), editada por Elsevier, y su retirada no obedeció a errores experimentales o conclusiones erróneas, sino al compromiso del proceso de revisión por pares. Las notas de retracción señalaron que el sistema de evaluación había sido adulterado porque, aunque Malafaia sugería a revisores legítimos para sus manuscritos —práctica habitual en muchos procesos editoriales—, proporcionó direcciones de correo electrónico falsas para al menos tres de esos investigadores, de modo que las invitaciones de STOTEN llegaban a cuentas ficticias desde las cuales se devolvían opiniones favorables a la publicación. Como resultado, a pesar de que algunos artículos también recibieron evaluaciones de revisores independientes, Elsevier decidió retirar los trabajos al haber “perdido confianza en la validez o integridad” de los manuscritos.

La publicación también explora el contexto y las consecuencias del caso, tanto para el propio investigador como para la comunidad académica. Antes de este escándalo, Malafaia era un científico muy productivo, con casi 350 artículos publicados en una carrera de 15 años, supervisión de numerosos estudiantes de maestría y doctorado, y participación en comités editoriales de varias publicaciones, incluida STOTEN. Él niega haber manipulado deliberadamente la revisión de sus artículos, afirmando que usó direcciones de una base de datos china (CNKI) sin saber que eran falsas y que no tuvo participación directa en la redacción de los supuestos informes de revisión. En una carta abierta, argumentó que el problema fundamental era responsabilidad de los editores por no verificar los correos, y sugirió que sanciones menos drásticas que la retracción hubieran sido más apropiadas. Sin embargo, la situación ha tenido un impacto profundo en su reputación y la de sus colaboradores, muchos de los cuales ahora enfrentan cuestionamientos y el dilema de defender o distanciarse de los trabajos retractados; a la vez, la comunidad académica brasileña reflexiona sobre la importancia de fortalecer la ética y los sistemas de revisión para preservar la confianza en la ciencia.

Los revisores científicos que fueron citados en el artículo tienen más probabilidades de aprobarlo en su primera evaluación

Barnett, Adrian. 2025. “Peer Reviewers Altered Their Recommendation Based on Whether They Were Cited or Wanted to Be Cited. A Matched Study of Open Peer Review at Four Journals.” OSF Preprints, version 2. CC-BY 4.0 https://osf.io/preprints/osf/wdvr9_v2

El estudio realizado por Adrian Barnett analiza si los miembros de los comites científicos en el proceso de revisión abierta por pares podrían estar influyendo en las decisiones editoriales basándose en si fueron citados en el manuscrito. Para ello, se revisaron un total de 18 400 artículos provenientes de cuatro plataformas (F1000Research, Wellcome Open Research, Gates Open Research y Open Research Europe), destacadas por hacer públicas tanto todas las versiones de los artículos como los comentarios de los revisores

El análisis reveló que los revisores que fueron citados en el artículo tenían más probabilidades de aprobarlo en su primera evaluación, en comparación con aquellos que no habían sido citados. Este patrón sugiere un posible sesgo o motivación adicional asociada con la presencia de una cita al revisor en el texto revisado

Para mitigar este tipo de influencias (por ejemplo, solicitudes de cita injustificadas), Barnett sugiere una práctica de transparencia adicional: que los revisores siempre indiquen claramente en sus comentarios cuándo y por qué están recomendando que se cite su trabajo. Esta medida podría ayudar a reducir las menciones motivadas únicamente por interés personal y reforzar la integridad del proceso de revisión.

Nature ha anunciado que comenzará a publicar automáticamente los archivos de revisión por pares junto con los artículos científicos

Hernández, María (editora). 2025. “Nature Looks to Open Up ‘Black Box’ of Science by Publishing Peer‑Review Files.” NBC News, 18 de junio de 2025. https://www.nbcnews.com/science/science-news/nature-looks-open-black-box-science-publishing-peer-review-files-rcna213359.

La revista Nature, una de las más influyentes del mundo científico, ha decidido dar un paso crucial hacia la transparencia editorial: comenzará a publicar automáticamente los archivos de revisión por pares de los artículos aceptados.

Esta medida implica que los informes de los revisores, junto con la respuesta de los autores y las decisiones editoriales, estarán disponibles para el público como parte del registro científico. Aunque los revisores seguirán siendo anónimos, su trabajo será visible, lo que representa un cambio significativo en una práctica tradicionalmente cerrada.

Esta iniciativa responde a las críticas recurrentes sobre la opacidad del sistema de revisión por pares, un pilar esencial en la validación del conocimiento científico. Según un estudio publicado en PLOS ONE, el 64 % de los investigadores encuestados considera que el sistema necesita más apertura. Publicaciones como eLife o F1000Research ya aplican modelos transparentes de revisión, lo que ha incrementado la confianza en sus procesos.

Además, Nature forma parte de Springer Nature, grupo editorial que impulsa la ciencia abierta (Open Science). Esta nueva política alinea la revista con estándares como los de la Iniciativa FAIR (Findable, Accessible, Interoperable, Reusable), promovidos por la Comisión Europea para mejorar la reproducibilidad y reutilización del conocimiento científico.

Sin embargo, la medida también genera debate. Algunos revisores temen que la exposición de sus comentarios, incluso de forma anónima, pueda llevar a represalias o influir en su libertad de crítica. Otros señalan que su labor, aún siendo central, no recibe suficiente reconocimiento. En ese sentido, plataformas como Publons y ORCID buscan mejorar la visibilidad del trabajo de los revisores, una tarea muchas veces no remunerada.

Otra preocupación emergente es la posible utilización de estos archivos como datasets para entrenar modelos de inteligencia artificial, lo que plantea desafíos éticos en cuanto al consentimiento y al uso de datos sensibles. Algunos expertos, como Jonas Heller, señalan que el acceso masivo a estos textos puede alimentar sistemas de IA que emulen el proceso de revisión sin intervención humana, lo que plantea un nuevo escenario para la publicación científica.

En conjunto, la decisión de Nature marca un cambio histórico que puede transformar la relación entre autores, editores y lectores, acercando la ciencia a un modelo más participativo, accesible y confiable.

Nature incluye la revisión por pares transparente

Nature. “Transparent Peer Review to Be Extended to All of Nature’s Research Papers.” June 16, 2025. https://www.nature.com/articles/d41586-025-01880-9.

Durante décadas, el proceso de revisión por pares en Nature —aunque esencial para la validación científica— se mantenía fuera del alcance del lector. Los comentarios de los revisores y las respuestas de los autores eran visibles solo para los implicados en el proceso editorial. Con la nueva política, estos documentos se publicarán junto con el artículo final, permitiendo a la comunidad académica y al público general acceder a una visión detallada de cómo evolucionó cada manuscrito a través de la crítica científica.

La medida pretende fortalecer la confianza en la ciencia publicada, promoviendo una mayor transparencia, integridad y rendición de cuentas. Al hacer públicos los intercambios entre autores y revisores, se ofrece una herramienta educativa poderosa: los investigadores, especialmente los más jóvenes, podrán aprender cómo responder a críticas, mejorar sus escritos científicos y participar activamente en una cultura de revisión rigurosa pero constructiva. Además, este cambio permitirá a los lectores comprender mejor los razonamientos detrás de las decisiones editoriales.

El equipo editorial de Nature sostiene que la revisión transparente puede mejorar la calidad general de la ciencia, ya que los revisores serán más cuidadosos y responsables en sus observaciones, sabiendo que sus comentarios estarán a la vista de todos. Asimismo, esperan que el nuevo sistema disuada posibles conflictos de interés o arbitrariedades dentro del proceso de evaluación.

En definitiva, la decisión de Nature de extender la revisión por pares transparente a todos sus artículos establece un precedente importante en el ámbito editorial académico. No solo impulsa a otras revistas científicas a considerar modelos similares, sino que también consolida una visión más abierta, colaborativa y confiable del proceso de producción científica. Esta medida se enmarca dentro de una tendencia más amplia hacia la ciencia abierta, que busca que el conocimiento científico sea accesible, reproducible y verificable en todas sus etapas.

El presente y el futuro de la revisión por pares: ideas, intervenciones y evidencia

Aczel, Balazs, Ann-Sophie Barwich, Amanda B. Diekman, y John P. A. Ioannidis. 2025. «The Present and Future of Peer Review: Ideas, Interventions, and Evidence.» Proceedings of the National Academy of Sciences 122 (5): e2401232121. https://doi.org/10.1073/pnas.2401232121

El sistema de revisión por pares enfrenta críticas por su falta de transparencia, sesgos e ineficiencia, poniendo en duda su sostenibilidad y utilidad. Este artículo analiza modelos alternativos y posibles mejoras para promover un debate amplio entre la comunidad científica. Los autores coinciden en que se necesita más evidencia rigurosa para implementar cambios justos y efectivos.

El sistema de revisión por pares (peer review) es uno de los pilares fundamentales de la ciencia moderna, pero actualmente se encuentra en el centro de un intenso debate sobre su eficacia, sostenibilidad y futuro. Este artículo ofrece una revisión crítica y panorámica sobre el estado actual de la revisión por pares, sus problemas más destacados, posibles soluciones y alternativas emergentes, buscando promover un diálogo constructivo entre los actores clave del ecosistema académico, incluyendo investigadores, editores, revisores, instituciones y financiadores.

Problemas identificados en la revisión por pares

Los autores enumeran una serie de deficiencias que afectan al sistema actual:

  • Sesgos e inequidades: La revisión por pares puede estar influenciada por prejuicios conscientes e inconscientes relacionados con la identidad del autor (género, afiliación institucional, país de origen), lo que genera desigualdades sistemáticas en la evaluación.
  • Opacidad: Muchos procesos de revisión siguen siendo confidenciales, lo que limita la transparencia y la rendición de cuentas, tanto de los revisores como de los editores.
  • Sobrecarga de trabajo: La creciente cantidad de publicaciones y manuscritos ha generado una sobrecarga en los revisores, quienes muchas veces asumen esta labor sin compensación adecuada, lo que afecta la calidad de las evaluaciones.
  • Retrasos y lentitud: El proceso puede ser extremadamente largo, obstaculizando la rápida difusión del conocimiento, especialmente en áreas donde la inmediatez es crucial, como la salud pública.
  • Dudas sobre la eficacia: Aunque el peer review busca garantizar la calidad, la reproducibilidad y la validez de los resultados científicos, existen estudios que ponen en duda su capacidad real para detectar errores, fraudes o investigaciones irrelevantes.

¿Es sostenible y útil el sistema?

El artículo señala que la revisión por pares, aunque imperfecta, sigue siendo el mejor método del que dispone actualmente la ciencia para evaluar la validez de los trabajos antes de su publicación. Sin embargo, su sostenibilidad está en entredicho debido a la sobrecarga de trabajo y a la creciente insatisfacción de autores y revisores.

Los autores subrayan que, aunque no existe un consenso claro sobre su eficacia absoluta, desmantelar el sistema sin contar con alternativas robustas podría ser arriesgado. La revisión por pares cumple funciones sociales (legitimación del conocimiento) y prácticas (control de calidad), pero necesita adaptarse y evolucionar.

Alternativas y posibles mejoras

El texto revisa distintas propuestas e intervenciones que podrían reformar o complementar el sistema actual:

  1. Revisión abierta (Open Peer Review): Hace públicos los nombres de los revisores y/o los informes de revisión. Aporta transparencia, aunque puede generar presiones y autocensura.
  2. Preprints y revisión post-publicación: Permiten la difusión inmediata del trabajo y que la comunidad científica en general realice comentarios y críticas posteriores.
  3. Incentivos para revisores: Desde reconocimientos públicos hasta compensaciones económicas o acreditaciones profesionales, se discuten mecanismos para valorar el trabajo de revisión.
  4. Uso de inteligencia artificial: Para asistir en tareas preliminares como la detección de plagio, verificación de datos o evaluación del rigor metodológico.
  5. Diversidad e inclusión: Fomentar la participación de revisores de diversas geografías, géneros y trayectorias, mitigando sesgos históricos.
  6. Capacitación formal: Desarrollar programas de formación para revisores, asegurando criterios de evaluación más homogéneos y profesionales.
  7. Evaluación de revisores: Incorporar sistemas de retroalimentación sobre la calidad de las revisiones realizadas.

Evidencias e investigación sobre peer review

Uno de los puntos clave del artículo es la falta de datos sólidos sobre el funcionamiento y los efectos reales de la revisión por pares. Los autores reclaman más estudios empíricos y comparativos que analicen:

  • La eficacia real del sistema en mejorar la calidad de los artículos.
  • El impacto de los distintos modelos alternativos.
  • Los factores que generan sesgos o inequidades.
  • Las experiencias de los diferentes actores involucrados.

Sin una base de evidencia más rigurosa y exhaustiva, sostienen los autores, cualquier reforma corre el riesgo de ser insuficiente o contraproducente.

Conclusiones

El artículo no pretende ofrecer una lista exhaustiva de problemas ni soluciones definitivas, sino abrir un espacio para la reflexión colectiva sobre cómo mejorar el sistema de revisión por pares en un contexto de cambios acelerados en la producción y comunicación del conocimiento científico.

Los autores coinciden en que garantizar evaluaciones justas, eficientes y sostenibles requiere no solo intervenciones concretas, sino también una mayor comprensión de cómo funciona realmente el sistema, sus puntos críticos y las mejores formas de transformarlo.

En definitiva, el futuro de la revisión por pares dependerá de un equilibrio entre innovación y prudencia, combinando la experiencia acumulada con nuevas prácticas que refuercen la confianza, la calidad y la equidad en la ciencia global.

Preprints revisados por pares y el modelo Publish-Review-Curate (PRC)

Bourguet, D. ; Guillemaud, T. «Peer-reviewed preprints and the Publish-Review-Curate model | Plan S». Accedido 29 de octubre de 2024. https://www.coalition-s.org/blog/peer-reviewed-preprints-and-the-publish-review-curate-model/.

El modelo tradicional de publicación científica enfrenta críticas crecientes por ser lento, poco transparente y controlado por un número limitado de editores y revisores. Este modelo, en el que los artículos pueden tardar meses o años en ser evaluados y aceptados para su publicación, ha sido señalado como ineficiente y, en algunos casos, obsoleto. En este contexto, han surgido alternativas como los preprints revisados por pares y el modelo Publish-Review-Curate (PRC), que buscan hacer el proceso de publicación más accesible, abierto y rápido.

Entre las alternativas emergentes se encuentran los preprints revisados por pares, en los que los autores suben versiones preliminares de sus artículos a servidores públicos antes de ser revisados formalmente. Esto permite que sus resultados estén disponibles de inmediato, acelerando la difusión del conocimiento. En la modalidad de preprints revisados, servicios especializados llevan a cabo la revisión formal de estos documentos y publican las evaluaciones de manera abierta. Ejemplos de estos servicios incluyen Review Commons, PREreview y Peer Community In (PCI), los cuales permiten que los lectores accedan tanto al artículo como a los comentarios de expertos en el campo, proporcionando una perspectiva crítica adicional.

El modelo Publish-Review-Curate (PRC) agrega una fase de curación que va más allá de la revisión. A diferencia del modelo de preprints revisados, el modelo PRC organiza los artículos en colecciones seleccionadas, que se presentan en revistas o plataformas específicas. La curación actúa como un filtro adicional que resalta aquellos artículos que cumplen con ciertos estándares de calidad, dándoles una mayor visibilidad. Sin embargo, esta curación no implica necesariamente una validación formal, sino que funciona como una recomendación de lectura para quienes estén interesados en el tema. Un ejemplo de este enfoque es el de eLife, donde los artículos se publican primero como preprints y, tras la revisión, no se les asigna una decisión de “aceptación” o “rechazo” tradicional, sino que se publican junto a revisiones y evaluaciones editoriales cualitativas.

Estos modelos alternativos, aunque ofrecen transparencia y accesibilidad, también introducen ambigüedades en torno a los conceptos de revisión y curación. Por un lado, la revisión por pares no siempre equivale a una validación; muchas veces, los lectores asumen que un artículo revisado por pares ha sido validado científicamente, cuando en realidad no siempre es así. Las revisiones brindan críticas constructivas, pero no necesariamente una evaluación concluyente, lo cual puede confundir a lectores menos familiarizados con el proceso. Por otro lado, la curación tampoco implica validación. Aunque se asocia con la selección de artículos destacados, no necesariamente significa que estos hayan pasado por una evaluación exhaustiva, lo cual puede inducir a error si el lector asume que todos los artículos curados son de alta calidad.

Para abordar estas ambigüedades, Peer Community In (PCI) propone un enfoque de validación binaria en el que cada artículo revisado recibe una decisión clara de «aceptación» o «rechazo». Este enfoque permite ofrecer a los lectores una señal inequívoca sobre la calidad y relevancia del artículo, lo que reduce el riesgo de malinterpretaciones sobre su nivel de validación. Dentro de este marco, PCI sugiere dos variantes del modelo PRC: en el primero, la curación implica validación (Publish-Review-Curate=Validate); en el segundo, la validación ocurre antes de la curación (Publish-Review=>Validate-Curate), lo que da al artículo ya validado una visibilidad adicional.

Comparado con el sistema tradicional, el modelo PRC con validación binaria ofrece diversas ventajas: elimina los largos retrasos al hacer los preprints públicos de inmediato; promueve la transparencia al hacer accesibles las revisiones; fomenta la equidad mediante criterios de evaluación abiertos; y permite una mayor diversidad de evaluadores, introduciendo múltiples perspectivas y reduciendo la centralización del proceso en un pequeño grupo de editores.

En conclusión, el modelo Publish-Review-Curate, especialmente cuando incorpora una validación binaria, se presenta como una alternativa robusta y transparente al modelo de publicación científica tradicional. A medida que estos modelos se ajusten y perfeccionen, es probable que ganen terreno dentro del ecosistema de investigación, proporcionando una respuesta a las limitaciones del sistema tradicional y ofreciendo mayor accesibilidad, rapidez y transparencia en la publicación científica.

Web of Science ha suspendido temporalmente la indexación de la revista eLife debido a su modelo de publicación innovador que incluye revisión por pares pública

Brainard, Jeffrey. «Web of Science Index Puts eLife ‘On Hold’ Because of Its Radical Publishing Model.» Science, October 24, 2024. https://www.science.org/content/article/web-science-index-puts-elife-hold-because-its-radical-publishing-model.

Web of Science ha suspendido la inclusión de la revista eLife debido a su nuevo modelo de publicación, que se implementó en enero de 2023. Este modelo incluye la revisión por pares pública sin una decisión final sobre la aceptación o rechazo de los manuscritos, lo que entra en conflicto con los estándares de calidad de Web of Science. Esta decisión podría comprometer el factor de impacto (IF) de eLife, un indicador controvertido que mide la calidad de una revista en función del promedio de citas a sus artículos.

La dirección de eLife expresó su decepción por la decisión de Clarivate, la empresa matriz del Web of Science, al considerar que frena los esfuerzos por mejorar la publicación y la revisión por pares utilizando principios de ciencia abierta. A pesar de que Clarivate no ha señalado artículos de eLife como de baja calidad, ha indicado preocupaciones sobre la falta de una decisión editorial basada en la validación de la revisión por pares.

eLife, una revista sin fines de lucro centrada en las ciencias biológicas, busca desafiar la dominancia del IF como medida de calidad y ha implementado su nuevo modelo como un experimento para combatir las ineficiencias del sistema de publicación científica, como los largos retrasos y la falta de transparencia. Este modelo exige a los autores una tarifa de 2500$ por artículo y permite que las revisiones, sean positivas o negativas, se publiquen junto con el manuscrito para su lectura gratuita.

Desde su implementación, el modelo ha generado un debate sobre la viabilidad financiera de eLife y su capacidad para atraer a científicos. Aunque el total de envíos disminuyó en un 25% en comparación con el mismo período del año anterior, más del 90% de los autores eligieron el nuevo modelo de publicación. La revista prevé anunciar pronto un nuevo informe sobre sus tendencias de crecimiento, que parecen prometedoras este año.

Clarivate ha suspendido recientemente otras revistas, como Science of the Total Environment de Elsevier, Cureus, y Heliyon, y eliminó 11 títulos en su última actualización, incluidos Multimedia Tools and Applications y Environmental Science and Pollution Research de Springer Nature, citando también problemas de calidad.

Recomendaciones para acelerar la revisión abierta por pares de los preprints con el fin de mejorar la cultura científica

Avissar-Whiting M, Belliard F, Bertozzi SM, Brand A, Brown K, Clément-Stoneham G, et al. (2024) Recommendations for accelerating open preprint peer review to improve the culture of science. PLoS Biol 22(2): e3002502. https://doi.org/10.1371/journal.pbio.3002502


El proceso de revisión por pares es una parte importante del proceso científico, pero la revisión por pares tradicional en revistas está siendo sometida a un escrutinio cada vez mayor debido a su ineficiencia y falta de transparencia. A medida que los preprints se vuelven más ampliamente utilizados y aceptados, plantean la posibilidad de repensar el proceso de revisión por pares.

Los preprints están permitiendo nuevas formas de revisión por pares que tienen el potencial de ser más exhaustivas, inclusivas y colegiadas que la revisión por pares tradicional en revistas, y así cambiar fundamentalmente la cultura de la revisión por pares hacia una colaboración constructiva. En esta visión de consenso, se hace una llamada a la acción a los actores en la comunidad para acelerar el creciente impulso de compartir preprints y proporcionar recomendaciones para capacitar a los investigadores para que brinden una revisión por pares abierta y constructiva para los preprints.

Las revisiones críticas («reviews») de investigadores independientes («pares») pueden identificar vacíos conceptuales, lógicos o metodológicos en el trabajo científico. Por lo tanto, la revisión por pares se ha convertido en un aspecto clave del proceso científico y se utiliza en financiamiento y evaluación, así como para evaluar artículos, lo que puede ayudar a los autores a mejorar los manuscritos y brindar a los lectores (incluido el público en general) una mayor confianza en los hallazgos reportados. Aunque muchos investigadores ahora se sienten cómodos haciendo públicos sus manuscritos como preprints antes de la revisión por pares, las encuestas informan que el 90% de los investigadores creen que la revisión por pares mejora la calidad del trabajo publicado y ha mejorado el artículo más reciente que publicaron.

Sin embargo, la revisión por pares de revistas enfrenta muchos desafíos. Puede ser lenta, ineficiente, propensa a errores, inequitativa y excesivamente enfocada en brindar consejos a un editor de revista para ayudar en su decisión. A pesar de requerir una gran inversión de tiempo por parte de la comunidad científica, la revisión por pares realizada por 2 o 3 investigadores individuales no puede detectar todos los problemas en un estudio. Como resultado, graves fallos pueden salir a la luz solo después de la publicación en una revista, cuando un artículo se vuelve visible para un grupo más amplio de expertos. Mientras tanto, la falta de transparencia puede ocultar errores y sesgos en el proceso de revisión por pares. Aunque más de 500 revistas ahora publican revisiones por pares junto con los artículos publicados, la mayoría no lo hace, y las revisiones por pares de artículos rechazados casi nunca se hacen públicas. Esta es una oportunidad desperdiciada para proporcionar reconocimiento a los revisores, información contextual adicional que podría ayudar a los lectores de un artículo a evaluar sus méritos y la transparencia necesaria para estudiar y mejorar el proceso de revisión por pares. Además, los revisores pueden ser responsables de juzgar si un artículo es lo suficientemente emocionante o «completo» para una revista en particular. Esto puede contribuir a una tendencia en la que los revisores sugieran experimentos o análisis adicionales en lugar de brindar consejos centrados únicamente en el trabajo presentado. Como resultado, ahora se espera que los artículos de ciencias de la vida incluyan significativamente más datos que en décadas anteriores, lo que crea una carga adicional para los autores y, en última instancia, ralentiza la diseminación de nuevas evidencias científicas.

La creciente adopción de preprints ofrece una oportunidad importante para experimentar con nuevos enfoques de revisión por pares que podrían ayudar a abordar estos problemas. Nuevos enfoques que involucran revisión por pares abierta en preprints también podrían proporcionar beneficios a autores, revisores y lectores. Este punto de vista de consenso emite un llamado a la acción a los interesados ​​en la comunidad para acelerar el creciente impulso del intercambio de preprints y proporcionar recomendaciones para capacitar a los investigadores para que brinden una revisión por pares abierta y constructiva para preprints.