Ludo Waltman y Stephen Pinfield. The future of peer review is being pulled in multiple directions. Research on Research (RoR) 10.02.2022

Ver original

La investigación académica utiliza un sistema de revisión por pares para juzgar si la investigación es apta para ser publicada. Sin embargo, el sistema de revisión por pares está sometido a una presión cada vez mayor, ya que no ha seguido el ritmo de cambio en las formas de hacer y comunicar la investigación. Como resultado, existe un consenso creciente de que ya no es adecuada para su propósito.

La innovación en la revisión por pares es un tema candente, con mucha gente probando nuevas formas de abordar los inconvenientes actuales. Sin embargo, muchos de estos experimentos van en direcciones diferentes.

PEER REVIEW project, compartió un preprint el que se analizan los principales ejes y tensiones de las actividades innovadoras de revisión por pares en el documento Innovating peer review, reconfiguring scholarly communication: An analytical overview of ongoing peer review innovation activities.

Para saber más sobre las formas en que la gente está tratando de cambiar la revisión por pares, se diseño y compartió una encuesta entre editores, directores de revistas académicas y organizaciones del ecosistema de la comunicación académica. Interesaba especialmente recoger nuevas ideas y actividades que aún no estuvieran debidamente documentadas.

En lugar de medir la aceptación o la eficacia, la encuesta formuló preguntas destinadas a descubrir el objetivo, el objeto y las acciones subyacentes de cada innovación.

A partir de 54 respuestas se creo un inventario de 95 innovaciones que luego se ordenaron utilizando un nuevo marco de taxonomía. La encuesta identificó un amplio abanico de innovaciones, recogiendo iniciativas que algunas personas podrían desconocer o que no estaban incluidas en análisis anteriores. Por ejemplo:

• Revisión por pares de conjuntos de datos, códigos fuente, artefactos digitales y diseños de investigación
• Utilización de pacientes revisores
• Utilización de personal de publicación para controlar el plagio, el alcance y el cumplimiento de las directrices
• Proporcionar servicios de apoyo lingüístico o de revisión de códigos
• Diferentes formas de seleccionar a los revisores, incluida la autoselección y el uso de algoritmos para emparejar automáticamente a los revisores con los manuscritos pertinentes
• Recompensar a los revisores haciendo visible el trabajo de revisión u ofreciendo directamente descuentos y un mayor acceso al contenido de la revista
• La revisión por pares colaborativa, incluyendo los comentarios cruzados de los revisores, la co-revisión, la revisión colectiva y las revisiones transferibles.
• Revisión por pares a doble ciego

En general se observan dos áreas con un alto nivel de experimentación: las revisiones previas a la publicación y la revisión por pares abierta o transparente, aunque las iniciativas individuales dentro de ellas difieren mucho.

Sin embargo, las innovaciones no parecen avanzar hacia un conjunto coherente de principios. Se encuentran tensiones entre:

• Iniciativas que pretenden hacer que la revisión por pares sea más eficiente y menos costosa, mientras que otras pretenden promover su rigor, lo que probablemente aumente los costes
• Las innovaciones basadas en una noción singular de «buena práctica científica» pueden estar en desacuerdo con una comprensión más plural de la calidad científica
• La noción de transparencia en la revisión por pares entra en conflicto directo con el principio de que las revisiones objetivas deben ser anónimas

Estas deficiencias demuestran que no existe un acuerdo o una comprensión general de lo que debe ocurrir para mejorar la revisión por pares, lo que sugiere que existen opiniones fundamentalmente diferentes sobre el papel de la revisión por pares y sus puntos fuertes y débiles.