Archivo de la etiqueta: Revisión científica

El futuro de la revisión por pares se mueve en múltiples direcciones

Ludo Waltman y Stephen Pinfield. The future of peer review is being pulled in multiple directions. Research on Research (RoR) 10.02.2022

Ver original

La investigación académica utiliza un sistema de revisión por pares para juzgar si la investigación es apta para ser publicada. Sin embargo, el sistema de revisión por pares está sometido a una presión cada vez mayor, ya que no ha seguido el ritmo de cambio en las formas de hacer y comunicar la investigación. Como resultado, existe un consenso creciente de que ya no es adecuada para su propósito.

La innovación en la revisión por pares es un tema candente, con mucha gente probando nuevas formas de abordar los inconvenientes actuales. Sin embargo, muchos de estos experimentos van en direcciones diferentes.

PEER REVIEW project, compartió un preprint el que se analizan los principales ejes y tensiones de las actividades innovadoras de revisión por pares en el documento Innovating peer review, reconfiguring scholarly communication: An analytical overview of ongoing peer review innovation activities.

Para saber más sobre las formas en que la gente está tratando de cambiar la revisión por pares, se diseño y compartió una encuesta entre editores, directores de revistas académicas y organizaciones del ecosistema de la comunicación académica. Interesaba especialmente recoger nuevas ideas y actividades que aún no estuvieran debidamente documentadas.

En lugar de medir la aceptación o la eficacia, la encuesta formuló preguntas destinadas a descubrir el objetivo, el objeto y las acciones subyacentes de cada innovación.

A partir de 54 respuestas se creo un inventario de 95 innovaciones que luego se ordenaron utilizando un nuevo marco de taxonomía. La encuesta identificó un amplio abanico de innovaciones, recogiendo iniciativas que algunas personas podrían desconocer o que no estaban incluidas en análisis anteriores. Por ejemplo:

  • Revisión por pares de conjuntos de datos, códigos fuente, artefactos digitales y diseños de investigación
  • Utilización de pacientes revisores
  • Utilización de personal de publicación para controlar el plagio, el alcance y el cumplimiento de las directrices
  • Proporcionar servicios de apoyo lingüístico o de revisión de códigos
  • Diferentes formas de seleccionar a los revisores, incluida la autoselección y el uso de algoritmos para emparejar automáticamente a los revisores con los manuscritos pertinentes
  • Recompensar a los revisores haciendo visible el trabajo de revisión u ofreciendo directamente descuentos y un mayor acceso al contenido de la revista
  • La revisión por pares colaborativa, incluyendo los comentarios cruzados de los revisores, la co-revisión, la revisión colectiva y las revisiones transferibles.
  • Revisión por pares a doble ciego

En general se observan dos áreas con un alto nivel de experimentación: las revisiones previas a la publicación y la revisión por pares abierta o transparente, aunque las iniciativas individuales dentro de ellas difieren mucho.

Sin embargo, las innovaciones no parecen avanzar hacia un conjunto coherente de principios. Se encuentran tensiones entre:

  • Iniciativas que pretenden hacer que la revisión por pares sea más eficiente y menos costosa, mientras que otras pretenden promover su rigor, lo que probablemente aumente los costes
  • Las innovaciones basadas en una noción singular de «buena práctica científica» pueden estar en desacuerdo con una comprensión más plural de la calidad científica
  • La noción de transparencia en la revisión por pares entra en conflicto directo con el principio de que las revisiones objetivas deben ser anónimas

Estas deficiencias demuestran que no existe un acuerdo o una comprensión general de lo que debe ocurrir para mejorar la revisión por pares, lo que sugiere que existen opiniones fundamentalmente diferentes sobre el papel de la revisión por pares y sus puntos fuertes y débiles.

Presentación de artículos y revisión por pares.

Article submission and peer review: your complete guide to submitting your research paper and navigating the peer review process. Taylor & Francis, Author Services, 2022

Texto completo

Una vez que hayas escrito y perfeccionado tu trabajo de investigación, es es el momento de dar el paso y enviarlo a la revista elegida. Si supera la evaluación inicial, pasará al proceso de revisión por pares. Esta guía explica todo lo que necesitas saber sobre presentar su artículo y superar la revisión por pares, desde la redacción de la carta de presentación hasta qué hacer cuando tu cuando su artículo es aceptado o rechazado.

La nueva herramienta de perfiles de autor de Clarivate Analytics incluye la actividad de revisión por pares

Clarivate Analytics’s new author profiles tool to include peer review activity. Nature Index, 2022

Texto original

Clarivate Analytics, la empresa británica propietaria de la base de datos académica Web of Science (WoS), ha comenzado a generar automáticamente perfiles de autores, incluyendo información sobre la actividad de revisión por pares de los investigadores cuyos trabajos están indexados en la base de datos.

La información sobre la revisión por pares se integrará a partir de principios de 2022. Provendrá principalmente de Publons, un sitio web de uso gratuito que permite a los investigadores reclamar el crédito de la revisión por pares, que fue adquirido por Clarivate en 2017 y ahora tiene más de tres millones de usuarios.

La adición de la nueva función Publons convierte a la herramienta WoS en la primera que reúne detalles sobre los registros de publicación de los investigadores, sus colaboradores, los consejos de redacción de las revistas a las que pertenecen y otras actividades profesionales de investigación, como los manuscritos que han arbitrado para las revistas y las revisiones de subvenciones que han realizado. La herramienta también puede ser útil para los investigadores que realizan estudios de minería de textos.

Para encontrar artículos anteriormente, los usuarios de WoS realizaban una búsqueda de documentos en la base de datos de WoS, aunque desde 2019 también es posible una búsqueda de autores para encontrar autores individuales y sus actividades académicas. La herramienta es actualmente de uso gratuito, pero la empresa ofrecerá una versión con características adicionales de pago.

Los investigadores que utilicen la herramienta también podrán vincular sus perfiles a su identificador digital único, ORCID ID. De este modo, cuando un investigador añada un artículo a su perfil ORCID, se añadirá automáticamente a su perfil de autor de WoS, y viceversa

Según sus creadores, la herramienta de WoS está especialmente destinada a la evaluación de las solicitudes de financiación de los investigadores, así como a la evaluación de los académicos para su contratación y promoción. Ayudará a los evaluadores a detectar cualquier conflicto de intereses y les dará una visión más completa de las actividades académicas de un académico, señalan.

Dar visibilidad a la revisión por pares es un paso importante para solucionar su falta de reconocimiento como componente del rendimiento de la investigación, afirma Waltman. Reconoce que los informes de los árbitros son «importantes productos académicos que deben ser tratados de forma similar a otros tipos de publicaciones».

La revisión por pares de los puestos académicos y las becas de investigación sigue estando condicionada por las métricas, especialmente cuando el revisor está muy bien clasificado en el ranking

Liv Langfeldt, Dag W. Aksnes, Ingvild Reymert. Peer review for academic jobs and grants continues to be shaped by metrics, especially if your reviewer is highly ranked. LSE, 16 nov. 2021

Texto completo

El objetivo de la revisión por pares de la investigación y de las juntas de contratación académica es proporcionar un juicio experto e independiente sobre la calidad de las propuestas de investigación y de los candidatos. Según los resultados de una encuesta reciente, Liv Langfeldt, Dag W. Aksnes e Ingvild Reymert, la métrica sigue desempeñando un papel importante en la toma de decisiones, sobre todo en el caso de los revisores que están muy bien clasificados.

Vivimos en una época en la que las métricas sobre las publicaciones científicas y las citas son abundantemente accesibles. Estas métricas ofrecen una visión general y una aportación a la política de investigación, y pueden utilizarse en la evaluación de la investigación por razones buenas -o al menos intrigantes-. En lugar de dedicar tiempo a la lectura de las publicaciones, el recuento de citas, el índice h, el factor de impacto de las revistas o indicadores similares se toman como un atajo para comprender la contribución de un trabajo o el rendimiento de un investigador. Además de ahorrar tiempo, las métricas pueden utilizarse porque se perciben como buenos indicadores de la calidad de la investigación y porque los revisores piensan que las comparaciones basadas en las métricas son más objetivas, justas y fiables que las evaluaciones que no se basan en ninguna métrica. En un estudio reciente se comprobó que las métricas se utilizan con frecuencia a la hora de evaluar las propuestas de subvención y los candidatos a puestos académicos. Además, los investigadores con un historial bibliométrico más sólido aplican con más frecuencia estas medidas en sus evaluaciones de investigación.

La mayoría utilizó métricas en sus revisiones

A pesar de su conveniencia, las métricas son controvertidas. La revisión por pares no está pensada para basarse en las métricas, sino en la experiencia de los pares y su comprensión de la investigación que se está revisando. Para entender mejor el papel de las métricas en las evaluaciones por pares, se utilizaron datos de encuestas para explorar las opiniones y prácticas de los investigadores en todos los campos y contextos académicos en tres países. Tanto para la revisión de las propuestas de subvención como para las evaluaciones de los candidatos a puestos académicos. Una gran mayoría de los revisores indicó que las métricas eran muy o algo importantes a la hora de identificar las mejores propuestas/candidatos. En ambos tipos de evaluaciones, se hizo hincapié en el «impacto de las citas de las publicaciones anteriores» y, sobre todo, en el «número de publicaciones/productividad».

Puntos de vista divergentes

Hubo algunas variaciones entre los tres campos incluidos en el estudio. Los economistas se basaron más en el número de publicaciones que los cardiólogos y los físicos. La variación entre los países (Países Bajos, Noruega y Suecia) fue mínima. Sin embargo, dentro de los tres campos y países hubo variaciones: Mientras que la mayoría consideraba que la métrica era importante, una proporción considerable no la consideraba importante. En otras palabras, hay opiniones divergentes entre los revisores sobre el uso de las métricas, lo que puede afectar a sus revisiones. Cuando actúan como revisores, los académicos tienen mucho poder discrecional y pueden optar por utilizar o no utilizar las métricas, haciendo caso omiso de las directrices (que pueden fomentar o desaconsejar las métricas). Por lo tanto, el resultado de los procesos de revisión puede variar en función de las preferencias individuales de los miembros del panel en cuanto a las métricas.

Los académicos más citados utilizan con más frecuencia la métrica de citas en sus evaluaciones

Resulta significativo que el énfasis en las métricas se corresponda con el propio rendimiento bibliométrico de los encuestados. Los evaluadores con puntuaciones bibliométricas más altas hacían más hincapié en las métricas cuando evaluaban a los candidatos a puestos académicos, y especialmente cuando evaluaban las propuestas de subvención. En el caso de estas últimas, la probabilidad de percibir el número de publicaciones y el impacto de las citas de los candidatos como «muy importantes» aumentó junto con el número de publicaciones de los encuestados, si tenían publicaciones de percentil superior y con la proporción de publicaciones de percentil superior.

¿Se ven afectadas las nociones de calidad de la investigación?

Incluso si las métricas afectan a la revisión por pares, nuestros datos indican que los revisores distinguen entre las características de una buena investigación y la bibliometría como indicadores del posible éxito futuro de un solicitante o una solicitud. Mientras que una gran mayoría señaló que las métricas eran importantes en sus revisiones, sólo una quinta parte indicó que su conclusión se basaba (en parte) en las puntuaciones de las citas o en el factor de impacto de las revistas al responder a la pregunta más general de qué percibían como la mejor investigación en su campo. Muy pocos encuestados indicaron las puntuaciones de las citas o el factor de impacto de las revistas como únicos indicadores de la mejor investigación. Por lo tanto, hay pocos indicios de que consideren los indicadores cuantitativos como un factor decisivo sobre lo que constituye la ciencia eminente.

Impacto en las agendas de investigación

Cuando se aplican a escala del individuo, los indicadores de número de publicaciones e impacto de las citas tienen limitaciones y deficiencias como medidas de rendimiento. No obstante, la encuesta indica un amplio uso de dichos indicadores a esta escala, tanto para la revisión de propuestas de subvención como para la contratación de puestos académicos. El énfasis en las métricas en las evaluaciones de los compañeros puede afectar a la actividad investigadora y a los programas de investigación. Los investigadores -especialmente los que inician su carrera- deben tener en cuenta qué tipo de investigación les ayudará a optar a subvenciones y puestos de trabajo. Si se hace hincapié en el historial cuantificable de los solicitantes en lugar de en el campo de especialización y el potencial de los solicitantes, o en la revisión en profundidad de la investigación propuesta, corremos el riesgo de basar las decisiones sobre la investigación futura en las tendencias pasadas, y los temas fácilmente publicables y muy citados pueden obtener desproporcionadamente más recursos. Además, damos a los jóvenes investigadores incentivos (más fuertes) para hacer el tipo de investigación que parece «segura» en términos de probabilidad de publicaciones y citas, con el fin de aumentar sus posibilidades de éxito en los concursos de subvenciones y puestos académicos.

Organización de evaluaciones justas

¿Qué significa esto para los investigadores que solicitan puestos de trabajo o becas de investigación? A la hora de planificar y utilizar la evaluación por pares, hay que tener en cuenta que los evaluadores -en particular los que obtienen altas puntuaciones- consideran que las métricas son un buen indicador del éxito futuro de los proyectos y los candidatos. Se basan en las métricas de publicación en sus evaluaciones a pesar de las preocupaciones sobre el uso y el mal uso de dichas métricas. En términos más generales, es necesario comprender mejor por qué y cómo se utilizan las métricas en los distintos campos de investigación, y el papel que desempeñan las métricas en el desarrollo de los campos, así como la forma en que el perfil de los paneles de revisión influye en el énfasis en las métricas. A esta escala, la publicación de directrices como el Manifiesto de Leiden para la medición de la investigación y la declaración DORA sobre el uso inadecuado del factor de impacto de las revistas, parecen no haber sido suficientes.

Estimación del coste del tiempo que los investigadores dedican a la revisión por pares: una donación de mil millones de dólares

Aczel, B., Szaszi, B. & Holcombe, A.O. A billion-dollar donation: estimating the cost of researchers’ time spent on peer reviewRes Integr Peer Rev 6, 14 (2021). https://doi.org/10.1186/s41073-021-00118-2

Texto completo

La cantidad y el valor del trabajo de revisión por pares de los investigadores es fundamental para el mundo académico y la publicación de revistas. Sin embargo, este trabajo está poco reconocido, se desconoce su magnitud y rara vez se consideran formas alternativas de organizar el trabajo de revisión por pares. Utilizando datos disponibles públicamente, se proporciona una estimación del tiempo de los investigadores y la contribución basada en el salario al sistema de revisión por pares de las revistas.

Se encontró que el tiempo total que los revisores trabajaron globalmente en revisiones por pares fue de más de 100 millones de horas en 2020, equivalente a más de 15 mil años. El valor monetario estimado del tiempo que los revisores de Estados Unidos dedicaron a las revisiones fue de más de 1.500 millones de dólares en 2020. Para los revisores de China, la estimación es de más de 600 millones de dólares estadounidenses, y para los del Reino Unido, cerca de 400 millones de dólares estadounidenses.

Conclusiones: Por su diseño, es muy probable que nuestros resultados estén subestimados, ya que sólo reflejan una parte del número total de revistas en todo el mundo. Las cifras ponen de manifiesto la enorme cantidad de trabajo y tiempo que los investigadores aportan al sistema de publicación, así como la importancia de considerar formas alternativas de estructurar y pagar la revisión por pares. Se fomenta este proceso discutiendo algunos modelos alternativos que pretenden potenciar los beneficios de la revisión por pares, mejorando así su relación coste-beneficio.

Cómo responder a los comentarios de una la revisión por pares

How to Receive and Respond to Peer Review Feedback. PLOS 2021

Ver original

Después de meses desarrollando y escribiendo tu artículo, redactando los resultados y enviándolos a una revista. Ahora te llegó la respuesta y es el momento de revisar el artículo. Establece un plan claro para la respuesta, a fin de mantener el rumbo y asegurarse de que las modificaciones no se pierdan. Un enfoque reflexivo y minucioso sobre la respuesta de revisión te puede ahorrar tiempo en posteriores rondas de revisión. Aquí algunos consejos:

Mantener la calma y hacer balance

De vez en cuando, recibirás comentarios frustrantes. Aunque a veces te parezca que los revisores no han dedicado suficiente tiempo a tu trabajo, que son demasiado críticos o que carecen de la experiencia adecuada, recuerda que se pueden perder muchas cosas en la interpretación. Empieza siempre por asumir que los revisores tienen las mejores intenciones.

Ten en cuenta que el objetivo de los comentarios de los revisores es verificar y reforzar tu trabajo para que, en última instancia, sea una comunicación más eficaz. Los revisores son una buena representación del público lector general de la revista y sus reacciones pueden ayudarte a elaborar una publicación mejor y más clara.

Después de revisar los comentarios del manuscrito, puede ser útil dar un paso atrás y despejar la mente. Cuando vuelvas a ella, pregúntese: ¿cuáles son las cuestiones fundamentales que el revisor quiere que aborde?

Establece un plan de revisiones y respuestas

No pierdas de vista los cambios importantes que pretendes hacer. Elaborar un plan de revisión y respuesta a los revisores puede ayudarte a organizar los pasos, a tener una mejor idea de lo que hay que hacer y a que el proceso se desarrolle con mayor fluidez.

  1. Inicia una lista de las recomendaciones esenciales frente a las no esenciales para priorizar el trabajo.
    La nota del editor puede ayudarle a ver qué condiciones son necesarias para cumplir las normas de la revista. Sin embargo, no dejes de lado la lista de lo no esencial. Aunque estas recomendaciones pueden ser «agradables» más que «obligatorias», pueden fortalecer su trabajo para el público de esa revista. Si tiene tiempo y recursos para abordarlas, hágalo.
  2. Decide si necesitará tiempo para realizar experimentos adicionales.
  3. No rehúses proporcionar datos adicionales. Si ya tienes los datos solicitados por los revisores, pero no crees que se ajusten al ámbito de su trabajo, puedes incluirlos en la respuesta como muestra de buena fe, e indicar en tu carta por qué crees que deben quedar fuera del artículo publicado. Si necesita más tiempo para su revisión para completar la investigación adicional, asegúrete de hacérselo saber a su editor.
  4. Asegúrate de tener un sistema para responder a cada comentario y demostrar tus cambios.
    Esto puede parecer tedioso, pero una respuesta clara, punto por punto, puede ahorrarte tiempo en las siguientes rondas de revisión. Utiliza el sistema de seguimiento de cambios para mostrar sus modificaciones y/o indica en la respuesta los números de línea en los que se encuentra el cambio solicitado en el manuscrito.
  5. No ignores ningún comentario.
    Incluso si ha decidido no hacer un cambio, su respuesta a los revisores debe explicar por qué lo has hecho. Es posible que tenga que aportar pruebas adicionales de por qué no es relevante. Eso está bien. Tu objetivo aquí es asegurarte de que los revisores tengan lo suficientemente claro tu trabajo para entender tu pensamiento. Sin una razón adecuada, los revisores pueden solicitar el mismo cambio en las siguientes rondas de revisión.

Deja un poco de tiempo extra para la revisión final

Una vez que hayas actualizado y revisado su manuscrito, date un pequeño respiro: deja que el trabajo descanse uno o dos días y vuelve a leerlo, asegurándote de que sus recomendaciones tienen sentido en relación al resto del trabajo.

Comentarios contradictorios

Es casi inevitable que encuentres con revisores que no están de acuerdo con una línea de acción, o incluso con un editor que no está de acuerdo con los revisores. A continuación se ofrecen algunos consejos para sortear cada caso:

Revisor vs. Editor

En general, el editor debería poder ofrecer un comentario más ajustado al ámbito de la revista y a las políticas editoriales. Si el editor no está de acuerdo con una sugerencia de edición, debe citar los comentarios del editor en tu respuesta a los revisores.

Revisor contra revisor

  • Cuando dos revisores ofrecen consejos contradictorios, su editor puede orientar sobre las normas de la revista y sobre qué curso de acción consideran más apropiado. Al igual que antes, asegúrese de citar el consejo del editor en su respuesta.
  • Si el director no le aclara la respuesta, pregunta a un colega que conozca tu trabajo y consulta a los coautores para obtener una segunda opinión.
  • Confía en ti mismo. En última instancia, la decisión de realizar cualquier cambio depende de ti. Proporciona una respuesta clara y defendible a los revisores, citando tus razones para cumplir o no con una recomendación sugerida, para que los revisores y el editor entiendan tu decisión.

Finalmente

Incluye una carta de presentación. Se breve, destaca la información importante sobre los cambios y los puntos que desee aclarar. Si los consejos de los revisores te han resultado especialmente útiles, agradéceles sus comentarios y recomendaciones.

Kit de herramientas para revisiones abiertas

The Open Reviewers Toolkit is Now Openly Available. PREreview, 2021

Texto completo

Open Reviewer Toolkit, incluye tres guías para ayudar a la composición y evaluación imparcial de la revisión de manuscritos de investigación. Las guías están disponibles para su descarga en Zenodo bajo licencia CC-BY 4.0.

La primera es la Guía de reflexión sobre los prejuicios, una herramienta destinada a ayudar a un revisor a evaluar sus propios prejuicios y suposiciones mientras revisa un manuscrito de investigación, guiándolo a través de un proceso de auto-reflexión sin prejuicios. Darse cuenta y recordar nuestros prejuicios es el primer y necesario paso para contrarrestarlos en el proceso de toma de decisiones.

El segundo es la Guía del Revisor, un marco exhaustivo, paso a paso, para guiar a un revisor, especialmente a uno con poca experiencia, en el proceso de lectura y evaluación de un manuscrito de investigación, y en la redacción de un informe de revisión por pares. La guía incluye recursos adaptados de  PLOS Peer Review Center y citas de editores de revistas que recopilamos mediante conversaciones individuales o una encuesta. También contiene una plantilla de revisión imprimible con preguntas e indicaciones para guiar la composición de la revisión.

La tercera es la Rúbrica de evaluación de la revisión, una herramienta destinada a cualquier persona que evalúe la revisión de un manuscrito de investigación. Esto puede incluir a un mentor en el contexto de la formación de la revisión por pares, un par que ayude al autor de la revisión a evaluar su revisión, o incluso el propio revisor para autoevaluar su propia revisión. La rúbrica comprende 10 afirmaciones para las que se pide al evaluador que proporcione una puntuación y un comentario escrito para ayudar a mejorar la revisión.

¿Sería conveniente pagar por la revisión de artículos científicos a los revisores por pares?

What’s Wrong with Paying for Peer Review?. Scholary Kitchen, Tim Vines, Allison Mudditt, 16 de junio de 2021

Ver completo

Las revistas informan de que cada vez es más difícil encontrar revisores dispuestos, por lo que la idea de pagarles para que revisen se está planteando de nuevo. James Heathers ha iniciado un movimiento para que los revisores reciban 450 dólares por sus esfuerzos de revisión. Los revisores pueden pedir la cantidad que quieran, así que ¿por qué determinar el valor en 450 dólares? Algunos artículos son tan complejos que quizá sólo haya un puñado de expertos en la tierra que puedan revisarlos. El precio de un peritaje en un juicio es de unos 300 dólares por hora, por lo que una revisión de 20 horas de un artículo largo y complejo podría costar 6.000 dólares.

Está claro que incluso la tarea aparentemente menor de determinar los honorarios es un embrollo burocrático con el que no quieren lidiar ni los editores ni los académicos. Pero también está la cuestión de quién paga esta tasa. Uno de los principales objetivos es penalizar a las grandes editoriales que obtienen «demasiados» beneficios. Dejando a un lado los problemas de cómo se define eso y quién decide cuánto es demasiado, un sistema así exigiría a los editores construir una infraestructura totalmente nueva para gestionar cientos de miles de micropagos. Esto supondría una enorme carga para cualquier editor, pero especialmente para los más pequeños con márgenes estrechos, y actuaría como un enorme lastre adicional para la eficiencia del sistema de revisión por pares.

La verdad es que los pagos a los revisores sólo llevarían a las editoriales a subir sus precios. Subirían los precios para cubrir el dinero que pagan a los revisores. Y volverían a subirlos para cubrir el coste de esos pagos. Las editoriales se limitarían a trasladar los costes a las bibliotecas y a los autores, extrayendo dinero adicional de los presupuestos de las bibliotecas y de los fondos de publicación de los organismos de financiación, y poniendo un porcentaje considerable en los bolsillos de las grandes editoriales.

También merece la pena cuantificar los costes directos adicionales, especialmente en un sistema que muchos ya consideran demasiado caro. En un mundo de APC, los autores de los artículos aceptados cubren los costes de revisión de todos esos otros artículos que son rechazados. Para una revista de acceso abierto con una tasa de aceptación del 25% y una media de 2,2 revisiones por artículo, pagar a los revisores por la revisión de un artículo supone 2,2 * 450 dólares = 990 dólares. La revista revisa 1/0,25 = 4 artículos para encontrar uno que sea publicable, y los autores del artículo publicable pagan los costes de revisión de los otros tres. Por lo tanto, la modesta propuesta de una tasa de 450 dólares por cada revisión se convierte en 3960 dólares adicionales que se añaden a la tasa de procesamiento de artículos para una revista media.

Nos encontramos en un momento en el que somos cada vez más conscientes de las profundas desigualdades del sistema de investigación mundial; pagar a los revisores socavaría nuestros esfuerzos por ser más inclusivos. Sabemos que en la actualidad los revisores proceden principalmente del Norte Global (a pesar de los esfuerzos por cambiar esta situación), por lo que, una vez más, es ahí donde fluiría el dinero, perjudicando aún más a los investigadores de los países de ingresos bajos y moderados. Si cobramos a los autores por esos servicios de revisión a través de los APC, se creará otra problemática transferencia de fondos en la dirección equivocada.

Trabajar como revisor tiene, pues, las características de un servicio a la comunidad impulsado en parte por el altruismo. Queremos subrayar que hay muchas investigaciones que demuestran que el comportamiento altruista se ve rápidamente erosionado por la adición de incentivos financieros (por ejemplo, el efecto de sobrejustificación).

No podemos terminar sin hacer la pregunta obvia: ¿qué problema se intenta resolver realmente pagando a los revisores? Si se trata de la molestia por la escala de beneficios de los editores seleccionados, entonces hay una solución mucho más simple: no revisar o publicar en sus revistas. La acción más poderosa que cada uno de nosotros tiene como consumidor es donde elegimos gastar nuestro tiempo y recursos: si ciertas editoriales están generando importantes beneficios basados en el trabajo de un investigador, simplemente podemos elegir no darles proporcionarles nuestro trabajo.

Sospechamos que lo que realmente ocurre aquí es más complicado. Cuando los investigadores piden que se les pague por la revisión, podríamos descubrir que la mayoría está pidiendo simplemente reconocimiento. Como tradicionalmente reconocemos el trabajo con una paga, la «demanda» se forma como una petición de pago. Así que, en lugar de meternos en un lío intentando pagarles dinero, debemos trabajar más en recompensar a los revisores con otras monedas del mundo académico: la reputación, el reconocimiento y el éxito.

Reconocemos que, efectivamente, hay mucha gente mal pagada y con exceso de trabajo en el mundo académico, especialmente entre los investigadores que inician su carrera. Pagarles por la revisión por pares no va a resolver ese conjunto de injusticias más profundas. En su lugar, abordemos esas injusticias directamente.

Los revisores valoran mejor a aquellos investigadores varones que pertenecen a una universidad de prestigio

Gender, Institutions and Bias. Jack Grove for Times Higher Education June 18, 2021

Ver completo

Los editores de revistas evalúan mejor a los académicos varones si se revela que trabajan en una universidad de primer nivel, pero el mismo sesgo no se materializa para las académicas, según el estudio

Para explorar el efecto del sesgo institucional en las decisiones de revisión por pares, los investigadores pidieron a los editores de las principales revistas de economía del mundo que evaluaran un puñado de resúmenes para adivinar si el artículo se publicó o no, las citas que recibió y su evaluación general de su calidad.

Si bien los editores vieron los mismos resúmenes, el estudio varió si podían ver el nombre y la afiliación del autor. A pesar de que el 79 por ciento de los 165 encuestados eran hombres, el análisis encontró que no había un sesgo de género evidente en las evaluaciones, y que las mujeres no enfrentaban ningún sesgo cuando el nombre del autor era visible para el editor en comparación con cuando no lo era.

Pero el estudio, que se ha publicado en línea como documento de trabajo, encontró que los editores que evaluaron el trabajo de un autor masculino de una institución altamente calificada lo calificaron de manera más positiva si la afiliación se revelaba a los editores. Por otro lado, las mujeres de las mejores instituciones y las de menor rango no son evaluadas de manera diferente.

Los éxitos de las mujeres quizás se atribuyen a la suerte o las políticas de acción afirmativa, mientras que los éxitos de los hombres se atribuyen a sus habilidades y destrezas.

El estudio subrayó la necesidad de una revisión por pares ciega en economía, un campo tradicionalmente dominado por hombres, en la medida en que solo dos de los 84 premios Nobel de la disciplina han sido mujeres.

El análisis se suma a un creciente cuerpo de literatura que sugiere que el tema del sesgo de género en la revisión por pares es menos claro de lo que algunos han afirmado.

No obstante, pidió a las revistas que diversificaran sus equipos editoriales y grupos de revisores.

.

¿Se puede utilizar la IA de forma ética para ayudar a la revisión por pares?

Can AI be used ethically to assist peer review? LSE, 2021

Texto completo

A medida que ha aumentado la tasa y el volumen de publicaciones académicas, también lo ha hecho la presión sobre los editores de revistas para encontrar rápidamente revisores para evaluar la calidad del trabajo académico. En este contexto, el potencial de la inteligencia artificial (IA) para impulsar la productividad y reducir la carga de trabajo ha recibido una atención significativa. Basándose en la evidencia de un experimento que utiliza IA para aprender y evaluar los resultados de la revisión por pares, Alessandro Checco, Lorenzo Bracciale, Pierpaolo Loreti, Stephen Pinfield y Giuseppe Bianchi,  discuten las perspectivas de la IA para ayudar a la revisión por pares y los posibles dilemas éticos que su aplicación podría producir. .

El proceso de comunicación académica está bajo presión, particularmente debido a las crecientes demandas de los revisores pares. Los envíos de manuscritos a revistas de revisión por pares están creciendo aproximadamente un 6% anual. Cada año, se dedican más de 15 millones de horas a revisar manuscritos previamente rechazados y luego reenviados a otras revistas. Muchos de estos podrían evitarse en la fase de selección previa a la revisión por pares.

En lugar de visiones más grandiosas que sustituyan por completo la toma de decisiones humana, nos interesa comprender hasta qué punto la IA podría ayudar a los revisores y a los autores a hacer frente a esta carga. De ahí surge la pregunta: ¿podemos utilizar la IA como una herramienta básica para modelar la toma de decisiones de los revisores humanos?

Para poner a prueba esta propuesta, entrenamos una red neuronal utilizando una colección de manuscritos enviados de ponencias de conferencias de ingeniería, junto con sus decisiones de revisión por pares asociadas.

La herramienta de IA analizó los manuscritos utilizando un conjunto de características: el contenido textual, junto con puntuaciones de legibilidad y medidas de formato. El análisis abarca las partes del proceso de garantía de calidad de los resultados en las que se solapan la selección previa a la revisión por pares y la propia revisión por pares, cubriendo aspectos como el formato y la calidad de la expresión.

Una vez completada la fase de aprendizaje, se evaluó la precisión de las reglas empíricas para predecir el resultado de la revisión por pares de un manuscrito no observado previamente. Por último, se plantearon las siguientes cuestiones «¿Por qué la herramienta de IA ha marcado los artículos como aceptados o rechazados?», ya que responder a esta pregunta puede darnos una idea de la toma de decisiones humana que la herramienta estaba modelando.

Los revisores pueden verse indebidamente influenciados por cuestiones de formato o gramaticales (o por el uso de métodos que han sido asociados con trabajos rechazados en el pasado) y se ven inconscientemente influenciados por ello en sus juicios sobre cuestiones más sustanciales de la presentación.

En ese caso, una herramienta de IA que analicen los trabajos antes de la revisión por pares podría utilizarse para aconsejar a los autores que reelaboren su trabajo antes de enviarlo a la revisión por pares. Esto podría ser especialmente beneficioso para los autores cuya lengua materna no es el inglés, por ejemplo, y cuyo trabajo, por tanto, podría verse afectado negativamente por el sesgo de la primera impresión.

Las herramientas tienen el potencial de beneficiar directamente a los editores de revistas y actas de congresos en la toma de decisiones. Tienen el potencial de ahorrar tiempo a los revisores, cuando se utilizan como sistemas de apoyo a la decisión. También podrían ser útiles para los autores, como hemos sugerido. En particular, podrían:

  • Reducir el número de rechazos
  • Mejorar la toma de decisiones humanas con datos
  • Sesgos y cuestiones éticas

Todas estas cuestiones éticas deben tenerse muy en cuenta a la hora de diseñar e implantar las herramientas de IA en la práctica y de determinar el papel que desempeñan en la toma de decisiones. La investigación continua en estas áreas es crucial para ayudar a garantizar que el papel de las herramientas de IA en procesos como la revisión por pares sea positivo.