¿Se puede utilizar la IA de forma ética para ayudar a la revisión por pares?

Can AI be used ethically to assist peer review? LSE, 2021

Texto completo

A medida que ha aumentado la tasa y el volumen de publicaciones académicas, también lo ha hecho la presión sobre los editores de revistas para encontrar rápidamente revisores para evaluar la calidad del trabajo académico. En este contexto, el potencial de la inteligencia artificial (IA) para impulsar la productividad y reducir la carga de trabajo ha recibido una atención significativa. Basándose en la evidencia de un experimento que utiliza IA para aprender y evaluar los resultados de la revisión por pares, Alessandro Checco, Lorenzo Bracciale, Pierpaolo Loreti, Stephen Pinfield y Giuseppe Bianchi,  discuten las perspectivas de la IA para ayudar a la revisión por pares y los posibles dilemas éticos que su aplicación podría producir. .

El proceso de comunicación académica está bajo presión, particularmente debido a las crecientes demandas de los revisores pares. Los envíos de manuscritos a revistas de revisión por pares están creciendo aproximadamente un 6% anual. Cada año, se dedican más de 15 millones de horas a revisar manuscritos previamente rechazados y luego reenviados a otras revistas. Muchos de estos podrían evitarse en la fase de selección previa a la revisión por pares.

En lugar de visiones más grandiosas que sustituyan por completo la toma de decisiones humana, nos interesa comprender hasta qué punto la IA podría ayudar a los revisores y a los autores a hacer frente a esta carga. De ahí surge la pregunta: ¿podemos utilizar la IA como una herramienta básica para modelar la toma de decisiones de los revisores humanos?

Para poner a prueba esta propuesta, entrenamos una red neuronal utilizando una colección de manuscritos enviados de ponencias de conferencias de ingeniería, junto con sus decisiones de revisión por pares asociadas.

La herramienta de IA analizó los manuscritos utilizando un conjunto de características: el contenido textual, junto con puntuaciones de legibilidad y medidas de formato. El análisis abarca las partes del proceso de garantía de calidad de los resultados en las que se solapan la selección previa a la revisión por pares y la propia revisión por pares, cubriendo aspectos como el formato y la calidad de la expresión.

Una vez completada la fase de aprendizaje, se evaluó la precisión de las reglas empíricas para predecir el resultado de la revisión por pares de un manuscrito no observado previamente. Por último, se plantearon las siguientes cuestiones “¿Por qué la herramienta de IA ha marcado los artículos como aceptados o rechazados?”, ya que responder a esta pregunta puede darnos una idea de la toma de decisiones humana que la herramienta estaba modelando.

Los revisores pueden verse indebidamente influenciados por cuestiones de formato o gramaticales (o por el uso de métodos que han sido asociados con trabajos rechazados en el pasado) y se ven inconscientemente influenciados por ello en sus juicios sobre cuestiones más sustanciales de la presentación.

En ese caso, una herramienta de IA que analicen los trabajos antes de la revisión por pares podría utilizarse para aconsejar a los autores que reelaboren su trabajo antes de enviarlo a la revisión por pares. Esto podría ser especialmente beneficioso para los autores cuya lengua materna no es el inglés, por ejemplo, y cuyo trabajo, por tanto, podría verse afectado negativamente por el sesgo de la primera impresión.

Las herramientas tienen el potencial de beneficiar directamente a los editores de revistas y actas de congresos en la toma de decisiones. Tienen el potencial de ahorrar tiempo a los revisores, cuando se utilizan como sistemas de apoyo a la decisión. También podrían ser útiles para los autores, como hemos sugerido. En particular, podrían:

  • Reducir el número de rechazos
  • Mejorar la toma de decisiones humanas con datos
  • Sesgos y cuestiones éticas

Todas estas cuestiones éticas deben tenerse muy en cuenta a la hora de diseñar e implantar las herramientas de IA en la práctica y de determinar el papel que desempeñan en la toma de decisiones. La investigación continua en estas áreas es crucial para ayudar a garantizar que el papel de las herramientas de IA en procesos como la revisión por pares sea positivo.