Archivo de la etiqueta: Revisión científica

Pares ciegos: evaluadores, evaluaciones y revistas científicas: problemas de un sistema en mal estado

 

138662_shutterstock_1037972827

Urbizagastegui-Alvarado, Ruben Pares ciegos: evaluadores, evaluaciones y revistas científicas: problemas de un sistema en mal estadoPalabra Clave (La Plata), 2018, vol. 8, n. 1, e062. [Journal article (Paginated)]

Texto completo

De tanto en tanto aparecen los desvariados, esos desavisados que, medio dormidos o dormidos y medio leen los artículos que uno publica o somete a evaluación a revistas académicas y que terminan siendo evaluados por los llamados “pares ciegos”. Este es realmente un buen nombre (pares ciegos) porque, a veces, algunos de ellos realmente son precisamente eso, pares y ciegos, y bien ciegos. Por desidia, o simplemente por no querer confrontar las circunstancias, a veces uno deja pasar algunas situaciones deplorables. Me pasó con una científica de la información brasileña, que en una nota editorial con el título “Pra não dizer que não falei das flores” me acusaba de no haber listado en un artículo mío, que mapeaba las revistas académicas de ciencia de la información y bibliotecología en América Latina, a la revista Informação e Sociedade: Estudos.

Esta científica de la información simplemente no había leído el artículo y sin leerlo o leyéndolo medio dormida, me acusaba de no haber listado en mi artículo a la mencionada revista. Lógicamente, mi artículo incluía esa revista. Le envié una carta de rectificación que lógicamente nunca publicó. Y tampoco nunca se disculpó. Nunca se rectificó pues y la cosa quedó allí. Dejé pasar esas acusaciones solo por desidia. Me niego a que esto siga sucediendo.

 

El efecto de publicar informes de revisión por pares sobre el comportamiento de los árbitros en cinco revistas científicas

peer20review20process

Giangiacomo Bravo, Francisco Grimaldo, Emilia López-Iñesta, Bahar Mehmani & Flaminio Squazzoni. The effect of publishing peer review reports on referee behavior in five scholarly journals. Nature Communications volume 10, Article number: 322 (2019)

Ver

Para aumentar la transparencia en la ciencia, algunas revistas académicas están publicando informes de revisión por pares. Pero no está claro cómo esta práctica afecta al proceso de revisión por pares. Aquí, se examina el efecto de publicar informes de revisión por pares sobre el comportamiento de los árbitros en cinco revistas académicas involucradas en un estudio piloto en Elsevier. Al considerar 9.220 presentaciones y 18.525 revisiones de entre 2010 a 2017, se midieron los cambios tanto antes como durante la prueba piloto y se encontró que la publicación de informes no comprometía significativamente la disposición de los árbitros de revisar, las recomendaciones o los plazos de entrega. Los académicos más jóvenes y no académicos estaban más dispuestos a aceptar la revisión y ofrecieron recomendaciones más positivas y objetivas. Los árbitros hombres tendieron a escribir informes más constructivos durante el proyecto piloto. Solo el 8,1% de los árbitros aceptaron revelar su identidad en el informe publicado. Estos hallazgos sugieren que la revisión abierta por pares no compromete el proceso, al menos cuando los árbitros pueden proteger su anonimato.

Las nuevas open research platforms: ¿cambiando las reglas del juego?

untitled-design-11-1024x512

De-Castro, Pablo (2018). “Las nuevas open research platforms: ¿cambiando las reglas del juego?”. Anuario ThinkEPI, v. 12, pp. 321-325.

Recientemente hemos asistido al lanzamiento de un buen número de open research platforms por parte de agencias de financiación científica tales como el Wellcome Trust, la Gates Foundation o el Health Research Board de Irlanda. Estas plataformas, basadas todas ellas en el software Open Research Central comercializado por F1000, suponen un intento de estas agencias para acelerar la transición del actual entorno de publicación científica hacia un escenario más propicio para la implantación de sus políticas de ciencia abierta. Con la publicación de la llamada de propuestas para su Open Research Europe hace apenas dos semanas, la Comisión Europea se une a un movimiento que puede cambiar las reglas de juego en áreas como la revisión por pares abierta, las métricas a nivel de artículo o los pre-prints, promoviendo un control más estricto de la publicación científica por parte de la academia. Esta nota examina los diversos objetivos de estas plataformas y argumenta que este bienintencionado movimiento podría no tener éxito si no convence a los investigadores del valor de estas alternativas para la publicación. Éste es un claro papel para las instituciones, cuyas estrategias de difusión de la ciencia abierta pueden ajustarse para incluir la promoción de estas plataformas.

El efecto de la publicación de informes sobre el comportamiento de los revisores científicos en cinco revistas académicas

 

peer-review-or-think-outside-the-box-1

Bravo, G., F. Grimaldo, et al. “The effect of publishing peer review reports on referee behavior in five scholarly journals.” Nature Communications vol. 10, n. 1 (2019). pp. 322. https://doi.org/10.1038/s41467-018-08250-2

Texto completo

 

Para aumentar la transparencia en la ciencia, algunas revistas académicas están publicando informes sobre la revisión por pares. Sin embargo, no está claro cómo afecta esta práctica al proceso de revisión. Aquí, se analiza el efecto de la publicación de informes de revisión por pares sobre el comportamiento de los revisores en cinco revistas académicas involucradas en un estudio piloto en Elsevier. Para ello se recogieron datos de 9.220 propuestas de artículos para publicar y 18.525 revisiones entre 2010 a 2017, y se analizaron los cambios tanto antes como durante la prueba piloto y se encontró que la publicación de los informes no comprometía significativamente la voluntad de los revisores, ni siquiera comportó un cambio en las recomendaciones o en el tiempo de respuesta. Los académicos más jóvenes y no académicos estaban más dispuestos a aceptar la revisión y ofrecieron recomendaciones más positivas y objetivas. Los árbitros masculinos tendieron a escribir informes más constructivos durante la prueba piloto. Sólo el 8,1% de los revisores aceptaron revelar su identidad en el informe que se publicó. Estos resultados sugieren que la revisión abierta por pares no compromete el proceso, al menos cuando los revisores tienden a proteger su anonimato.

¿Las altmetrías pueden proporcionar información sobre la calidad y el impacto temprano de la investigación?

 

asi24122-fig-0004-m

Wooldridge, J. and M. B. King “Altmetric scores: An early indicator of research impact.” Journal of the Association for Information Science and Technology vol. 70, n. 3 (2019). pp. 271-282. https://onlinelibrary.wiley.com/doi/abs/10.1002/asi.24122

Texto completo

 

En este artículo analiza si las métricas de atención en línea que describen la investigación pueden proporcionar información sobre la calidad de la investigación y el impacto social que no se encuentra sólo en los datos de citas.

El enfoque consiste en establecer un modelo tradicional en el que la verdadera calidad o el impacto de un departamento universitario es determinado por un panel de expertos, pero una métrica de citación se considera un indicador aproximado razonable. Sin embargo, el modelo asume que la información contenida en las puntuaciones proporcionadas por un panel de expertos excede la contenida en una métrica de citación (HEFCE, 2015).

Por último, se amplia este modelo incluyendo datos altmétricos para ver si añade información sobre el rendimiento de un departamento que no pueda deducirse sólo de las citas. Se encontró que la presencia de datos altmétricos para la investigación de apoyo citada está altamente correlacionada con las puntuaciones de la revisión por pares para el impacto social. Por el contrario, no se observó tal conexión con la evaluación de la calidad de la investigación. Por lo que, estos hallazgos sugieren que los datos altmétricos podrían ser útiles como ayuda para evaluar el impacto.

El informe Global State of Peer Review destaca la sobrecarga y la necesidad de reconocimiento de los revisores científicos

Publons-Global-State-Of-Peer-Review-2018-page-001

Global State of Peer Review 2018. Publons ; Clarivate, 2018

Texto completo

La producción de la investigación está aumentando exponencialmente y esto está ejerciendo presión sobre el sistema, con cada vez más investigadores que reciben más solicitudes de revisión por pares. El reciente informe Global State of Peer Review destaca el incremento de las solicitudes de revisión está llevando a el rechazo a admitir solicitudes por parte de muchos revisores, y la consecuente dificultad de encontrar revisores disponibles. Para ayudar a resolver este problema, Springer Nature y Publons, parte de Clarivate Analytics, han anunciado una asociación para mejorar el proceso de revisión por pares y permitir que los revisores reciban reconocimiento por su contribución.

 

La mayor encuesta mundial sobre revisión científica revela algunas tendencias clave. El informe fue elaborado a partir de una encuesta a más de 12.000 revisores realizada entre mayo y julio de 2018 llegó a la conclusión de que la disponibilidad de los revisores es una de las principales ineficiencias del actual proceso de revisión por pares. Sin embargo, el 41% de los encuestados considera la revisión por pares como parte de su trabajo. El tiempo invertido en los procesos de revisión fue de 68,5 millones de horas al año. lo que significa una media de 5 horas por cada revisión y 16,4 días de tiempo medio de respuesta.  Los informes de revisión contienen una media de 477 palabras es la longitud.

La carga para la comunidad de revisión por pares está aumentando a medida que crece el volumen de artículos de investigación publicados. El informe señala que cada vez es más difícil encontrar revisores disponibles para hacer el trabajo, así el 75% de los editores de revistas dicen que la parte más difícil de su trabajo es encontrar revisores dispuestos. Produciéndose con una carga desigual entre ellos, ya que el 10% de los revisores son responsables del 50% de las revisiones por pares. Las razones de rechazo de un articulo tienen que ver en el 71% de los casos con que las solicitudes de revisión están fuera de su área de especialización, un 42% dicen estar demasiado ocupados y un 39% alegan no tener formación suficiente para desarrollar la tarea. Siendo los científicos de las economías emergentes los que responden más rápidamente a las invitaciones de revisión por pares, pero son los menos invitados y sus revisiones también tienden a ser más cortas que las de sus colegas de países ricos.

 

d41586-018-06602-y_16105592

Número de revisiones y índice de aceptación

 

Los investigadores de los principales centros científicos de países como Estados Unidos, Reino Unido y Japón, hacen casi dos revisiones por cada artículo presentado, en comparación con cerca de las 0,6 revisiones por cada presentación que hacen los investigadores de países emergentes como China, Brasil, India y Polonia. Entre 2013 y 2017, Estados Unidos contribuyó con al 33% de las revisiones por pares y publicó el 25,4% de los artículos editados en el mundo. Por el contrario, los países emergentes realizaron el 19% de las revisiones por pares y publicaron el 29% de todos los artículos. Destacan países como China que publicaron el 13,8% de los artículos científicos durante el período, pero sólo el 8,8% de las revisiones.

 

d41586-018-06602-y_16105590

Contribución por países

 

Para ayudar a resolver este problema, Springer Nature y Publons, parte de Clarivate Analytics, han anunciado una asociación para mejorar el proceso de revisión por pares y permitir que los revisores reciban reconocimiento por su contribución. En la primera etapa de esta asociación se pondrá en marcha el Servicio de Reconocimiento de Revisores de Publicaciones en más de 2.000 revistas de Springer Nature, comenzando con Scientific Reports, la revista de acceso abierto más grande del mundo. Posteriormente se pretende hacer un programa piloto para proporcionar a los 60.000 investigadores que realizan más de un millón de revisiones para las revistas de Springer Nature cada año un importante reconocimiento por su trabajo. Las dos organizaciones también trabajarán juntas para que la búsqueda del revisor adecuado sea más rápida e inteligente a través de Publons Reviewer Connect, lo que ayudará a Springer Nature a mejorar el proceso de revisión por pares al identificar las cargas de trabajo de los revisores y las limitaciones de disponibilidad entre los posibles revisores potenciales.

La forma de recompensar el trabajo de revisión será a través del registro de revisiones de Springer Nature y su asociación con ORCID, que garantizará que las revisiones verificadas por los editores se añadan automáticamente al registro ORCID del investigador. Desde que el ORCID comenzó a realizar revisiones por pares en 2015, se han añadido más de medio millón de revisiones, de las cuales Publons ha aportado el 95%.

Pruebas externas de la validez de la revisión por pares mediante medidas de impacto.

 

istock-148441660-credit-retrorocket-1200-x-600

Gallo, S. A. and S. R. Glisson “External Tests of Peer Review Validity Via Impact Measures.” Frontiers in Research Metrics and Analytics vol. 3, n. 22 (2018). pp.: https://www.frontiersin.org/article/10.3389/frma.2018.00022

 

La revisión por pares se utiliza comúnmente en la ciencia como una herramienta para evaluar el mérito y el impacto potencial de los proyectos de investigación y hacer recomendaciones de financiación de la investigación. Si bien es probable que el impacto potencial sea difícil de evaluar con anterioridad, ha habido relativamente pocos intentos de obtener una idea de la exactitud predictiva de las decisiones de revisión utilizando medidas de impacto de los resultados de los proyectos finalizados.

Aunque existen muchos resultados, y por lo tanto medidas potenciales de impacto, para los proyectos de investigación, la gran mayoría de la evaluación de los resultados de la investigación se centra en la bibliometría. En el artículo se revisan los múltiples tipos de medidas de impacto potencial con interés en su aplicación para validar las decisiones de revisión. Se presenta una revisión de la literatura actual sobre la validación de las decisiones de revisión por pares con medidas de impacto de los resultados de la investigación; sólo se identificaron 48 estudios, aproximadamente la mitad de los cuales son de EE.UU. y el tamaño de la muestra por estudio varia enormemente. El 69% de los estudios utilizaron la bibliometría como resultado de la investigación. Mientras que el 52% de los estudios emplearon medidas alternativas (como patentes y licencias de tecnología, revisión por pares después del proyecto, colaboración internacional, éxito de la financiación en el futuro, obtención de puestos de trabajo y satisfacción profesional), sólo el 25% de todos los proyectos utilizaron más de una medida de los resultados de la investigación.

En general, el 91% de los estudios con controles no financiados y el 71% de los estudios sin dichos controles proporcionaron evidencia de al menos algún nivel de validez predictiva de las decisiones de revisión. Sin embargo, varios estudios informaron que también observaron errores considerables de tipo I y II. Además, muchos de los efectos de observación fueron pequeños y varios estudios sugieren un poder de discriminación grosero, capaz de separar las propuestas pobres de las mejores, pero no la discriminación entre las propuestas o solicitantes de nivel superior.

Se necesita más investigación, particularmente en la integración de múltiples tipos de indicadores de impacto en estas pruebas de validez, así como en la consideración del contexto de los resultados de la investigación en relación con los objetivos del programa de investigación y las preocupaciones de reproducibilidad, traducibilidad y sesgo de publicación. Paralelamente, se necesita más investigación centrada en la validez interna de los procedimientos de toma de decisiones de revisión y el sesgo de los revisores.