Archivo de la etiqueta: Revisión científica

Las nuevas open research platforms: ¿cambiando las reglas del juego?

 

untitled-design-11-1024x512

 

De-Castro, Pablo (2018). “Las nuevas open research platforms: ¿cambiando las reglas del juego?”. Anuario ThinkEPI, v. 12, pp. 321-325.

 

Recientemente hemos asistido al lanzamiento de un buen número de open research platforms por parte de agencias de financiación científica tales como el Wellcome Trust, la Gates Foundation o el Health Research Board de Irlanda. Estas plataformas, basadas todas ellas en el software Open Research Central comercializado por F1000, suponen un intento de estas agencias para acelerar la transición del actual entorno de publicación científica hacia un escenario más propicio para la implantación de sus políticas de ciencia abierta. Con la publicación de la llamada de propuestas para su Open Research Europe hace apenas dos semanas, la Comisión Europea se une a un movimiento que puede cambiar las reglas de juego en áreas como la revisión por pares abierta, las métricas a nivel de artículo o los pre-prints, promoviendo un control más estricto de la publicación científica por parte de la academia. Esta nota examina los diversos objetivos de estas plataformas y argumenta que este bienintencionado movimiento podría no tener éxito si no convence a los investigadores del valor de estas alternativas para la publicación. Éste es un claro papel para las instituciones, cuyas estrategias de difusión de la ciencia abierta pueden ajustarse para incluir la promoción de estas plataformas.

El efecto de la publicación de informes sobre el comportamiento de los revisores científicos en cinco revistas académicas

 

peer-review-or-think-outside-the-box-1

Bravo, G., F. Grimaldo, et al. «The effect of publishing peer review reports on referee behavior in five scholarly journals.» Nature Communications vol. 10, n. 1 (2019). pp. 322. https://doi.org/10.1038/s41467-018-08250-2

Texto completo

 

Para aumentar la transparencia en la ciencia, algunas revistas académicas están publicando informes sobre la revisión por pares. Sin embargo, no está claro cómo afecta esta práctica al proceso de revisión. Aquí, se analiza el efecto de la publicación de informes de revisión por pares sobre el comportamiento de los revisores en cinco revistas académicas involucradas en un estudio piloto en Elsevier. Para ello se recogieron datos de 9.220 propuestas de artículos para publicar y 18.525 revisiones entre 2010 a 2017, y se analizaron los cambios tanto antes como durante la prueba piloto y se encontró que la publicación de los informes no comprometía significativamente la voluntad de los revisores, ni siquiera comportó un cambio en las recomendaciones o en el tiempo de respuesta. Los académicos más jóvenes y no académicos estaban más dispuestos a aceptar la revisión y ofrecieron recomendaciones más positivas y objetivas. Los árbitros masculinos tendieron a escribir informes más constructivos durante la prueba piloto. Sólo el 8,1% de los revisores aceptaron revelar su identidad en el informe que se publicó. Estos resultados sugieren que la revisión abierta por pares no compromete el proceso, al menos cuando los revisores tienden a proteger su anonimato.

¿Las altmetrías pueden proporcionar información sobre la calidad y el impacto temprano de la investigación?

 

asi24122-fig-0004-m

Wooldridge, J. and M. B. King «Altmetric scores: An early indicator of research impact.» Journal of the Association for Information Science and Technology vol. 70, n. 3 (2019). pp. 271-282. https://onlinelibrary.wiley.com/doi/abs/10.1002/asi.24122

Texto completo

 

En este artículo analiza si las métricas de atención en línea que describen la investigación pueden proporcionar información sobre la calidad de la investigación y el impacto social que no se encuentra sólo en los datos de citas.

El enfoque consiste en establecer un modelo tradicional en el que la verdadera calidad o el impacto de un departamento universitario es determinado por un panel de expertos, pero una métrica de citación se considera un indicador aproximado razonable. Sin embargo, el modelo asume que la información contenida en las puntuaciones proporcionadas por un panel de expertos excede la contenida en una métrica de citación (HEFCE, 2015).

Por último, se amplia este modelo incluyendo datos altmétricos para ver si añade información sobre el rendimiento de un departamento que no pueda deducirse sólo de las citas. Se encontró que la presencia de datos altmétricos para la investigación de apoyo citada está altamente correlacionada con las puntuaciones de la revisión por pares para el impacto social. Por el contrario, no se observó tal conexión con la evaluación de la calidad de la investigación. Por lo que, estos hallazgos sugieren que los datos altmétricos podrían ser útiles como ayuda para evaluar el impacto.

El informe Global State of Peer Review destaca la sobrecarga y la necesidad de reconocimiento de los revisores científicos

Publons-Global-State-Of-Peer-Review-2018-page-001

Global State of Peer Review 2018. Publons ; Clarivate, 2018

Texto completo

La producción de la investigación está aumentando exponencialmente y esto está ejerciendo presión sobre el sistema, con cada vez más investigadores que reciben más solicitudes de revisión por pares. El reciente informe Global State of Peer Review destaca el incremento de las solicitudes de revisión está llevando a el rechazo a admitir solicitudes por parte de muchos revisores, y la consecuente dificultad de encontrar revisores disponibles. Para ayudar a resolver este problema, Springer Nature y Publons, parte de Clarivate Analytics, han anunciado una asociación para mejorar el proceso de revisión por pares y permitir que los revisores reciban reconocimiento por su contribución.

 

La mayor encuesta mundial sobre revisión científica revela algunas tendencias clave. El informe fue elaborado a partir de una encuesta a más de 12.000 revisores realizada entre mayo y julio de 2018 llegó a la conclusión de que la disponibilidad de los revisores es una de las principales ineficiencias del actual proceso de revisión por pares. Sin embargo, el 41% de los encuestados considera la revisión por pares como parte de su trabajo. El tiempo invertido en los procesos de revisión fue de 68,5 millones de horas al año. lo que significa una media de 5 horas por cada revisión y 16,4 días de tiempo medio de respuesta.  Los informes de revisión contienen una media de 477 palabras es la longitud.

La carga para la comunidad de revisión por pares está aumentando a medida que crece el volumen de artículos de investigación publicados. El informe señala que cada vez es más difícil encontrar revisores disponibles para hacer el trabajo, así el 75% de los editores de revistas dicen que la parte más difícil de su trabajo es encontrar revisores dispuestos. Produciéndose con una carga desigual entre ellos, ya que el 10% de los revisores son responsables del 50% de las revisiones por pares. Las razones de rechazo de un articulo tienen que ver en el 71% de los casos con que las solicitudes de revisión están fuera de su área de especialización, un 42% dicen estar demasiado ocupados y un 39% alegan no tener formación suficiente para desarrollar la tarea. Siendo los científicos de las economías emergentes los que responden más rápidamente a las invitaciones de revisión por pares, pero son los menos invitados y sus revisiones también tienden a ser más cortas que las de sus colegas de países ricos.

 

d41586-018-06602-y_16105592

Número de revisiones y índice de aceptación

 

Los investigadores de los principales centros científicos de países como Estados Unidos, Reino Unido y Japón, hacen casi dos revisiones por cada artículo presentado, en comparación con cerca de las 0,6 revisiones por cada presentación que hacen los investigadores de países emergentes como China, Brasil, India y Polonia. Entre 2013 y 2017, Estados Unidos contribuyó con al 33% de las revisiones por pares y publicó el 25,4% de los artículos editados en el mundo. Por el contrario, los países emergentes realizaron el 19% de las revisiones por pares y publicaron el 29% de todos los artículos. Destacan países como China que publicaron el 13,8% de los artículos científicos durante el período, pero sólo el 8,8% de las revisiones.

 

d41586-018-06602-y_16105590

Contribución por países

 

Para ayudar a resolver este problema, Springer Nature y Publons, parte de Clarivate Analytics, han anunciado una asociación para mejorar el proceso de revisión por pares y permitir que los revisores reciban reconocimiento por su contribución. En la primera etapa de esta asociación se pondrá en marcha el Servicio de Reconocimiento de Revisores de Publicaciones en más de 2.000 revistas de Springer Nature, comenzando con Scientific Reports, la revista de acceso abierto más grande del mundo. Posteriormente se pretende hacer un programa piloto para proporcionar a los 60.000 investigadores que realizan más de un millón de revisiones para las revistas de Springer Nature cada año un importante reconocimiento por su trabajo. Las dos organizaciones también trabajarán juntas para que la búsqueda del revisor adecuado sea más rápida e inteligente a través de Publons Reviewer Connect, lo que ayudará a Springer Nature a mejorar el proceso de revisión por pares al identificar las cargas de trabajo de los revisores y las limitaciones de disponibilidad entre los posibles revisores potenciales.

La forma de recompensar el trabajo de revisión será a través del registro de revisiones de Springer Nature y su asociación con ORCID, que garantizará que las revisiones verificadas por los editores se añadan automáticamente al registro ORCID del investigador. Desde que el ORCID comenzó a realizar revisiones por pares en 2015, se han añadido más de medio millón de revisiones, de las cuales Publons ha aportado el 95%.

Pruebas externas de la validez de la revisión por pares mediante medidas de impacto.

 

istock-148441660-credit-retrorocket-1200-x-600

Gallo, S. A. and S. R. Glisson «External Tests of Peer Review Validity Via Impact Measures.» Frontiers in Research Metrics and Analytics vol. 3, n. 22 (2018). pp.: https://www.frontiersin.org/article/10.3389/frma.2018.00022

 

La revisión por pares se utiliza comúnmente en la ciencia como una herramienta para evaluar el mérito y el impacto potencial de los proyectos de investigación y hacer recomendaciones de financiación de la investigación. Si bien es probable que el impacto potencial sea difícil de evaluar con anterioridad, ha habido relativamente pocos intentos de obtener una idea de la exactitud predictiva de las decisiones de revisión utilizando medidas de impacto de los resultados de los proyectos finalizados.

Aunque existen muchos resultados, y por lo tanto medidas potenciales de impacto, para los proyectos de investigación, la gran mayoría de la evaluación de los resultados de la investigación se centra en la bibliometría. En el artículo se revisan los múltiples tipos de medidas de impacto potencial con interés en su aplicación para validar las decisiones de revisión. Se presenta una revisión de la literatura actual sobre la validación de las decisiones de revisión por pares con medidas de impacto de los resultados de la investigación; sólo se identificaron 48 estudios, aproximadamente la mitad de los cuales son de EE.UU. y el tamaño de la muestra por estudio varia enormemente. El 69% de los estudios utilizaron la bibliometría como resultado de la investigación. Mientras que el 52% de los estudios emplearon medidas alternativas (como patentes y licencias de tecnología, revisión por pares después del proyecto, colaboración internacional, éxito de la financiación en el futuro, obtención de puestos de trabajo y satisfacción profesional), sólo el 25% de todos los proyectos utilizaron más de una medida de los resultados de la investigación.

En general, el 91% de los estudios con controles no financiados y el 71% de los estudios sin dichos controles proporcionaron evidencia de al menos algún nivel de validez predictiva de las decisiones de revisión. Sin embargo, varios estudios informaron que también observaron errores considerables de tipo I y II. Además, muchos de los efectos de observación fueron pequeños y varios estudios sugieren un poder de discriminación grosero, capaz de separar las propuestas pobres de las mejores, pero no la discriminación entre las propuestas o solicitantes de nivel superior.

Se necesita más investigación, particularmente en la integración de múltiples tipos de indicadores de impacto en estas pruebas de validez, así como en la consideración del contexto de los resultados de la investigación en relación con los objetivos del programa de investigación y las preocupaciones de reproducibilidad, traducibilidad y sesgo de publicación. Paralelamente, se necesita más investigación centrada en la validez interna de los procedimientos de toma de decisiones de revisión y el sesgo de los revisores.

Sistemas de revisión de originales en editoriales académicas españolas y latinoamericanas

42787328334_dcf185fcc7_b_d

Procedimientos de selección de originales en editoriales académicas españolas y latinoamericanas

Ver mapa

Las editoriales académicas que constan en el gráfico muestran qué procedimientos de selección de originales siguen entre los propuestos (seis primeras columnas). Esta información ha sido recabada mediante encuesta. La última columna indica si la editorial ofrece alguna información en su sitio web sobre sus procedimientos de selección de originales.

 

Directrices Éticas para Revisores por Pares del Comité Internacional de Ética de las Publicaciones (COPE)

 

sharedreviewv24x-728x333

COPE Ethical Guidelines for Peer Reviewers
publicationethics.org
Irene Hames on behalf of COPE Council
March 2013, v.1

 

La evaluación científica entre homólogos en todas sus formas desempeña un papel importante a la hora de garantizar la integridad de las instituciones académicas. El proceso depende en gran medida de la confianza y requiere que todos los involucrados se comporten de manera responsable y ética. Los revisores por pares desempeñan un papel central y crítico en la revisión científica, pero con demasiada frecuencia asumen el papel sin ninguna orientación y pueden no ser conscientes de sus obligaciones éticas.

Las Directrices éticas del Comité de Ética en Publicaciones (COPE) para los revisores establecen lo siguiente

  • Principios y estándares básicos a los que todos los revisores deben atenerse durante la revisión por pares
  • Proceso. Se espera que proporcionen una orientación útil a los investigadores, y sean una referencia para las revistas y los editores en la orientación de sus revisores, y actúen como un recurso educativo para las instituciones en la formación de estudiantes e investigadores.

 

Principios básicos a los que deben atenerse los revisores por pares:

– Aceptar revisar únicamente los manuscritos para los cuales tienen la experiencia en la materia requerida para llevar a cabo una evaluación adecuada y que puedan evaluar a su debido tiempo.

– Respetar la confidencialidad de la revisión por pares y no revelar ningún detalle de un manuscrito o de su contenido durante o después del proceso de revisión por pares, más allá de los que son publicados por el propio editor

– No utilizar la información obtenida durante el proceso de revisión por pares para fines propios o de cualquier otro tipo en ventaja de una persona u organización, o para perjudicar o desacreditar a otros.

– Declarar todos los posibles intereses en conflicto, solicitando asesoramiento a la revista si no están seguros o si algo constituye un interés relevante.

– No permitir que sus reseñas estén influenciadas por el origen de un manuscrito, por la nacionalidad, creencias religiosas o políticas, género u otras características de los autores, o por razones comerciales.

– Ser objetivos y constructivos en sus revisiones, absteniéndose de ser hostiles y de hacer comentarios personales difamatorios o despectivos

– Reconocer que la revisión por pares es en gran medida un esfuerzo recíproco y comprometerse a llevar a cabo una revisión justa

– Proporcionar a las revistas la información personal y profesional precisa y verdadera de la experiencia profesional desarrollada.

– Reconocer que la suplantación de la personalidad de otra persona durante el proceso de revisión se considera una falta grave

 

 

 

Crossref facilita el uso de la información esencial de la revisión por pares para una comunicación científica más abierta y transparente

Business people finding solution together at office

Introducing metadata for peer review. Crossref, 05 June 2018

Texto original

 

 

Con la intención de responder a las necesidades cambiantes en torno a la comunicación científica, Crossref está comprometido con la expansión de su infraestructura para apoyar las demandas de progreso académico y descubrimiento científico. La disponibilidad de datos de revisión por pares es sólo una de las muchas progresiones que esta organización sin fines de lucro ha hecho en los últimos meses para ayudar a facilitar la transpaencia y la gobernabilidad, y para facilitar el uso de los datos de la investigación en contexto.

 

Organizaciones como BMJ, ASAPBio, PeerJ y ScienceOpen han estado impulsando el desarrollo del registro de contenido de revisión por pares. Reconocen la importancia de los registros persistentes para el contenido de la revisión por pares; y entienden que estos metadatos de apoyo enriquecen la discusión académica, la responsabilidad de los revisores, la transparencia y el análisis de la revisión por pares.

A finales del año pasado, después de la colaboración con organizaciones miembros de ideas afines, Crossref abrió un nuevo esquema de depósito para permitir el registro de revisiones de pares, informes de árbitros, cartas de decisión, respuestas de autores y comentarios de la comunidad. Ahora se pueden depositar y buscar metadatos para caracterizar tanto el tipo de revisión por pares como la etapa (para reflejar con precisión el historial de la revisión de un documento científico).

De manera que los metadatos de más de 10.000 revisiones por pares están ahora abiertamente disponibles y son fácilmente recuperables para su análisis e integración en otras herramientas y servicios, a través de la API pública de Crossref.

Los objetivos de esta iniciativa son  poner a disposición las revisiones de pares antes y después de la publicación para facilitar el descubrimiento de discusiones críticas sobre la investigación publicada. Así como fomentar la contribución de los revisores y editores, para apoyar  la transparencia en la publicación proporcionando datos para el análisis y la investigación de las comunicaciones académicas.

Como los datos de la revisión por pares no están sujetos a derechos de autor y no es necesario registrarse para utilizarlos, cualquiera puede recuperar la información necesaria para su uso y análisis. De este modo, las instituciones y los investigadores podrán ahora disponer de información más sólida sobre el papel de la revisión por pares en las comunicaciones académicas, además de identificar y evaluar sus propias contribuciones.

 

Revisión científica y revisión abierta. Planeta biblioteca 2018/05/09

40205026360_b9103c312d_b_d

Escuchar el programa de radio

Ir a descargar

 

La revisión por pares (en inglés peer review), es el sistema utilizado para evaluar la calidad de la investigación científica antes de su publicación. Los investigadores independientes en el mismo campo escrutan trabajos de investigación para otorgarles autoridad, validez, importancia y originalidad y de este modo ayudar a los editores a evaluar si los trabajos de investigación deben ser publicados en su revista. La revisión por pares generalmente se percibe como el estándar de oro y es un proceso de enorme importancia para la gestión del contenido del registro científico publicado y para la evolución de las carreras académicas de los científicos que lo producen. En el programa hablamos de como se conforman los comités científicos, como se desarrolla el proceso, que aspectos se evalúan de una investigación, las deficiencias del sistema y las alternativas al mismo, especialmente en un entorno digital en expansión que impulsa cambios en los criterios  para medir el impacto de la investigación y erudición.

En este momento, los desarrolladores de sistemas de información están experimentando con nuevas herramientas para la validación de los productos de investigación que facilita cuestiones tales como el acceso abierto a la investigación. Estas herramientas permiten a los investigadores registrar la investigación y ponerla fácilmente al alcance de otros investigadores. Por ello son muchas las voces que abogan por un sistema de revisión más abierto y transparente.

Ver además

Revisión científica: monográfico

Plataformas que practican revisión abierta:

Algunas sugerencias de lectura citadas:

  • Best Practices in Peer Review : AAUP Manual.The Association of American University Presses (AAUP) 2016 Texto completo
  • Guthrie, S., B. Guérin, et al. [eBook]  Alternatives to Peer Review in Research Project Funding. Santa Monica, CA, RAND, 2013 Texto completo
  • Buenas Prácticas para la Evaluación por Pares. [e-Book] Santiago de Chile, Association of American University Presses. Foro de Editores de Chile Texto completo
  • Wager, E., F. Godlee, et al. (2002). [e-Book] How to Survive Peer Review. London, BMJ. Texto completo
  • Burley, R. and E. Moylan (2017). [e-Book] What might peer review look like in 2030? A report from BioMed Central and Digital Science. Digital Science and BioMed Central. Texto completo
  • Alonso-Arévalo, Julio. Mejores contenidos, mayor prestigio: adquisición de originales, evaluación y rankings. VII Foro Internacional de Edición Universitaria y Académica. Feria Internacional del Libro de Guadalajara (FIL), 2016. Martes 29 de noviembre de 11:45 a 13:00 horas. Texto completo – PREZI
  • Ross,Tony Disambiguating post-publication peer review.  2016-09-14 scholarly communication en OpenAire blog Ver completo
  • Wilson, J. et al.  [e-Book] Peer Review: The nuts and bolts. London: Sense About Science, 2014 Texto completo
  • Kriegeskorte, N. and D. Deca (2012). [e-Book]  Beyond open access: visions for open evaluation of scientific papers by post-publication peer review, Frontiers, 2012. Texto completo

Análisis de los comités científicos de las revistas españolas de Traducción e Interpretación

40562499174_94d5b94c9f_o_d
GIL SÁNCHEZ, Jesús. Análisis de los comités científicos de las revistas españolas de Traducción e Interpretación = Analysis of the advisory boards of the Spanish Translations and Interpreting journals / Jesús Gil Sánchez; bajo la dirección de Críspulo Travieso Rodríguez. – Salamanca: Universidad de Salamanca, Facultad de Traducción y Documentación, 2017
La evaluación de revistas científicas de Humanidades y Ciencias Sociales es una tarea complicada, especialmente en el ámbito de la Traducción e Interpretación, debido a que las bases de datos más prestigiosas están especializadas en las Ciencias Puras. Por eso, este trabajo se centrará en el estudio de los comités de revisión de revistas de Traducción e Interpretación. El objetivo será determinar si la calidad de dichos comités de revisión es relevante a la hora de evaluar los resultados bibliométricos de las publicaciones. Para ello, se han analizado veintiséis revistas y sus respectivos comités empleando un índice sintético de creación propia. Los resultados muestran que las revistas con un índice más alto son consideradas de mayor calidad por las bases de datos especializadas. Esto indica que la implantación de nuevos métodos de evaluación es el camino que se debe seguir para obtener resultados más completos en las materias de Humanidades y Ciencias Sociales