Archivo de la etiqueta: Revisión científica

Los revisores valoran mejor a aquellos investigadores varones que pertenecen a una universidad de prestigio

Gender, Institutions and Bias. Jack Grove for Times Higher Education June 18, 2021

Ver completo

Los editores de revistas evalúan mejor a los académicos varones si se revela que trabajan en una universidad de primer nivel, pero el mismo sesgo no se materializa para las académicas, según el estudio

Para explorar el efecto del sesgo institucional en las decisiones de revisión por pares, los investigadores pidieron a los editores de las principales revistas de economía del mundo que evaluaran un puñado de resúmenes para adivinar si el artículo se publicó o no, las citas que recibió y su evaluación general de su calidad.

Si bien los editores vieron los mismos resúmenes, el estudio varió si podían ver el nombre y la afiliación del autor. A pesar de que el 79 por ciento de los 165 encuestados eran hombres, el análisis encontró que no había un sesgo de género evidente en las evaluaciones, y que las mujeres no enfrentaban ningún sesgo cuando el nombre del autor era visible para el editor en comparación con cuando no lo era.

Pero el estudio, que se ha publicado en línea como documento de trabajo, encontró que los editores que evaluaron el trabajo de un autor masculino de una institución altamente calificada lo calificaron de manera más positiva si la afiliación se revelaba a los editores. Por otro lado, las mujeres de las mejores instituciones y las de menor rango no son evaluadas de manera diferente.

Los éxitos de las mujeres quizás se atribuyen a la suerte o las políticas de acción afirmativa, mientras que los éxitos de los hombres se atribuyen a sus habilidades y destrezas.

El estudio subrayó la necesidad de una revisión por pares ciega en economía, un campo tradicionalmente dominado por hombres, en la medida en que solo dos de los 84 premios Nobel de la disciplina han sido mujeres.

El análisis se suma a un creciente cuerpo de literatura que sugiere que el tema del sesgo de género en la revisión por pares es menos claro de lo que algunos han afirmado.

No obstante, pidió a las revistas que diversificaran sus equipos editoriales y grupos de revisores.

.

¿Se puede utilizar la IA de forma ética para ayudar a la revisión por pares?

Can AI be used ethically to assist peer review? LSE, 2021

Texto completo

A medida que ha aumentado la tasa y el volumen de publicaciones académicas, también lo ha hecho la presión sobre los editores de revistas para encontrar rápidamente revisores para evaluar la calidad del trabajo académico. En este contexto, el potencial de la inteligencia artificial (IA) para impulsar la productividad y reducir la carga de trabajo ha recibido una atención significativa. Basándose en la evidencia de un experimento que utiliza IA para aprender y evaluar los resultados de la revisión por pares, Alessandro Checco, Lorenzo Bracciale, Pierpaolo Loreti, Stephen Pinfield y Giuseppe Bianchi,  discuten las perspectivas de la IA para ayudar a la revisión por pares y los posibles dilemas éticos que su aplicación podría producir. .

El proceso de comunicación académica está bajo presión, particularmente debido a las crecientes demandas de los revisores pares. Los envíos de manuscritos a revistas de revisión por pares están creciendo aproximadamente un 6% anual. Cada año, se dedican más de 15 millones de horas a revisar manuscritos previamente rechazados y luego reenviados a otras revistas. Muchos de estos podrían evitarse en la fase de selección previa a la revisión por pares.

En lugar de visiones más grandiosas que sustituyan por completo la toma de decisiones humana, nos interesa comprender hasta qué punto la IA podría ayudar a los revisores y a los autores a hacer frente a esta carga. De ahí surge la pregunta: ¿podemos utilizar la IA como una herramienta básica para modelar la toma de decisiones de los revisores humanos?

Para poner a prueba esta propuesta, entrenamos una red neuronal utilizando una colección de manuscritos enviados de ponencias de conferencias de ingeniería, junto con sus decisiones de revisión por pares asociadas.

La herramienta de IA analizó los manuscritos utilizando un conjunto de características: el contenido textual, junto con puntuaciones de legibilidad y medidas de formato. El análisis abarca las partes del proceso de garantía de calidad de los resultados en las que se solapan la selección previa a la revisión por pares y la propia revisión por pares, cubriendo aspectos como el formato y la calidad de la expresión.

Una vez completada la fase de aprendizaje, se evaluó la precisión de las reglas empíricas para predecir el resultado de la revisión por pares de un manuscrito no observado previamente. Por último, se plantearon las siguientes cuestiones “¿Por qué la herramienta de IA ha marcado los artículos como aceptados o rechazados?”, ya que responder a esta pregunta puede darnos una idea de la toma de decisiones humana que la herramienta estaba modelando.

Los revisores pueden verse indebidamente influenciados por cuestiones de formato o gramaticales (o por el uso de métodos que han sido asociados con trabajos rechazados en el pasado) y se ven inconscientemente influenciados por ello en sus juicios sobre cuestiones más sustanciales de la presentación.

En ese caso, una herramienta de IA que analicen los trabajos antes de la revisión por pares podría utilizarse para aconsejar a los autores que reelaboren su trabajo antes de enviarlo a la revisión por pares. Esto podría ser especialmente beneficioso para los autores cuya lengua materna no es el inglés, por ejemplo, y cuyo trabajo, por tanto, podría verse afectado negativamente por el sesgo de la primera impresión.

Las herramientas tienen el potencial de beneficiar directamente a los editores de revistas y actas de congresos en la toma de decisiones. Tienen el potencial de ahorrar tiempo a los revisores, cuando se utilizan como sistemas de apoyo a la decisión. También podrían ser útiles para los autores, como hemos sugerido. En particular, podrían:

  • Reducir el número de rechazos
  • Mejorar la toma de decisiones humanas con datos
  • Sesgos y cuestiones éticas

Todas estas cuestiones éticas deben tenerse muy en cuenta a la hora de diseñar e implantar las herramientas de IA en la práctica y de determinar el papel que desempeñan en la toma de decisiones. La investigación continua en estas áreas es crucial para ayudar a garantizar que el papel de las herramientas de IA en procesos como la revisión por pares sea positivo.

Cientos de científicos de renombre aparecen en el comité científico de revistas depredadoras sin saber que forman parte del mismo

Big-name scientists surprised to find themselves on journal board | Science | AAAS. Nature. Por Dennis Normile28 de abril de 2021, 11:55 a.m.

Texto completo

La revista Ecosystem Health and Sustainability (EHS) cuenta con una envidiable lista de científicos de alto nivel en su consejo editorial, entre los que se encuentran el conocido biólogo Paul Ehrlich, profesor emérito de la Universidad de Stanford, y Jerry Franklin, analista de ecosistemas de la Universidad de Washington, en Seattle.

Sólo hay un problema: muchos de los miembros del consejo ya no participan en EHS, si es que alguna vez lo hicieron. “No recuerdo ningún contacto con la revista desde hace años, si es que alguna vez lo hubo”, dice Ehrlich. “No debería aparecer como asociado a la revista”, añade Franklin.

Este tipo de relleno puede hacer que una revista parezca más prestigiosa de lo que es, y ayudarla a obtener un factor de impacto, crucial para atraer propuestas.

La práctica parece ser mucho menos común entre las revistas más respetables como EHS, pero no es inédita. El redactor jefe de EHS, Lu Yonglong, ecologista de la Universidad de Xiamen, afirma que es “realmente una sorpresa para mí” que varios científicos se resistan a figurar como miembros del consejo editorial. Dice que la revista les ha informado regularmente de la situación de EHS, proporcionando una lista de nueve correos electrónicos enviados en los últimos 18 meses a todos los que figuran como asesores y editores. Pero Lu admite que el sitio web de EHS “puede no actualizarse con frecuencia” y dice que eliminará los nombres de los científicos que se lo pidan.

No es raro que las llamadas revistas depredadoras recluten científicos como miembros de la junta sin su conocimiento. Un estudio publicado el año pasado encontró que de los casi 4000 científicos en Australia que están en los consejos editoriales de revistas potencialmente depredadoras, aproximadamente una cuarta parte no lo sabe. Para exponer tales revistas, un científico inscribió a su perro, un American Staffordshire terrier llamado Ollie, como miembro de la junta editorial de seis revistas.

Recientemente, Johannes Knops, de la Universidad de Xi’an Jiaotong-Liverpool en Suzhou, China, fue eliminado como “miembro editorial” de la revista Sciences in Cold and Arid Regions ; dice que nunca estuvo de acuerdo con el trabajo. “Solía ​​decirles a los estudiantes que miraran a los editores revisores para conocer la calidad de una revista”, dice Knops. Pero ahora, “tienes que ponerte en contacto con algunos editores para ver si son reales”. (Los editores de la revista no respondieron a un correo electrónico de Science ).

Tener en el comité a científicos de alto nivel puede aumentar las probabilidades de que una revista sea incluida en el Science Citation Index Expanded de Clarivate, lo que supone un paso hacia la obtención de un factor de impacto. Hacerlo sin su consentimiento “raya en lo depredador”, dice Xiaotian Chen, profesor de biblioteconomía de la Universidad de Bradley en Peoria (Illinois).

Notify: Proyecto de Interoperabilidad de Repositorios y Servicios

Notify: The Repositories and Services Interoperability Project

Este proyecto se basa en el trabajo previo del COAR para avanzar en la visión esbozada por primera vez en la iniciativa COAR Next Generation Repositories Initiative – para posicionar los repositorios como la base de una infraestructura distribuida y en red a nivel mundial para la comunicación académica, sobre la que se desplegarán capas de servicios de valor añadido – y articulada en el Libro Blanco Pubfair, que describe un marco distribuido para los servicios de publicación abierta.

En 2020, el COAR publicó un modelo técnico genérico para permitir la vinculación de preprints y otros recursos de repositorios con servicios externos, con un enfoque inicial en los servicios de revisión por pares. El modelo técnico -que se desarrolló sobre la base de una serie de casos de uso proporcionados por servidores de preprints, repositorios, servicios de revisión por pares y revistas superpuestas- aplica un enfoque distribuido y orientado a los mensajes, basado en las notificaciones de datos enlazados (LDN) del W3C.

En la práctica, este modelo permitirá a un investigador depositar un artículo (u otros tipos de resultados de investigación) en cualquier repositorio compatible, elegir entre una lista de servicios de revisión por pares y revistas superpuestas, y solicitar una revisión. El repositorio enviará un mensaje automático al servicio de revisión por pares, y se automatizarán otras interacciones bilaterales entre el autor o autores y el servicio o servicios de revisión superpuestos.

El proyecto Notify ayudará a los socios a adoptar un modelo común e interoperable para apoyar las revisiones y aprobaciones de recursos distribuidos en repositorios, preprints y archivos.

“Revistas nepotistas”: un estudio de las revistas biomédicas.

Alexandre Scanff, Florian Naudet, Ioana Cristea, David Moher, Dorothy Bishop, Clara Lo. ‘Nepotistic journals’: a survey of biomedical journals. cherbioRxiv 2021.02.03.

Texto completo

La preferencialidad se da por parte de aquellas revistas en favor de los miembros de su consejo editorial, al estar éstos en posición de influir en la decisión de “aceptación” o “rechazo” de sus manuscritos. Esto, obviamente, significaría comprometer o eludir por completo el proceso estándar de “revisión por pares”. En otras palabras, esto casi podría considerarse como algo cercano al “nepotismo”.

Análisis convergentes en diferentes disciplinas apoyan el uso del porcentaje de artículos del autor más prolífico (PPMP) como bandera roja para identificar revistas de las que se puede sospechar que tienen prácticas editoriales cuestionables. Examinamos si este índice, complementado por el índice de Gini, podría ser útil para identificar casos de potencial sesgo editorial, utilizando una amplia muestra de revistas biomédicas.

Métodos : Extrajimos los metadatos de todas las revistas biomédicas referenciadas en la National Library of Medicine, con cualquiera de los Broad Subject Terms atribuidos, y al menos 50 artículos con autoría (es decir, por al menos un autor) entre 2015 y 2019, identificando al autor más prolífico (es decir, la persona que firmó más artículos en cada revista en particular). Calculamos el PPMP y el índice de Gini 2015-2019 para la distribución de los artículos entre los autores. Cuando se informó de la información pertinente, también se calculó la mediana del retraso en la publicación (tiempo entre la presentación y la aceptación) de los artículos firmados por cualquiera de los autores más prolíficos y la de los artículos no firmados por autores prolíficos. En el caso de las revistas atípicas, definidas como un índice PPMP o Gini superior al percentil 95 de sus respectivas distribuciones, se seleccionó una muestra aleatoria de 100 revistas y se describió en relación con el estatus en el consejo editorial del autor más prolífico.

Resultados : Se analizaron 5 468 revistas que publicaron 4 986 335 artículos entre 2015 y 2019. El percentil 95 del PPMP fue del 10,6% (mediana del 2,9%). El índice de Gini del percentil 95 fue de 0,355 (mediana 0,183). La correlación entre ambos índices fue de 0,35 (IC95: 0,33 a 0,37). Se disponía de información sobre el retraso en la publicación de 2.743 revistas. Se observó que 277 revistas (10,2%) tenían una mediana de retraso en la publicación de los artículos del autor o autores más prolíficos inferior a 3 semanas, frente a 51 (1,9%) revistas con artículos no escritos por autores prolíficos. Entre la muestra aleatoria de revistas atípicas, 98 proporcionaron información sobre su consejo editorial. Entre estas 98, el autor más prolífico formaba parte del consejo editorial en 60 casos (61%), entre los cuales 25 (26% de las 98) eran redactores jefe.

Discusión : En la mayoría de las revistas las publicaciones se distribuyen entre un gran número de autores. Nuestros resultados revelan un subconjunto de revistas en las que unos pocos autores, a menudo miembros del consejo editorial, fueron responsables de un número desproporcionado de publicaciones. Los trabajos de estos autores tenían más probabilidades de ser aceptados para su publicación en las tres semanas siguientes a su presentación. Para aumentar la confianza en sus prácticas, las revistas deben ser transparentes sobre sus prácticas editoriales y de revisión por pares.

Revisión por pares: renovación de la publicación científica

Etkin, Adam, Thomas Gaston, and Jason Roberts. Peer Review: Reform and Renewal In Scientific Publishing. E-book, Ann Arbor, MI: Against the Grain (Media), LLC, 2017, https://doi.org/10.3998/mpub.9944026. Accessed 21 Jan 2021.

Texto completo

La revisión por pares es un aspecto esencial de la publicación científica. Sin embargo, ¿hasta que punto familiarizados estamos la mayoría de nosotros con el proceso de revisión por pares? ¿Cuánto tiempo se ha considerado la revisión por pares como una piedra angular de la publicación científica y qué se pretende lograr? Con tantos cambios en el ámbito de la comunicación académica en los últimos veinte años, ¿se ha cuestionado también el estatus de la revisión por pares? ¿Es obsoleta la revisión por pares? En el libro se abordan estas preguntas fundamentales para la revisión por pares de interés para editores, investigadores, bibliotecarios, comerciales y apasionados de la ciencia que lean este trabajo.

Prácticas éticas en la investigación científica. Planeta Biblioteca 2021/01/20.

ESCUHAR EL PROGRAMA

Ir a descargar

La publicación exitosa de la investigación atrae la atención de los académicos y sus instituciones. Esto, a su vez, puede proporcionar más fondos para el instituto y también asegurar el progreso de un individuo en su campo de conocimiento. Las instituciones académicas y la universidad utilizan con frecuencia el número de publicaciones como crédito y medida de competencia de un individuo. De manera que la creciente dependencia de las métricas para evaluar publicaciones académicas está produciendo formas nuevas de fraude académico y mala conducta.

Suplantación de la revisión por pares de una revista para publicar artículos de baja calidad

Jamie Durrani. Imposters hijack journal’s peer review process to publish substandard papers. Chemistry World, 2021

Ver original

Los estafadores se infiltraron en el sistema de revisión por pares de una revista de química para aceptar y publicar artículos de baja calidad. La sofisticada operación pone de manifiesto hasta qué punto son capaces algunas personas de socavar el proceso de revisión científica.

Journal of Nanoparticle Research anunció que se aceptaron 19 artículos, algunos de ellos publicados en línea, después de haber sido víctima de un ataque por parte de “una red organizada de editores deshonestos”.

Los estafadores que se hicieron pasar por académicos respetados propusieron a la revista, publicada por Springer Nature, la idea de publicar un número especial sobre “el papel de la nanotecnología e Internet de las cosas en las Ciencias de la Salud. Los impostores generaron direcciones de correo electrónico falsas que imitaban las de las universidades reales para añadir credibilidad a sus afirmaciones.

“Se pusieron en contacto con nosotros, no sólo con una dirección de correo electrónico falsa, sino también con dominios falsos muy similares a los de una universidad de Alemania y otra del Reino Unido”, dije el químico de la Universidad de Humboldt, Nicola Pinna, que es el editor ejecutivo de la revista. “Así que en principio no nos dimos cuenta”.

Pinna señala que la propuesta para el número especial era “sólida y bastante detallada” e incluso incluía sugerencias para los investigadores que trabajaban en los campos apropiados que lo desearan pudieran presentar trabajos. “Todo se hizo meticulosamente”

Una vez que se encargó el número temático, se invitó a los estafadores a gestionar el proceso de procesamiento de los documentos y asignarles revisores. Esto les permitió aceptar 19 trabajos que de otra manera habrían sido rechazados por la revista por no cumplir ni con la calidad, ni con las normas de publicación.

“Al principio todo parecía marchar bien, y luego vimos aparecer un montón de artículos aceptados. Y cuando observamos inmediatamente la calidad de estos trabajos, resultó que era mala”, dije Pinna. “Al mismo tiempo, recibimos un contacto del grupo de integridad de la investigación de Springer, diciéndonos que había un problema con este número especial debido a la actividad sospechosa y a los correos electrónicos sospechosos de los pares seleccionados. Así que empezamos a investigar”.

Sin embargo, cuando el equipo editorial de la revista comenzó a investigar la estafa, encontró que las cuentas de correo electrónico falsas habían expirado. “No había forma de que pudiéramos intentar contactar con ellos a través de estos nombres de dominio, que ya no existían”, dijo Pinna. La revista dice que ha puesto en marcha nuevas medidas para evitar ser víctima de tales estafas en el futuro, y espera que el hecho de compartir su experiencia pueda ayudar a otros editores a detectar ataques similares.

“He oído hablar de otros casos en los que ha habido algunos intentos, más o menos sistemáticos, de interferir en el proceso de publicación de las revistas, por ejemplo, dando lugar a retractaciones a gran escala de documentos debido a una falsa revisión por pares”, comentó Serge Horbach, experto en integridad de la investigación y revisión por pares, con sede en la Universidad de Aarhus en Dinamarca. Sin embargo, señala que esos ataques coordinados todavía son poco frecuentes.

“Estos casos son una gran preocupación para los editores de revistas y los editores académicos, sin embargo. Claramente, el daño de reputación causado por los casos en los que los mecanismos de control de calidad de las revistas se han visto comprometidos es considerable”, dice Horbach. Señala que la pretensión de las revistas de garantizar la fiabilidad del registro académico es una de las principales formas en que pueden distinguirse de las formas emergentes de difusión de los resultados de la investigación, como los archivos de preprints y los repositorios institucionales. Por lo tanto, las revistas y las editoriales están adoptando varias medidas para prevenir esos acontecimientos, incluido el establecimiento de equipos dedicados a salvaguardar la calidad del proceso de evaluación y a evitar o manejar los casos de mala conducta en la investigación”, dijo. El grupo de integridad de la investigación en Springer Nature… es un buen ejemplo de esto.

Horbach elogia a los editores del Journal of Nanoparticle Research por su enfoque abierto y transparente para abordar el reciente ataque. “En un intento de mitigar el daño a la reputación, uno podría haber imaginado que tratarían de ocultar el caso. En cambio, decidieron publicarlo, con el objetivo de ayudar a otros a prevenir casos similares, es, para mí, un claro ejemplo de la mejor práctica editorial”.

Sobrecarga entre los revisores de artículos científicos: una perspectiva multidisciplinaria

Severin A, Chataway J. Overburdening of peer reviewers. A multi-disciplinary and multi-stakeholder perspective on causes, effects and potential policy implications. bioRxiv [Internet]. 2021 Jan 16 [cited 2021 Jan 18];2021.01.14.426539. Available from: https://doi.org/10.1101/2021.01.14.426539

Texto completo

La revisión por pares de los manuscritos es una labor intensiva y que requiere mucho tiempo. Los revisores individuales a menudo se sienten sobrecargados con la cantidad de revisión que se les pide que hagan. Con el fin de explorar cómo los grupos de interesados perciben la carga de la revisión y cuáles son, en su opinión, las causas de una posible sobrecarga de los revisores, realizamos grupos de discusión con académicos, editores y editores de carrera de nivel inicial, medio y superior.

Mediante un análisis temático, se trató de identificar las causas de la sobrecarga de los revisores. En primer lugar, se demostró que, en todas las disciplinas y funciones, los interesados consideraban que la carga de trabajo de los revisores había llegado a ser tan enorme que la comunidad académica ya no podía suministrar los recursos de revisión necesarios para atender su demanda de revisión por homólogos. En segundo lugar, el volumen de trabajo de examen se distribuye de manera desigual entre la comunidad académica, con lo que se abruman los pequeños grupos de académicos. En tercer lugar, los interesados consideraban que la sobrecarga de trabajo de los revisores se debía a: i) un aumento de la presentación de manuscritos; ii) una insuficiente selección editorial; iii) la falta de instrucciones para el examen; iv) dificultades para contratar revisores; v) ineficiencias en el manejo de los manuscritos y vi) la falta de institucionalización del examen por homólogos.

Se suponía que estos temas se reforzaban mutuamente y se relacionaban con una estructura de incentivos inadecuada en el mundo académico que favorecía las publicaciones en lugar del examen por homólogos. A fin de aliviar la carga del examen, se requiere un enfoque holístico que aborde tanto el aumento de la demanda como la oferta insuficiente de recursos para el examen.

Revisión por pares: PloS One y el cambio institucional en la investigación

Eve, M., Neylon, C., O’Donnell, D., Moore, S., Gadie, R., Odeniyi, V., & Parvin, S. (2021). Reading Peer Review (Elements in Publishing and Book Culture). Cambridge: Cambridge University Press. doi:10.1017/9781108783521

Texto completo

Este libro describe por primera vez la base de datos de informes de revisión por pares en PLOS ONE, la revista científica más grande del mundo, a la que los autores tuvieron un acceso único. Específicamente, este presenta los contextos e historias de fondo de la revisión por pares, las sensibilidades del manejo de datos de este tipo de investigación, las propiedades típicas de los informes de la revista a los que los autores tuvieron acceso, y una taxonomía de los informes. Esta obra única ofrece, por tanto, un conjunto de perspectivas convincentes y sin precedentes sobre la evolución del examen por homólogos en el siglo XXI, en un momento político crucial para la transformación de la ciencia. Sin embargo, también presenta un estudio sobre el radicalismo y las formas en que se puede decir que la visión de PLOS para la ciencia ha efectuado un cambio en la universidad contemporánea ultraconservadora.