Figura 8 Fuentes de datos utilizadas para acceder a los datos de las métricas

Price, Robyn. «Results from the 2021 Responsible Metrics State of the Art Survey». The Bibliomagician (blog), 4 de agosto de 2022.

Ver completo

Ya están aquí los resultados de la séptima encuesta anual sobre el estado de la métrica responsable. Con un poco de retraso sobre nuestro calendario habitual de publicación, a continuación encontrará el resumen de los resultados de la encuesta de 2021 y algunas reflexiones sobre las tendencias desde que la comunidad de Bibliometría LIS inició la encuesta en 2015. Los resultados de las encuestas de años anteriores también están disponibles.

Se recibieron un total de 91 respuestas a la encuesta de 2021. Esta cifra es inferior a la recibida en 2020 (139 respuestas), que a su vez supuso un descenso sustancial con respecto a 2019 (218 respuestas). Aunque desconocemos la razón de este descenso (¿carga de trabajo por la pandemia? ¿Fatiga por las encuestas?), estamos muy agradecidos a los que respondieron y espero que muchos encuentren útil esta información.

La variedad de países representados en las respuestas muestra que el 73% de los encuestados trabajan fuera del Reino Unido.

DORA

La proporción de encuestados que informan que ya han firmado o es probable que firmen DORA sigue aumentando año tras año, del 30% en 2019; 32% en 2020 al 40% en 2021. Los factores contextuales en torno a esto podrían incluir el Wellcome Trust nombrando explícitamente a DORA como una ruta para que las organizaciones de financiación cumplan con su política de acceso abierto en 2018 y el nombramiento explícito de DORA por cOAlition S. Del 17% de los encuestados que informaron estar considerando activamente pero aún no decididos, los comentarios sobre la consideración de «perspectiva(s) disciplinaria(s)» y la firma potencial de DORA a un «‘nivel de unidad’ en lugar de un nivel universitario» indican perspectivas potencialmente diferentes sobre DORA a través de las líneas de la facultad o escuela.

Desarrollo de principios institucionales

Las organizaciones también pueden desarrollar su propio conjunto de principios de métrica responsable, y el porcentaje de encuestados que afirman haber creado o estar desarrollando sus propios principios ha aumentado de forma constante, llegando al 44% de los encuestados en 2021. Las organizaciones también pueden ser signatarias de DORA y desarrollar sus propios principios.

Fuentes de datos y herramientas

Las fuentes de datos que las instituciones encuestadas podían seleccionar para indicar que las utilizan para obtener informes de métricas muestran una popularidad sostenida de Scopus (23%) y Web of Science (20%) con respecto a los informes del año anterior, así como las plataformas institucionales (el CRIS y el Repositorio Institucional) y Google Scholar como fuentes. (Fig.8)

También se preguntó a los encuestados qué herramientas utilizan, lo que muestra la gran variedad de tipos de herramientas y estilos de análisis utilizados en el sector. La popularidad de herramientas como SciVal, Altmetric e InCites muestra la preferencia por herramientas que no necesitan conocimientos de codificación para recuperar datos y pueden crear indicadores con una construcción y un mantenimiento mínimos. SQL, VOSViewer y Bibliometrix/Biblioshiny demuestran la experiencia y los recursos del sector bibliométrico en materia de ciencia de datos y conocimientos de programación para crear soluciones personalizadas. La presencia de Google Big Query y PowerBI es especialmente interesante, ya que ninguno de los dos aparecía en los resultados de la encuesta de 2020, pero su uso cada vez mayor sugiere que, junto con Tableau, las instituciones están cada vez más interesadas en crear sus propios cuadros de mando de inteligencia empresarial y análisis, quizás para el acceso autoservicio a los datos de los usuarios que pueden conectarse a los almacenes de datos institucionales y fusionar múltiple (Fig. 9)

Figura 9 Herramientas utilizadas para construir métricas

Conclusiones

Dos tendencias continuas realmente positivas de 2015 a 2021 son el aumento del porcentaje de encuestados que afirman que su institución ha creado su propia política de métricas responsables (40% de los encuestados en 2021) y que ya se han comprometido o se comprometerán con DORA (40% de los encuestados en 2021). Esto, en mi interpretación, sugiere que hay un impulso en las instituciones para construir de manera significativa sus propios enfoques de evaluación basados en valores, así como para comprometerse con el programa global DORA y buscar su fortaleza. La intersección con otros marcos, como el Manifiesto de Leiden, y la adaptación de las políticas de otras instituciones también sugieren una cultura de flexibilidad e intercambio.

Algunas de las repercusiones citadas por los encuestados de sus políticas de métrica responsable en sus procesos institucionales son bastante notables, y algunas personas describen cambios positivos y tangibles que afectan a los procedimientos de RRHH y de evaluación. Algunos, por supuesto, también admitieron la lentitud de estos cambios y cierto apego persistente al Factor de Impacto en la evaluación. Entre las áreas en las que quizás todavía no se han tomado medidas para informar, o no se está dispuesto a hacerlo, se encuentran los mecanismos de cumplimiento. Esto puede estar relacionado con el 25% de los encuestados que afirmaron que la respuesta académica a las políticas de métricas responsables era «neutral», lo que sugiere que, en realidad, esto es difícil de captar y categorizar.

El número cada vez menor de encuestados que se someten a esta encuesta de 2019 a 2021 es una causa para que los autores contemplen si esto sigue siendo un recurso útil creado a partir del tiempo voluntario del Comité LIS-Bibliometrics. Si usted es lector y opina lo contrario, ¡háganoslo saber! Los comentarios, como siempre, están abiertos, al igual que el listserv y nuestra cuenta de Twitter.

Contribuciones: Encuesta de 2021 elaborada y distribuida por Nicolas Robinson Garcia, basada en encuestas históricas elaboradas por Lizzie Gadd; con análisis y redacción de 2021 por Robyn Price.