Nicolas Robinson-Garcia. Results from the 2020 Responsible Metrics State of the Art Survey, april 2021
Resultados de la encuesta sobre el estado de las métricas responsables de 2020. Siendo 2020 un año difícil para todos, observamos un descenso en la participación con respecto a los resultados de 2019, pasando de 218 encuestados a un total de 139. Aun así, la diversidad de países de los que proceden los encuestados, ya observada el año pasado, sigue siendo evidente (Figura 1). En este sentido, es destacable la diligencia e importancia que muchos profesionales dan a la encuesta y el tiempo que dedican a ello. De hecho, nos alegramos de ver comentarios en las redes sociales y de recibir correos electrónicos que reflejan los debates internos que se producen entre los colegas mientras preparan sus respuestas.
La encuesta de este año incluye algunos cambios notables con respecto a otras ediciones. Junto con las preguntas periódicas relacionadas con la integración de prácticas de métrica de investigación responsable en su institución, ampliamos el número de preguntas en dos direcciones. En primer lugar, queríamos conocer la organización y el departamento del encuestado para contextualizar mejor sus respuestas. En segundo lugar, formulamos preguntas específicas sobre las herramientas que utilizaban al producir métricas de investigación para sus instituciones.
El 76,3% de los encuestados trabajan en universidades, seguidos por el 14,4% que trabajan en institutos públicos de investigación. El resto se encuentra disperso en otras organizaciones, como empresas privadas (N=4), editoriales (N=3) u hospitales (N=1), entre otras. De los que trabajan en el ámbito académico, casi la mitad (45,3%) lo hace en la Biblioteca Universitaria, mientras que el 34,9% lo hace en la Oficina de Investigación. El número de personas que trabajan en la evaluación de la investigación varía mucho de unas instituciones a otras, con una mediana de 4 personas en las bibliotecas a 10 en las Oficinas de Planificación o 5 en las Oficinas de Investigación y con grandes diferencias dentro de los tipos de departamentos.
En cuanto a las fuentes y herramientas que utilizan en su trabajo diario, incluimos las suites bibliométricas y las bases de datos más conocidas, así como una opción de «otros» en la que los encuestados podían añadir otras herramientas que utilizaban para producir métricas de investigación. Web of Science y Scopus son las fuentes de datos más comunes, seguidas de los repositorios institucionales, Google Scholar y los sistemas institucionales CRIS. Sin embargo, es raro que se utilice una sola fuente de datos, y los encuestados indican que utilizan una media de más de tres fuentes de datos diferentes.
La variedad de herramientas y niveles de sofisticación muestra también una gran diversidad. Las respuestas van desde la indicación de la falta de uso de herramientas bibliométricas (N=11), pasando por el uso de herramientas comerciales (Scival, InCites), hasta la combinación de herramientas ad hoc con lenguajes de programación, herramientas de visualización y herramientas bibliométricas como Bibibliometrix o BibExcel.
Una vez más, las respuestas reflejan una gran versatilidad, ya que las herramientas rara vez se utilizan de forma aislada, sino que siempre se combinan para proporcionar análisis bibliométricos más precisos. Esto refleja el nivel de profesionalidad presente en el campo.
Firmantes del DORA
En comparación con los resultados del año pasado, el porcentaje de encuestados que han firmado la Declaración de San Francisco DORA es mayor que el de los que no lo han hecho. Esto puede ser el resultado de una mayor atención al DORA por parte del Plan S, y de un requisito del financiador de la COAlición S, el Wellcome Trust, de que los beneficiarios demuestren un compromiso público con los principios del DORA. Entre otros comentarios, encontramos un encuestado que afirmó que su institución había considerado esta decisión como algo que los individuos, departamentos y facultades eran libres de hacer, pero que no harían en conjunto. También encontramos que el DORA todavía no ha llegado a todo el mundo, y 11 encuestados indicaron que nunca habían oído hablar de él. 10 encuestados indicaron que su institución había decidido no firmarlo, mientras que 4 afirmaron respaldarlo pero habían decidido no firmarlo. En este sentido, está por ver si acciones públicas como la emprendida recientemente contra la Universidad de Liverpool por los autores del Manifiesto de Leiden y los principios de Hong Kong, que es firmante del DORA pero no reflejó prácticas de métrica de investigación responsables, podrían tener una consecuencia en estas decisiones.
Desarrollo de principios institucionales
Casi el 70% de los encuestados ha considerado al menos el desarrollo de un conjunto de principios sobre el uso responsable de las métricas de investigación, un aumento en comparación con el 52% informado en la encuesta de 2019. De ellos, solo un encuestado indicó que su institución había decidido no hacerlo. Los encuestados dieron algunas nociones sobre cómo se están diseñando estos principios. En algunos casos, utilizarían o adaptarían los principios establecidos en el Manifiesto de Leiden a su contexto institucional; en otros casos, participarían activamente en el desarrollo de los principios nacionales. En un caso, un encuestado indicó que estaba trabajando con el INORMS para aplicar SCOPE a su marco de publicación responsable.
Las instituciones en las que los indicadores basados en la publicación pueden no aplicarse, no están exentas del uso de prácticas de métrica responsable. Una institución de Arte y Diseño informó de que «no utiliza la bibliometría, pero está considerando otras métricas que se relacionan más con el rendimiento de la investigación departamental que con el rendimiento individual». Otros indicaron que, a pesar de no tener un conjunto oficial de principios, «consideran activamente la ética de lo que hacemos».
Conclusiones
Siguiendo la tendencia del año pasado, observamos cómo parece que hemos superado la fase de reconocimiento y concienciación de la necesidad de un uso responsable de las métricas. Las respuestas son cada vez más críticas con la forma en que se implementa dicho uso e incluso las opiniones negativas están motivadas y bien argumentadas, y no se limitan a reconocer la ignorancia. La adopción del DORA sigue aumentando, pero los profesionales indican una respuesta ambivalente de las comunidades académicas a estas políticas. Muchas de las malas prácticas que rodean el uso de las métricas parecen estar bastante arraigadas en la cultura académica.
En cuanto a la introducción de nuevas preguntas, observamos que el desarrollo de las métricas requiere una serie de herramientas cada vez más complejas, tanto de propósito general como las diseñadas específicamente para producir métricas de investigación. Es interesante observar que se ha generalizado el uso de fuentes de datos, incluidas muchas de las nuevas bases de datos que han surgido en los últimos años (por ejemplo, Lens, Dimensions), lo que demuestra que los días en que la comunidad profesional estaba vinculadas únicamente a la Web of Science han quedado atrás.
En opinión del autor, el mensaje más relevante es el hecho de que estamos pasando a un debate más complejo sobre cómo se aplican en la práctica las métricas responsables (o cualquier otro tipo de enfoque de seguimiento o evaluación) y qué entendemos realmente por un uso responsable. En este sentido, temas como la personalización y la contextualización de los informes, la difusión y la visibilidad, así como la alfabetización en materia de métricas, parecen adquirir una gran importancia, haciendo que la conversación vaya más allá de la producción real de métricas y se centre en cómo se comunican, a quién y con qué propósito.
Universo Abierto 