Esta guía pretende ser un complemento sencillo y práctico para el uso de herramientas como Scopus y SciVal, que forman parte de la cartera de soluciones de Research Intelligence. Proporciona algunos datos sobre cómo se utilizan los datos subyacentes a las métricas, cómo se calculan y muestran las métricas, y sobre las variables, además del rendimiento, que pueden afectar a las métricas. También ofrece algunas sugerencias sobre las situaciones en las que las métricas son útiles, cuándo hay que tener cuidado y cómo se pueden abordar las deficiencias.
SciVal es una Una solución analítica basada en la web con una potencia y flexibilidad sin precedentes que proporciona un acceso completo al rendimiento de la investigación de más de 20.000 instituciones de investigación y sus investigadores asociados de 230 países de todo el mundo. SciVal permite visualizar el rendimiento de su investigación, comparar con sus homólogos, desarrollar asociaciones estratégicas, identificar y analizar nuevas tendencias de investigación emergentes y crear informes personalizados.
Resultados de la encuesta sobre el estado de las métricas responsables de 2020. Siendo 2020 un año difícil para todos, observamos un descenso en la participación con respecto a los resultados de 2019, pasando de 218 encuestados a un total de 139. Aun así, la diversidad de países de los que proceden los encuestados, ya observada el año pasado, sigue siendo evidente (Figura 1). En este sentido, es destacable la diligencia e importancia que muchos profesionales dan a la encuesta y el tiempo que dedican a ello. De hecho, nos alegramos de ver comentarios en las redes sociales y de recibir correos electrónicos que reflejan los debates internos que se producen entre los colegas mientras preparan sus respuestas.
La encuesta de este año incluye algunos cambios notables con respecto a otras ediciones. Junto con las preguntas periódicas relacionadas con la integración de prácticas de métrica de investigación responsable en su institución, ampliamos el número de preguntas en dos direcciones. En primer lugar, queríamos conocer la organización y el departamento del encuestado para contextualizar mejor sus respuestas. En segundo lugar, formulamos preguntas específicas sobre las herramientas que utilizaban al producir métricas de investigación para sus instituciones.
El 76,3% de los encuestados trabajan en universidades, seguidos por el 14,4% que trabajan en institutos públicos de investigación. El resto se encuentra disperso en otras organizaciones, como empresas privadas (N=4), editoriales (N=3) u hospitales (N=1), entre otras. De los que trabajan en el ámbito académico, casi la mitad (45,3%) lo hace en la Biblioteca Universitaria, mientras que el 34,9% lo hace en la Oficina de Investigación. El número de personas que trabajan en la evaluación de la investigación varía mucho de unas instituciones a otras, con una mediana de 4 personas en las bibliotecas a 10 en las Oficinas de Planificación o 5 en las Oficinas de Investigación y con grandes diferencias dentro de los tipos de departamentos.
En cuanto a las fuentes y herramientas que utilizan en su trabajo diario, incluimos las suites bibliométricas y las bases de datos más conocidas, así como una opción de «otros» en la que los encuestados podían añadir otras herramientas que utilizaban para producir métricas de investigación. Web of Science y Scopus son las fuentes de datos más comunes, seguidas de los repositorios institucionales, Google Scholar y los sistemas institucionales CRIS. Sin embargo, es raro que se utilice una sola fuente de datos, y los encuestados indican que utilizan una media de más de tres fuentes de datos diferentes.
La variedad de herramientas y niveles de sofisticación muestra también una gran diversidad. Las respuestas van desde la indicación de la falta de uso de herramientas bibliométricas (N=11), pasando por el uso de herramientas comerciales (Scival, InCites), hasta la combinación de herramientas ad hoc con lenguajes de programación, herramientas de visualización y herramientas bibliométricas como Bibibliometrix o BibExcel.
Figura 4. Las 12 herramientas más utilizadas por los encuestados
Una vez más, las respuestas reflejan una gran versatilidad, ya que las herramientas rara vez se utilizan de forma aislada, sino que siempre se combinan para proporcionar análisis bibliométricos más precisos. Esto refleja el nivel de profesionalidad presente en el campo.
Firmantes del DORA
En comparación con los resultados del año pasado, el porcentaje de encuestados que han firmado la Declaración de San Francisco DORA es mayor que el de los que no lo han hecho. Esto puede ser el resultado de una mayor atención al DORA por parte del Plan S, y de un requisito del financiador de la COAlición S, el Wellcome Trust, de que los beneficiarios demuestren un compromiso público con los principios del DORA. Entre otros comentarios, encontramos un encuestado que afirmó que su institución había considerado esta decisión como algo que los individuos, departamentos y facultades eran libres de hacer, pero que no harían en conjunto. También encontramos que el DORA todavía no ha llegado a todo el mundo, y 11 encuestados indicaron que nunca habían oído hablar de él. 10 encuestados indicaron que su institución había decidido no firmarlo, mientras que 4 afirmaron respaldarlo pero habían decidido no firmarlo. En este sentido, está por ver si acciones públicas como la emprendida recientemente contra la Universidad de Liverpool por los autores del Manifiesto de Leiden y los principios de Hong Kong, que es firmante del DORA pero no reflejó prácticas de métrica de investigación responsables, podrían tener una consecuencia en estas decisiones.
Desarrollo de principios institucionales
Casi el 70% de los encuestados ha considerado al menos el desarrollo de un conjunto de principios sobre el uso responsable de las métricas de investigación, un aumento en comparación con el 52% informado en la encuesta de 2019. De ellos, solo un encuestado indicó que su institución había decidido no hacerlo. Los encuestados dieron algunas nociones sobre cómo se están diseñando estos principios. En algunos casos, utilizarían o adaptarían los principios establecidos en el Manifiesto de Leiden a su contexto institucional; en otros casos, participarían activamente en el desarrollo de los principios nacionales. En un caso, un encuestado indicó que estaba trabajando con el INORMS para aplicar SCOPE a su marco de publicación responsable.
Las instituciones en las que los indicadores basados en la publicación pueden no aplicarse, no están exentas del uso de prácticas de métrica responsable. Una institución de Arte y Diseño informó de que «no utiliza la bibliometría, pero está considerando otras métricas que se relacionan más con el rendimiento de la investigación departamental que con el rendimiento individual». Otros indicaron que, a pesar de no tener un conjunto oficial de principios, «consideran activamente la ética de lo que hacemos».
Conclusiones
Siguiendo la tendencia del año pasado, observamos cómo parece que hemos superado la fase de reconocimiento y concienciación de la necesidad de un uso responsable de las métricas. Las respuestas son cada vez más críticas con la forma en que se implementa dicho uso e incluso las opiniones negativas están motivadas y bien argumentadas, y no se limitan a reconocer la ignorancia. La adopción del DORA sigue aumentando, pero los profesionales indican una respuesta ambivalente de las comunidades académicas a estas políticas. Muchas de las malas prácticas que rodean el uso de las métricas parecen estar bastante arraigadas en la cultura académica.
En cuanto a la introducción de nuevas preguntas, observamos que el desarrollo de las métricas requiere una serie de herramientas cada vez más complejas, tanto de propósito general como las diseñadas específicamente para producir métricas de investigación. Es interesante observar que se ha generalizado el uso de fuentes de datos, incluidas muchas de las nuevas bases de datos que han surgido en los últimos años (por ejemplo, Lens, Dimensions), lo que demuestra que los días en que la comunidad profesional estaba vinculadas únicamente a la Web of Science han quedado atrás.
En opinión del autor, el mensaje más relevante es el hecho de que estamos pasando a un debate más complejo sobre cómo se aplican en la práctica las métricas responsables (o cualquier otro tipo de enfoque de seguimiento o evaluación) y qué entendemos realmente por un uso responsable. En este sentido, temas como la personalización y la contextualización de los informes, la difusión y la visibilidad, así como la alfabetización en materia de métricas, parecen adquirir una gran importancia, haciendo que la conversación vaya más allá de la producción real de métricas y se centre en cómo se comunican, a quién y con qué propósito.
El número de artículos académicos que se publican anualmente no deja de crecer, al igual que el número de indicadores con los que se mide el impacto de las publicaciones. Se sabe poco sobre cómo la creciente variedad de indicadores disponibles afecta a los procesos de selección de la literatura que leen los investigadores.
Se realizaron experimentos de clasificación integrados en una encuesta en línea con 247 investigadores participantes, la mayoría de ellos de ciencias sociales. Los participantes completaron una serie de tareas en las que se les pedía que clasificaran publicaciones ficticias en función de su relevancia esperada, basándose en sus puntuaciones respecto a seis métricas prototípicas. Mediante la aplicación de la regresión logística, el análisis de conglomerados y la codificación manual de las respuestas a la encuesta, se obtuvieron datos detallados sobre el modo en que las métricas destacadas del impacto de la investigación influyeron en los participantes a la hora de decidir qué artículos científicos leer.
Las respuestas a la encuesta revelaron una combinación de características cualitativas y cuantitativas que los investigadores consultan a la hora de seleccionar la bibliografía, mientras que el análisis de regresión mostró que, entre las métricas cuantitativas, el recuento de citas tiende a ser el que más preocupa, seguido de los factores de impacto de las revistas.
Los resultados sugieren una opinión comparativamente favorable de muchos investigadores sobre la bibliometría y un escepticismo generalizado hacia la altmetría. Los resultados subrayan la importancia de dotar a los investigadores de conocimientos sólidos sobre las limitaciones de las métricas específicas, ya que parecen desempeñar un papel importante en la evaluación diaria de la relevancia por parte de los investigadores.
La cienciometría se ha convertido en un elemento esencial en la práctica y la evaluación de la ciencia y la investigación, incluyendo tanto la evaluación de los individuos como los ejercicios de evaluación nacional. Sin embargo, los investigadores y profesionales de este campo han carecido de teorías claras que guíen su trabajo. Ya en 1981, el entonces estudiante de doctorado Blaise Cronin publicó «The need for a theory of citing» (La necesidad de una teoría de la citación), una llamada de atención a la incipiente comunidad cienciométrica para que elaborara teorías fundamentales en las que pudiera basarse el trabajo del campo. Más de tres décadas después, ha llegado el momento de volver a preguntar al sector cómo ha respondido a esta llamada. Este libro recopila las teorías fundamentales que guían la investigación en informetría y comunicación académica. Se trata de una compilación muy necesaria realizada por los principales especialistas en la materia que reúne las teorías que guían nuestra comprensión de la autoría, las citas y el impacto.
La ciencia es una actividad intelectual que tiene por finalidad dar respuesta a preguntas y desde una perspectiva más práctica, la resolución de problemas. Como consecuencia, el grado de desarrollo científico se manifiesta en la profundidad de las preguntas o problemas con los que enfrente. La manera sistemática de dar respuesta satisfactoria a los problemas planteados es la investigación que, por tanto, resulta inextricablemente ligada a toda actividad científica, y cuyos resultados posibilitan el crecimiento del caudal de conocimiento científico.
Szomszor, M., Adams, J., Fry, R., Gebert, C., Pendlebury, D. A., Potter, R. W. K., & Rogers, G. (2021). Interpreting Bibliometric Data. Frontiers in Research Metrics and Analytics, 5, 30. https://doi.org/10.3389/frma.2020.628703
Muchos análisis académicos sobre buenas prácticas en el uso de datos bibliométricos abordan únicamente aspectos técnicos y no tienen en cuenta ni aprecian las necesidades, expectativas y prácticas reales de los usuarios. Los indicadores bibliométricos rara vez son la única prueba que se presenta ante cualquier grupo de usuarios. En el estado actual de los conocimientos, es más importante considerar cómo la evaluación cuantitativa puede hacerse sencilla, transparente y fácilmente comprensible que centrarse indebidamente en la precisión, la exactitud o las nociones académicas de pureza. Discutimos cómo la interpretación del «rendimiento» de una presentación que utiliza una bibliometría precisa pero resumida puede cambiar cuando se aplica la deconstrucción y visualización iterativa del mismo conjunto de datos. Desde el punto de vista de un gestor de investigación con recursos limitados, las decisiones de inversión pueden torcerse fácilmente a nivel gubernamental, de programa de financiación y de institución. Al explorar muestras de datos reales seleccionadas, también mostramos cómo la composición específica de cada conjunto de datos puede influir en los resultados interpretativos.
Matos Uribe, Fausto Francisco and Contreras Contreras, Fortunato and Olaya Guerrero, Julio Cesar . Estadística descriptiva y probabilidad para las ciencias de la información con el uso del SPSS., [Book] Lima, Perú: Asociación de Bibliotecólogos del Perú, 2020. ISBN: 978-612-48342-0-2
El presente libro es el producto de los apuntes de clases dictado en diversas instituciones de educación superior a lo largo de varios años, teniendo como pre-requisitos el curso de matemática básica. El objetivo de esta obra es presentar métodos y procedimientos para el análisis de datos cuando estos por su naturaleza presentan incertidumbre en la toma de decisión.
El libro consta de 10 capítulos, acompañados de ejercicios resueltos y propuestos con la aplicación del SPSS. Esperamos que el presente texto de consulta sirva de guía al estudiante o investigador, para comprender los métodos que usa esta disciplina para analizar datos.
Martín-Martín, A., Thelwall, M., Orduna-Malea, E. et al. Google Scholar, Microsoft Academic, Scopus, Dimensions, Web of Science y COCI de OpenCitations: una comparación multidisciplinaria de cobertura a través de citas. Cienciometría (2020). https://doi.org/10.1007/s11192-020-03690-4
.
Recientemente, han estado disponibles nuevas fuentes de datos de citas, como Microsoft Academic, Dimensions y OpenCitations Index of CrossRef open DOI-to-DOI citations (COCI). Aunque se han comparado con Web of Science Core Collection (WoS), Scopus o Google Scholar, no hay evidencia sistemática de sus diferencias entre las categorías de materias. En respuesta, este artículo investiga 3.073.351 citas encontradas por estas seis fuentes de datos en 2.515 documentos en inglés altamente citados publicados en 2006 de 252 categorías de temas, ampliando y actualizando el estudio anterior más grande.
Google Scholar encontró el 88% de todas las citas, muchas de las cuales no fueron encontradas por las otras fuentes, y casi todas las citas encontradas por las fuentes restantes (89-94%). Un patrón similar se mantuvo en la mayoría de las categorías temáticas. Microsoft Academic es el segundo más grande en general (60% de todas las citas), incluido el 82% de las citas de Scopus y el 86% de las citas de WoS.
En la mayoría de las categorías, Microsoft Academic encontró más citas que Scopus y WoS (182 y 223 categorías de materias, respectivamente), pero tuvo brechas de cobertura en algunas áreas, como Física y algunas categorías de Humanidades.
Después de Scopus, Dimensions ocupa el cuarto lugar más grande (54% de todas las citas), incluido el 84% de las citas de Scopus y el 88% de las citas de WoS. Encontró más citas que Scopus en 36 categorías, más que WoS en 185, y muestra algunas brechas de cobertura, especialmente en Humanidades.
Después de WoS, COCI es el más pequeño, con el 28% de todas las citas. Google Scholar sigue siendo la fuente más completa. En muchas categorías de materias, Microsoft Academic y Dimensions son buenas alternativas a Scopus y WoS en términos de cobertura.
Thelwall, M., & Kousha, K. (2017). ResearchGate versus Google Scholar: Which finds more early citations? Scientometrics, 112(2), 1125–1131. https://doi.org/10.1007/s11192-017-2400-4
ResearchGate ha lanzado su propio índice de citas extrayendo citas de los documentos cargados en el sitio y reportando los recuentos de citas en las páginas de perfil de los artículos. Dado que los autores pueden cargar preprints en ResearchGate, puede usarlas para proporcionar evidencia de impacto temprana para nuevos artículos.
Este artículo evalúa si el número de citas encontradas para artículos recientes es comparable a otros índices de citas utilizando 2675 artículos de bibliotecas y ciencias de la información publicados recientemente.
Los resultados muestran que en marzo de 2017, ResearchGate encontró menos citas que Google Scholar, pero más que Web of Science y Scopus. Esto fue válido para el conjunto de datos en general y para las seis revistas más importantes que contiene. ResearchGate se correlacionó más fuertemente con las citas de Google Scholar, lo que sugiere que ResearchGate no está aprovechando predominantemente una fuente de datos fundamentalmente diferente a la de Google Scholar. No obstante, el intercambio de preimpresiones en ResearchGate es lo suficientemente importante como para que los autores lo tomen en serio.
Universo Abierto 