Comparación de fuentes de datos bibliográficos: implicaciones para la solidez de las los rankings universitarios

ranking-1024x1024

 

Chun-Kai (Karl) Huang, Cameron Neylon, Chloe Brookes-Kenworthy, Richard Hosking, Lucy Montgomery, Katie Wilson, Alkim Ozaygen. “Comparison of Bibliographic Data Sources: Implications for the Robustness of University Rankings”. bioRxiv, 2019

Texto completo

 

Las universidades se evalúan cada vez más, tanto interna como externamente en función de sus resultados. A menudo, estos se convierten en rankings simples, y con frecuencia disputados, basadas en el análisis cuantitativo de esos resultados. Estos rankings pueden tener implicaciones sustanciales para el reclutamiento de estudiantes y personal, ingresos por investigación y el prestigio percibido de una universidad. Los análisis internos y externos generalmente se basan en una única fuente de datos para definir el conjunto de resultados asignados a una universidad específica. Aunque se documentan algunas diferencias entre tales bases de datos, pocos estudios las exploraron a escala institucional y examinaron las implicaciones de estas diferencias para las métricas y rankings que se derivan de ellas.

Se aborda esta brecha realizando comparaciones bibliográficas detalladas entre tres bases de datos clave: Web of Science (WoS), Scopus y, el recientemente relanzado Microsoft Academic (MSA). Se analizan las diferencias entre los resultados con DOI identificados de cada fuente para una muestra de 155 universidades y complementamos esto con un análisis manual detallado de las diferencias para quince universidades. Se dan diferencias significativas entre las fuentes a nivel universitario. Las fuentes difieren en el año de publicación de objetos específicos, la integridad de los metadatos, así como en su cobertura de disciplinas, puntos de venta y tipo de publicación.

Se construyeron  dos clasificaciones simples basadas en el recuento de citas y el estado de acceso abierto de los resultados para estas universidades y se aprecian cambios dramáticos en la posición según la elección de las fuentes de datos bibliográficos. Las universidades que experimentan los mayores cambios son con frecuencia las de países que no hablan inglés y las que están fuera de los primeros puestos en el ranking internacional de universidades. En general, MSA tiene una mayor cobertura que Scopus o WoS, pero tiene metadatos de afiliación menos completos. 

Se sugiere que las medidas de evaluación sólidas deben considerar el efecto de la elección de las fuentes de datos y recomendar un enfoque en el que los datos de múltiples fuentes se integren para proporcionar un conjunto de datos más robusto