Archivo de la etiqueta: Bibliometría

La fórmula de CiteScore de Elsevier cambió sustancialmente en 2021. Ventana de citación de 4 años

Elsevier revisó totalmente la fórmula de Citescore. Un cambio relativamente menor que hicieron fue endurecer los tipos de documentos que podían usarse en el numerador y el denominador, antes era cualquier tipo pero ahora se restringe sólo a los siguientes tipos de publicación: artículos, revisiones, documentos de conferencias, documentos de datos y capítulos de libros.

Pero el mayor cambio ha sido este. No sólo se ha abierto la ventana de citas a 4 (en lugar de 3 años), sino que ahora también cuentan las citas de 4 años (no de 1). En otras palabras, para obtener el citescore de 2021, se cuentan todas las citas de los documentos publicados en 2018-2021.

Además, Clarivate, recientemente en 2021, aumentó la confusión al publicar otra métrica de revistas: Journal Citation Indicator (JCI), también utiliza efectivamente 4 años de citas.

¿Por qué los artículos de las colaboraciones internacionales reciben más citas?

Diagrama de caja de las citas de colaboración locales, nacionales e internacionales.

Velez-Estevez, A., P. García-Sánchez, J. A. Moral-Munoz, y M. J. Cobo. «Why Do Papers from International Collaborations Get More Citations? A Bibliometric Analysis of Library and Information Science Papers». Scientometrics, 22 de agosto de 2022. https://doi.org/10.1007/s11192-022-04486-4.

La actividad científica se ha vuelto cada vez más compleja en los últimos años. Por ello, la necesidad de colaboración internacional en materia de investigación se ha convertido en una pauta común en la ciencia. En este panorama actual, los países se enfrentan al problema de mantener su competitividad y, al mismo tiempo, cooperar con otros países para conseguir resultados de investigación relevantes. En este contexto internacional, las publicaciones procedentes de colaboraciones internacionales tienden a lograr un mayor impacto científico que las nacionales. Para diseñar políticas que mejoren la competitividad de los países y organizaciones, se hace necesario, por tanto, comprender los factores y mecanismos que influyen en los beneficios y el impacto de la investigación internacional. En este sentido, el objetivo de este estudio es confirmar si las diferencias de impacto entre las colaboraciones internacionales y domésticas se ven afectadas por sus temas y estructura.

Para realizar este estudio, examinamos la categoría Library and Information Science de la base de datos Web of Science entre 2015 y 2019. Se utilizó un enfoque de análisis de mapas científicos para extraer los temas y su estructura según el tipo de colaboración y en toda la categoría (2015-2019). También se buscaron diferencias en estos aspectos temáticos en los países principales y en las comunidades de países colaboradores. Los resultados mostraron que el factor temático influye en el impacto de la investigación internacional, ya que los temas de este tipo de colaboración se encuentran en la vanguardia de la categoría de Biblioteconomía y Documentación (por ejemplo, tecnologías como la inteligencia artificial y los medios sociales se encuentran en la categoría), mientras que las colaboraciones nacionales se han centrado en temas más consolidados (por ejemplo, bibliotecas académicas y bibliometría). Por tanto, las organizaciones, los países y las comunidades de países deben tener en cuenta este factor temático a la hora de diseñar estrategias para mejorar su competitividad y colaborar.

Libro Blanco: Medición de los resultados de la investigación mediante la bibliometría

Bibliometrics, University of Waterloo Working Group on, et al. White Paper: Measuring Research Outputs Through Bibliometrics. University of Waterloo Working Grou, 2016.

Texto completo

Este Libro Blanco ofrece una revisión de alto nivel de las cuestiones relevantes para la comprensión de la bibliometría, así como recomendaciones prácticas sobre cómo utilizar adecuadamente estas medidas. No se trata de un documento político, sino que define y resume las pruebas que abordan el uso adecuado del análisis bibliométrico en la Universidad de Waterloo. Las cuestiones identificadas y las recomendaciones se aplicarán en general a otras instituciones académicas. La comprensión de los tipos de medidas bibliométricas y sus limitaciones permite identificar tanto los usos adecuados como las limitaciones cruciales del análisis bibliométrico. Las recomendaciones que se ofrecen al final de este documento ofrecen una serie de oportunidades para que los investigadores y administradores de Waterloo y de otros lugares puedan integrar el análisis bibliométrico en su práctica.

Análisis relacional de citas para la identificación de dominios científicos

Grácio, Maria Cláudia Cabrini. Análises relacionais de citação para a identificação de domínios científicos : uma aplicação no campo dos Estudos Métricos da Informação no Brasil. SciELO Books – Editora UNESP, 2020

Texto completo

En todos los campos del conocimiento, la producción científica se basa en el hecho de que un investigador construye su trabajo a partir de publicaciones anteriores. En este contexto, el registro de la lista de referencias de un trabajo científico expresa el diálogo establecido por el investigador con sus pares, así como el proceso de construcción de su conocimiento, ya que muestra qué referencias teóricas y metodológicas constituyeron la base durante el desarrollo de la investigación. En esta coyuntura, las referencias registradas en los artículos científicos definen la ciencia legitimada y reconocida como relevante para el desarrollo conceptual, teórico y metodológico de un tema, un campo, una disciplina o un ámbito de conocimiento. En este escenario, aunque un artículo científico no se mencione en la lista de referencias de una publicación posterior, su inserción y visibilidad en el entorno científico está garantizada; sin embargo, el reconocimiento de su contribución al avance de la ciencia queda atestiguado, especialmente, por las citas de otros científicos.

Informe sobre el impacto de la investigación en las bibliotecas: comprender y comunicar el impacto de la investigación

Aghassibake, Negeen, Lynly Beard, Jackie Belanger, Diana Louden, and Robin Chin Roemer, with additional support from Steve Hiller and Maggie Faber. Library Impact Research Report: Understanding and Communicating Research Impact: The Needs of STEM and Health Sciences Faculty and Postdoctoral Researchers. Washington, DC: Association of Research Libraries, 2021

Texto completo

Como parte de la iniciativa Research Library Impact Framework de la ARL, las Bibliotecas de la Universidad de Washington (UW) exploraron las necesidades del profesorado y de los investigadores postdoctorales de la UW para comprender y comunicar el impacto de su trabajo, centrándose en los investigadores de los campos de la ciencia, la tecnología, la ingeniería y las matemáticas (STEM) y las ciencias de la salud. El proyecto se diseñó para comprender los retos a los que se enfrentan los investigadores en este ámbito, identificar cómo los participantes en estos campos definen y miden el impacto, y explorar sus prioridades para el apoyo a la investigación de impacto. El equipo del proyecto realizó una encuesta y entrevistas de seguimiento para investigar estas cuestiones. Este informe de investigación presenta la metodología del equipo del proyecto, los resultados y las recomendaciones para futuras investigaciones.

Las mediciones del impacto de la investigación pueden incluir la bibliometría tradicional, como el recuento de citas y el factor de impacto de las revistas, así como la «altmetría», como la frecuencia con la que se cita la investigación en los medios sociales, las noticias, los documentos políticos u otra literatura gris. A los profesores e investigadores postdoctorales se les pide que demuestren el impacto de su trabajo para conseguir puestos académicos, para las solicitudes de financiación y para el proceso de promoción y permanencia. Apoyar a los investigadores en la medición del impacto ha sido una tendencia clave en las bibliotecas universitarias en los últimsos años. Si bien existe una gran cantidad de literatura sobre el tema de la evaluación del impacto de la investigación, el equipo del proyecto estaba interesado en explorar cómo las Bibliotecas de la UW podrían tener el mayor impacto en esta área sobre la base de las necesidades actuales y las lagunas en el apoyo, y para identificar desde la perspectiva del investigador lo que es significativo y valorado al contar la historia de la diferencia que su investigación hace a una variedad de audiencias.

Este proyecto no era principalmente un estudio de impacto diseñado para medir la diferencia que los servicios de las bibliotecas de la UW suponían para los investigadores. En cambio, su objetivo era proporcionar a las bibliotecas de investigación homólogas un contexto y una comprensión adicionales para que las bibliotecas puedan seguir desarrollando servicios de impacto en la investigación para aumentar el valor de sus contribuciones a la productividad de la investigación.

Metrics Toolkit: conjunto de herramientas de métricas

Metrics Toolkit

https://www.metrics-toolkit.org/

El kit de herramientas de métricas proporciona información basada en la evidencia sobre las métricas de investigación en todas las disciplinas, incluyendo cómo se calcula cada métrica, dónde se puede encontrar y cómo debe (y no debe) aplicarse cada una. También encontrarás ejemplos de cómo utilizar las métricas en las solicitudes de subvención, el CV y las convocatorias de promoción.

Metrics

Los indicadores bibliométricos : fundamentos y aplicación al análisis de la ciencia

Maltrás, Bruno. Los indicadores bibliométricos : fundamentos y aplicación al análisis de la ciencia / B. Maltrás Barba. Gijón: Trea, 2003.

Texto completo

El tamaño, la complejidad y el impacto alcanzados por la actividad científica en el siglo XX han consolidado la necesidad de estudiar la ciencia cuantitativamente; tal enfoque aspira a proporcionar descripciones objetivas y operativas acerca de un fenómeno cultural sin precedentes en la historia humana. Su reducción a un conjunto de números, por tanto, tropieza con evidentes problemas de validación: establecer los requisitos para definir medidas, garantizar su significatividad, especificar su interpretación, delimitar el ámbito de su aplicación… El presente libro trata esas cuestiones en relación con una clase particular de medidas cuantitativas sobre la ciencia, los indicadores bibliométricos, que proceden del análisis estadístico de la literatura científica. Se muestra cómo esos indicadores pueden vincularse a aspectos esenciales del proceso científico y hasta qué punto es posible construir medidas que describan adecuadamente el desarrollo, el estado y la estructura de las áreas científicas.

OCLC Library Holdings: Evaluación de la disponibilidad de libros académicos en las bibliotecas en formato impreso y electrónico en comparación con las citas y Altmetrics

Maleki, A. OCLC library holdings: assessing availability of academic books in libraries in print and electronic compared to citations and altmetricsScientometrics (2021). https://doi.org/10.1007/s11192-021-04220-6

Texto completo

Aunque los datos de las existencias de la biblioteca se construyen sobre el formato de trabajo de los libros, se sabe menos sobre la contribución de los libros impresos y electrónicos en las bibliotecas a los recuentos de las existencias de la biblioteca. En respuesta, esta investigación es un intento de explorar la distribución de los datos de las existencias de la biblioteca a través de los formatos de trabajo e investigar la disponibilidad de las existencias impresas de la biblioteca y las existencias electrónicas de la biblioteca para los libros como constituyentes de la métrica de las existencias de la biblioteca a través de los campos y en el tiempo y en comparación con otras métricas de los libros.

Se examinaron los ISBN, los títulos y los nombres de los autores de 119.794 títulos de libros indexados en Scopus en 26 campos para catorce variables que incluyen las existencias de la biblioteca de OCLC, las citas de Scopus, las citas de Google Books, los compromisos de Goodreads y los indicadores de Altmetric. Hay tres conclusiones principales: (a) las existencias de las bibliotecas son una métrica más completa para los libros (más del 97%) que cualquier otra métrica y podría ser útil después de un corto período de tiempo tras la publicación de la primera edición, seguida por Google Books, Goodreads y Scopus, respectivamente; (b) en promedio, las existencias electrónicas son siete veces (mediana tres veces) más numerosas que las existencias impresas y su proporción está creciendo considerablemente para los libros más recientes; (c) hay una tendencia consistente a la baja en el promedio de las existencias de libros impresos, lo que sugiere que los datos de las existencias impresas en las bibliotecas son de naturaleza acumulativa y estadísticamente comparables a las citas formales; sin embargo, la adquisición de libros electrónicos en las bibliotecas es inconsistente en la parcela de distribución, así como en el tiempo. En resumen, las diferencias entre los datos de existencias de libros impresos y electrónicos son amplias, lo que las convierte en métricas distintas, y sugiere que es necesario seguir investigando para comprender sus implicaciones en la evaluación del impacto de los libros.

Investigación y metría de la información sobre COVID-19 : diversos enfoques de la pandemia.

Gorbea Portal, Salvador. Investigación y metría de la información sobre COVID-19 : diversos enfoques de la pandemia. Universidad Nacional Autónoma de México. Instituto de Investigaciones Bibliotecológicas y de la Información, 2021.

Texto completo

El objetivo que se persigue con esta publicación es difundir resultados parciales de un conjunto de investigaciones que se vienen realizando en ésta y otras instituciones académicas acerca del sector de salud pública y empresarial en el ámbito nacional y extranjero desde una perspectiva transdisciplinaria, que aporte nuevo conocimiento e información para la comprensión y la toma de decisiones en materias relacionadas con esta pandemia. El esfuerzo hecho por diversas y plurales frentes en la búsqueda de respuestas y luz sobre el tema resulta primordial en esta etapa de la pandemia, aunque aún no se tiene clara una repuesta ante un panorama que se vuelve por momentos oscuro. Sin embargo, el camino recorrido y la información obtenida en conjunto ofrecen una mejor perspectiva, una oportunidad de evaluar lo que se ha hecho y, en consecuencia, permiten tomar las decisiones más acertadas en un futuro inmediato. Nuestra invitación es que todos los responsables de las iniciativas en la lucha contra el virus puedan leer y compartir este texto, que surge de la tendencia natural de medir, conocer, tener curiosidad y llegar al fondo del problema. No hemos perdido la capacidad de impresionarnos, de luchar, adaptarnos y superar los obstáculos, aunque esto lleve años o décadas.

La revisión por pares de los puestos académicos y las becas de investigación sigue estando condicionada por las métricas, especialmente cuando el revisor está muy bien clasificado en el ranking

Liv Langfeldt, Dag W. Aksnes, Ingvild Reymert. Peer review for academic jobs and grants continues to be shaped by metrics, especially if your reviewer is highly ranked. LSE, 16 nov. 2021

Texto completo

El objetivo de la revisión por pares de la investigación y de las juntas de contratación académica es proporcionar un juicio experto e independiente sobre la calidad de las propuestas de investigación y de los candidatos. Según los resultados de una encuesta reciente, Liv Langfeldt, Dag W. Aksnes e Ingvild Reymert, la métrica sigue desempeñando un papel importante en la toma de decisiones, sobre todo en el caso de los revisores que están muy bien clasificados.

Vivimos en una época en la que las métricas sobre las publicaciones científicas y las citas son abundantemente accesibles. Estas métricas ofrecen una visión general y una aportación a la política de investigación, y pueden utilizarse en la evaluación de la investigación por razones buenas -o al menos intrigantes-. En lugar de dedicar tiempo a la lectura de las publicaciones, el recuento de citas, el índice h, el factor de impacto de las revistas o indicadores similares se toman como un atajo para comprender la contribución de un trabajo o el rendimiento de un investigador. Además de ahorrar tiempo, las métricas pueden utilizarse porque se perciben como buenos indicadores de la calidad de la investigación y porque los revisores piensan que las comparaciones basadas en las métricas son más objetivas, justas y fiables que las evaluaciones que no se basan en ninguna métrica. En un estudio reciente se comprobó que las métricas se utilizan con frecuencia a la hora de evaluar las propuestas de subvención y los candidatos a puestos académicos. Además, los investigadores con un historial bibliométrico más sólido aplican con más frecuencia estas medidas en sus evaluaciones de investigación.

La mayoría utilizó métricas en sus revisiones

A pesar de su conveniencia, las métricas son controvertidas. La revisión por pares no está pensada para basarse en las métricas, sino en la experiencia de los pares y su comprensión de la investigación que se está revisando. Para entender mejor el papel de las métricas en las evaluaciones por pares, se utilizaron datos de encuestas para explorar las opiniones y prácticas de los investigadores en todos los campos y contextos académicos en tres países. Tanto para la revisión de las propuestas de subvención como para las evaluaciones de los candidatos a puestos académicos. Una gran mayoría de los revisores indicó que las métricas eran muy o algo importantes a la hora de identificar las mejores propuestas/candidatos. En ambos tipos de evaluaciones, se hizo hincapié en el «impacto de las citas de las publicaciones anteriores» y, sobre todo, en el «número de publicaciones/productividad».

Puntos de vista divergentes

Hubo algunas variaciones entre los tres campos incluidos en el estudio. Los economistas se basaron más en el número de publicaciones que los cardiólogos y los físicos. La variación entre los países (Países Bajos, Noruega y Suecia) fue mínima. Sin embargo, dentro de los tres campos y países hubo variaciones: Mientras que la mayoría consideraba que la métrica era importante, una proporción considerable no la consideraba importante. En otras palabras, hay opiniones divergentes entre los revisores sobre el uso de las métricas, lo que puede afectar a sus revisiones. Cuando actúan como revisores, los académicos tienen mucho poder discrecional y pueden optar por utilizar o no utilizar las métricas, haciendo caso omiso de las directrices (que pueden fomentar o desaconsejar las métricas). Por lo tanto, el resultado de los procesos de revisión puede variar en función de las preferencias individuales de los miembros del panel en cuanto a las métricas.

Los académicos más citados utilizan con más frecuencia la métrica de citas en sus evaluaciones

Resulta significativo que el énfasis en las métricas se corresponda con el propio rendimiento bibliométrico de los encuestados. Los evaluadores con puntuaciones bibliométricas más altas hacían más hincapié en las métricas cuando evaluaban a los candidatos a puestos académicos, y especialmente cuando evaluaban las propuestas de subvención. En el caso de estas últimas, la probabilidad de percibir el número de publicaciones y el impacto de las citas de los candidatos como «muy importantes» aumentó junto con el número de publicaciones de los encuestados, si tenían publicaciones de percentil superior y con la proporción de publicaciones de percentil superior.

¿Se ven afectadas las nociones de calidad de la investigación?

Incluso si las métricas afectan a la revisión por pares, nuestros datos indican que los revisores distinguen entre las características de una buena investigación y la bibliometría como indicadores del posible éxito futuro de un solicitante o una solicitud. Mientras que una gran mayoría señaló que las métricas eran importantes en sus revisiones, sólo una quinta parte indicó que su conclusión se basaba (en parte) en las puntuaciones de las citas o en el factor de impacto de las revistas al responder a la pregunta más general de qué percibían como la mejor investigación en su campo. Muy pocos encuestados indicaron las puntuaciones de las citas o el factor de impacto de las revistas como únicos indicadores de la mejor investigación. Por lo tanto, hay pocos indicios de que consideren los indicadores cuantitativos como un factor decisivo sobre lo que constituye la ciencia eminente.

Impacto en las agendas de investigación

Cuando se aplican a escala del individuo, los indicadores de número de publicaciones e impacto de las citas tienen limitaciones y deficiencias como medidas de rendimiento. No obstante, la encuesta indica un amplio uso de dichos indicadores a esta escala, tanto para la revisión de propuestas de subvención como para la contratación de puestos académicos. El énfasis en las métricas en las evaluaciones de los compañeros puede afectar a la actividad investigadora y a los programas de investigación. Los investigadores -especialmente los que inician su carrera- deben tener en cuenta qué tipo de investigación les ayudará a optar a subvenciones y puestos de trabajo. Si se hace hincapié en el historial cuantificable de los solicitantes en lugar de en el campo de especialización y el potencial de los solicitantes, o en la revisión en profundidad de la investigación propuesta, corremos el riesgo de basar las decisiones sobre la investigación futura en las tendencias pasadas, y los temas fácilmente publicables y muy citados pueden obtener desproporcionadamente más recursos. Además, damos a los jóvenes investigadores incentivos (más fuertes) para hacer el tipo de investigación que parece «segura» en términos de probabilidad de publicaciones y citas, con el fin de aumentar sus posibilidades de éxito en los concursos de subvenciones y puestos académicos.

Organización de evaluaciones justas

¿Qué significa esto para los investigadores que solicitan puestos de trabajo o becas de investigación? A la hora de planificar y utilizar la evaluación por pares, hay que tener en cuenta que los evaluadores -en particular los que obtienen altas puntuaciones- consideran que las métricas son un buen indicador del éxito futuro de los proyectos y los candidatos. Se basan en las métricas de publicación en sus evaluaciones a pesar de las preocupaciones sobre el uso y el mal uso de dichas métricas. En términos más generales, es necesario comprender mejor por qué y cómo se utilizan las métricas en los distintos campos de investigación, y el papel que desempeñan las métricas en el desarrollo de los campos, así como la forma en que el perfil de los paneles de revisión influye en el énfasis en las métricas. A esta escala, la publicación de directrices como el Manifiesto de Leiden para la medición de la investigación y la declaración DORA sobre el uso inadecuado del factor de impacto de las revistas, parecen no haber sido suficientes.