Archivo de la etiqueta: Bibliometría

Indicadores de medición del impacto de las citas bibliográficas

 

Indicators

Citation Performance Indicators — A Very Short Introduction
By PHIL DAVIS. Scholary Kitchen may 15, 201710

Texto completo

Phil Davis acaba de publicar en The Scholarly Kitchen un post en el que proporciona un breve resumen de los principales indicadores de citas utilizados hoy en día. Se trata de una publicación divulgativa, pero muy aclaratoria, no tanto de interés para bibliometras, como para el conocimiento por parte de investigadores, bibliotecarios y público en general. No se pretende que sea exhaustivo, ni se pretende opinar sobre el indicador que es mejor

Los indicadores son parámetros de medición que permite dar seguimiento y evaluar el cumplimiento de los objetivos de la actividad institucional respecto del logro o resultado en la entrega de bienes o servicios.

Lo más importante de un buen indicador es que tiene que tener una estrecha conexión teórica con la construcción subyacente que intenta medir. Un buen indicador simplifica los datos subyacentes, es fiable en sus informes y proporciona transparencia a los datos subyacentes.

Por último, cualquier discusión de los indicadores de desempeño invita a opiniones contrastadas tales como su uso indebido, abuso, implicaciones sociales, culturales y políticas que el alguna manera son ajenas al propio indicador.

Davis estructura los indicadores en tres grupos en función del diseño del algoritmo en el que se basa el indicador:

  1. Indicadores basados ​​en la ratio  se construye sobre el mismo modelo que el factor de impacto, dividiendo las citas recibidas entre el número de documentos publicados por la revista.
  2. Indicadores basados ​​en la gama (portfolio) calculan una puntuación basada en un conjunto clasificado de documentos.
  3. Indicadores basados ​​en la red, busca medir la influencia dentro de una red de citas mayor.

 

 

Indicadores basados en la ratio

Impact Factor: Total de citas en un año dado a todos los trabajos publicados en los últimos 2 años divididos por el número total de artículos y reseñas publicadas en los últimos 2 años. PROS: Fórmula sencilla con datos históricos. CONTRAS: el periodo de publicación de 2 años es demasiado corta para la mayoría de las disciplinas. PRODUCTOR: Clarivate (anteriormente Thomson Reuters), publicado anualmente en junio.

Impact Factor (5-yr): Abarca un periodo de publicación de 5 años en lugar de 2. PROS: La métrica preferida en campos en los que el ciclo de vida de la citación largo, por ejemplo, ciencias sociales. PRODUCTOR: Clarivate, publicado anualmente en junio.

CiteScore: Citas en un año dado a todos los documentos publicados en los últimos 3 años divididos por el número total de documentos publicados en los últimos 3 años. PROS: No intenta clasificar y limitar por tipo de artículo; Basado en un conjunto de datos Scopus más amplio; Recurso libre. CONTRAS: Preconcebido para las revistas que publican editoriales, noticias, cartas, etc.. PRODUCTOR: Elsevier, basado en los datos de Scopus, actualizado mensualmente.

Impact per Publication (IPP): Similar al Factor de Impacto con diferencias notables: 3 años. Periodo de publicación de 3 años; Incluye sólo citas a artículos clasificados como artículo,actas de conferencia o revisiones; Basado en un conjunto de datos Scopus. PROS: Periodo de análisis más largo; Las citas se limitan a aquellos documentos contados en el denominador. CONTRAS: Al igual que el factor de impacto, definir cual es el tipo de artículo correcto puede ser problemático. PRODUCTOR: CWTS, Universidad de Leiden, basada en los datos de Scopus, publicados cada mes de junio.

Source-Normalized Impact per Paper (SNIP): Similar a IPP, pero las puntuaciones de citas que se normalizan para tener en cuenta las diferencias entre los campos científicos, donde el campo está determinado por el conjunto de documentos que citan esa revista. PROS: Puede comparar el rendimiento de la revista entre entre disciplinas y campos. CONTRAS: La normalización hace que el indicador sea menos transparente. PRODUCTOR: CWTS, Universidad de Leiden para Elsevier, publicada cada mes de junio.

Indicadores basados ​​en la gama

H-index: Una medida de la cantidad y el rendimiento de un autor individual. Un autor con un índice de h habrá publicado h artículos, cada uno de los cuales ha sido citado por lo menos h veces. Si el índice h de un autor es 21, quiere decir que tiene almenos 21 documentos que se han citado 21 veces PROS: Mide el rendimiento profesional; No influenciado por valores atípicos (documentos altamente citados). CONTRAS: Dependiente del campo; Ignora el orden de la autoría; Aumenta con la edad y productividad del autor; Sensible a la autocitación, especialmente en Google Scholar. PRODUCTOR: Descrito por el cinetífico aleman J. E. Hirsch, muchas fuentes calculan los valores del índice h para los autores individuales.

h-5 : Variación del índice h que se limita a artículos publicados en los últimos 5 años. Utilizado por Google Scholar para comparar el rendimiento de la revista. PROS: Permite comparar autores jóvenes con autores más antiguos. CONTRAS: Dependiente del campo; Ignora el orden de la autoría en la publicación; Sensibles a la autocitación y al juego, especialmente en Google Scholar. Google Scholar también utiliza h5-median, que pretende reducir el sesgo de tamaño. PRODUCTOR: Google Académico. Publicado anualmente en junio.

Indicadores basados en la red

Eigenfactor: Mide la influencia de una revista en una red de citas. El cálculo de las puntuaciones se basa en la centralidad de los vectores propios, calculada a través de la ponderación iterativa, de manera que las citas de una revista tienen más influencia que otras. PROS: Ofrece una métrica que refleja de forma más clara la influencia científica como un entorno determinado. CONTRAS: Computacionalmente complejo, no fácilmente replicable. PRODUCTOR: Clarivate (anteriormente Thomson Reuters), publicado anualmente en junio.

Scimago Journal & Country Rank (SJCR): Similar al Eigenfactor pero calculado sobre la base de datos de Scopus. SJR asigna puntuaciones relativas a todas las fuentes en una red de citas. Su metodología se inspira en el algoritmo de Google PageRank, en que no todas las citas son iguales. Una fuente transfiere su propio “prestigio”, o estado, a otra fuente a través del acto de citarlo. Una citación de una fuente con una SJR relativamente alta vale más que una citación de una fuente con una SJR más baja. PROS.  SJR permite al usuario clasificar su propio conjunto de fuentes personalizadas, independientemente de sus campos temáticos. PRODUCTOR: Elsevier, publicado anualmente en junio.

Relative Citation Ratio (RCR): Una métrica de citas normalizadas para artículos basados ​​en la base de datos PubMed del NIH. Un campo se define por las referencias en los artículos co-citado con el documento de interés. PROS: Permite que cada artículo sea definido por su propia cita En lugar de basarse en la clasificación de campos externos. CONS: Sensible a citas interdisciplinarias y revistas multidisciplinarias. El RCR depende del Factor de Impacto para ponderar las revistas que figuran en las referencias. PRODUCTORA: NIH.

 

 

 

 

Actas del Quinto Taller sobre Recuperación de Información Bibliométrica Mejorada (BIR)

ecir2017

Proceedings of the Fifth Workshop on Bibliometric-enhanced Information Retrieval (BIR)
co-located with the 39th European Conference on Information Retrieval (ECIR 2017)

Ver actas anteriores

BIR workshops at ECIR 2014

ECIR 2015

ECIR 2016

JCDL 2016

 

Las técnicas bibliométricas aún no se utilizan ampliamente para mejorar los procesos de recuperación en los sistemas de búsqueda, aunque ofrecen efectos de valor añadido para los usuarios. En este taller se explora temáticas tales como el modelado estadístico de la investigación, análisis de red de la red de coautoría, o como los sistemas gráficos de citas simples, puede mejorar los servicios de recuperación para comunidades específicas, así como para grandes colecciones de dominio cruzado como Mendeley. Este taller tiene como objetivo aumentar la conciencia sobre la relación entre la recuperación de información (IR) y la bibliometría / scientometrics, y crear un terreno común para la incorporación de servicios bibliométricos mejorados en la recuperación a través de los motores de búsqueda científicos.

 

Table of Contents

Full papers

Poster papers

Análisis de datos de investigación: correlación entre citas y puntuaciones altmetrics

 

altmetric-jobs-1024x873

Peters, Isabella et al. “Research Data Explored: An Extended Analysis of Citations and Altmetrics.” Scientometrics 107 (2016): 723–744. PMC. Web. 25 Apr. 2017.

Texto completo

ePub (beta)

PDF (474K)

 

En este estudio, se explora la citatividad de los datos de investigación, su distribución en el tiempo y su relación con la disponibilidad de un identificador de objeto digital (DOI) en la base de datos Thomson Reuters Data Citation Index (DCI). Se investiga si los datos de investigación citados tienen impacto social en la web viéndose reflejados por las puntuaciones de agregadores altmetrics; y si hay alguna corelación entre el número de citas y la suma de puntuaciones altmetrics de varias plataformas de medios sociales. Para ello se utilizaron tres herramientas para recopilar las  puntuaciones altmetrics:  PlumX, ImpactStory y Altmetric.com, y se compararon los resultados correspondientes.

Los resultados del estudio muestran que de las tres herramientas altmétricas utilizadas, PlumX tiene la mejor cobertura, y que los datos de la investigación permanecen en la mayoría de las ocasiones como no valorados (alrededor del 85%), aunque se reconoce que ha habido un aumento en los conjuntos de datos citados publicados desde 2008. El porcentaje del número de datos de investigación citados con un DOI en ICD ha disminuido en los últimos años. Sólo nueve repositorios son responsables de los datos de investigación con DOIs y dos o más citas. El número de datos de investigación citados con altmetrics “foot-prints” es aún más bajo (4-9%), pero muestra una mayor cobertura de los datos de investigación de la última década.

En el estudio también no se encontró correlación entre el número de citas y el número total de puntuaciones altmetrics. Sin embargo, algunos tipos de datos (por ejemplo, encuestas, datos agregados y datos de secuencias) son más citados y también reciben puntuaciones altmetrics más altas. Además, se realizaron análisis de citas y resultados en almetrics de todos los datos de investigación publicados entre 2011 y 2013 en cuatro disciplinas diferentes cubiertas por el ICD. En general, estos resultados se corresponden con los obtenidos para los datos de investigación citados al menos dos veces y también muestran un bajo número de citas en altmetrics. Finalmente, se observa que existen diferencias disciplinarias en la disponibilidad y el alcance de las puntuaciones altmétricas.

Métricas de próxima generación: métricas responsables y evaluación para ciencia abierta: Informe del Grupo de Expertos de la Comisión Europea sobre Altmetrics.

icinghower_bookmarklet

“Open Science está cambiando cada aspecto del método científico para ser más abierto, inclusivo e interdisciplinario … Garantizar que Europa esté a la vanguardia de la Ciencia Abierta significa promover el acceso abierto a los datos y publicaciones científicas junto con los más altos estándares de integridad de la investigación”.

Carlos Moedas, Comisario de Investigación, Ciencia e Innovación

Next-generation metrics: Responsible metrics and evaluation for open science: Report of the European Commission Expert Group on Altmetrics. . [e-Book] Brussels, European Commission, 2017.

Texto completo

Impulsado tanto por las tecnologías digitales como por el cambio social, la ciencia abierta representa una innovación en la forma en que se lleva a cabo la investigación: en cómo los científicos colaboran y comparten el conocimiento con el mundo en general, y cómo se organizan las instituciones científicas para un mayor impacto social.  

La tecnología nos proporciona nuevos modos de comunicación y genera enormes volúmenes de datos. El conocimiento juega un papel cada vez más importante en todos los ámbitos de la vida. Estos cambios han acelerado la globalización de la investigación, al mismo tiempo que han aumentado enormemente la disponibilidad pública del conocimiento científico.

La ciencia hoy está en transición desde un sistema relativamente cerrado, disciplinario y basado en la profesión, hacia una estructura abierta e interdisciplinaria donde la creación de conocimiento es más accesible directamente a las partes interesadas a través de la sociedad. La Comisión Europea dio su firme apoyo a esta transición en su informe de 2016 “Open Innovation, Open Science, Open to the World – A Vision for Europe” (EC,2016).

El objetivo de este Grupo de Expertos es revisar las fortalezas, debilidades y posibilidades futuras de las métricas de próxima generación para avanzar en la agenda de ciencia abierta. Para algunos, el resultado ideal podría parecer el desarrollo de una sola métrica a través de la cual medir la ciencia abierta. Consideramos esto como algo imposible e indeseable. El mejor resultado sería el desarrollo de una serie de métricas que ofrezcan una imagen dinámica del progreso logrado hacia los objetivos de la ciencia abierta.

Las puntuaciones métricas típicamente indican que se ha hecho algún tipo de conexión entre una fuente y un destinatario. Aumentar esas puntuaciones no sólo depende de los esfuerzos de las comunidades científicas por el “lado de la oferta” para proporcionar mejor información a la sociedad. Igualmente importante es el “lado de la demanda”: la receptividad de la sociedad a la información y las perspectivas científicas. Los acontecimientos políticos recientes destacan el La receptividad cambia con el tiempo, a medida que cambian los valores de la sociedad. Las métricas de la siguiente generación, entonces, deben atender a ambos lados de esta ecuación.

Los investigadores que publican con más frecuencia tienen artículos más citados

 

Publish or Perish: 'Welcome to the Team. Remember, if you follow the University Motto, you'll do fine...'

Peter van den Besselaar  & Ulf Sandström. Does Quantity Make a Difference?
The importance of publishing many papers. Istanbul, ISSI 2015,

Texto completo

 

Un estudio de Ulf Sandström pone en evidencia la idea  que habitualmente se tiene de “Publicar o perecer” por parte de los investigadores, sobre que la presión que se ejerce sobre ellos para publicar conlleva a una investigación de baja calidad. El estudio demuestra que aquellos investigadores más prolíficos tienen mayor impacto.

Frecuentemente se dice que la incesante presión para que los investigadores publiquen en revistas redunda en una baja calidad de los publicado. Un estudio de Peter van den Besselaar y Ulf Sandström, profesores de ciencia y tecnología de la University Amsterdam y de KTH Royal Institute of Technology de Estocolmo, arroja dudas sobre la idea que se tiene de la cultura “publicar o perecer”. El estudio analizó los registros de publicación de 48.000 investigadores suecos publicados entre 2008 y 2011, y encontró que en la mayoría de los temas, la proporción de artículos de alta calidad se mantuvo estable o incluso mejoró a medida que ese investigador publicaba más artículos. Sólo en el caso de las humanidades la mayor proporción de artículos hizo descender los niveles de calidad.

 “A través de la psicología de la creatividad y el análisis, sabemos que no se puede llegar a lo óptimo la primera vez. Tienes que hacer muchas pruebas para tener algo que sea realmente interesante “, dijo. “Cuanto más intentes, más sabes.”.

La idea de que los investigadores necesitaban largos períodos de tiempo para “sentarse y pensar y pensar y pensar” sin publicar nada para concebir una idea innovadora es una falsa visión del proceso científico, dijo el profesor Sandström.

La investigación pone de manifiesto que los académicos más prolíficos a menudo escriben documentos más influyentes  todo ello tiene implicaciones sobre cómo se evalúan y financian los académicos. Según las conclusiones del estudio de Sandström no hay  “ninguna evidencia” de que publicar más documentos conduzca a una investigación de menor calidad. Contrariamente existe una correlación entre una mayor publicación y un mayor impacto.

Los investigadores más prolíficos también son más conocidos en sus redes, y más integrados y organizados, lo que significa que sus compañeros son más dados a citarlos. Por lo tanto no es cierta la idea que se tiene de “publicar o perecer”.

La concesión de un Premio Nobel propicia una reacción en cadena de citación sobre su obra científica y sobre su red de citas más cercana

 

aumann_award2

Frandsen, T. F. and J. Nicolaisen “The ripple effect: Citation chain reactions of a nobel prize.” Journal of the American Society for Information Science and Technology vol. 64, n. 3 (2013).  pp. 437-447. http://dx.doi.org/10.1002/asi.22785

Este artículo explora las posibles reacciones en cadena de citas de un Premio Nobel utilizando al matemático Robert J. Aumann como ejemplo de caso. Los resultados muestran que la concesión del Premio Nobel en 2005 afectó no sólo las citas a su obra premiada, sino que también afectó las citas a las referencias en su obra científica. Los resultados indican que el efecto de desbordamiento es casi tan poderoso como el efecto mismo. Por lo tanto, se documenta un efecto dominó en el que la concesión del Premio Nobel propicia una reacción en cadena de la citación a la obra científica de Aumann y a las referencias en su red de citas más cercana. Se discute el efecto usando la teoría del proceso de decisión de la innovación como un punto de partida para identificar los factores que crearon una reacción en cadena de citación a la obra del autor, que conduce a las observaciones divulgadas. Los resultados indican que el efecto resultante es casi tan poderoso como el efecto mismo.

Ya mucho antes, Eugene Garfield calificó con el nombre de “Científicos de clase Nobel” a aquellos que se encontraban entre el uno por ciento de los autores más citados, y enfatizó que sólo un pequeño número de estos puede eventualmente ganar un premio Nobel. En dos estudios que analizaron los primeros 300 y 1.000 autores, encontró que los artículos de todos los autores ganadores del Nobel -incluidos los post-y pre-Nobelistas- fueron citados de promedio un 25% más que los artículos de investigadores no-Nobel. Para los artículos de los investigadores pre-Noble, este porcentaje es sólo el 15 por ciento. Los artículos de los autores post-Nobel tenían un 38 por ciento de impacto de citación más alto que los pre-Nobelists.

¿Más allá de los rankings universitarios? Generación de nuevos indicadores sobre las universidades mediante la vinculación de datos en plataformas abiertas

32559290781_8666bdeef6_o_d

Daraio, C. and A. Bonaccorsi “Beyond university rankings? Generating new indicators on universities by linking data in open platforms.” Journal of the Association for Information Science and Technology vol. 68, n. 2 (2017). pp. 508-529. http://dx.doi.org/10.1002/asi.23679

La necesidad de nuevos indicadores sobre las universidades está creciendo enormemente. Los gobiernos y los tomadores de decisiones a todos los niveles se enfrentan a las enormes oportunidades generadas por la disponibilidad de nuevos conocimientos e información y, simultáneamente, se ven presionados por restricciones presupuestarias estrictas. Los rankings universitarios, en particular, están atrayendo la atención de las políticas y los medios de comunicación, pero al mismo tiempo reciben duras críticas metodológicas.

Después de resumir las principales críticas a las clasificaciones, se analizan  dos tendencias en los requisitos de los usuarios para los indicadores; A saber, granularidad y referencias cruzadas. A continuación se sugiere que es necesario un cambio en el paradigma del diseño y producción de indicadores. El enfoque tradicional es aquel que aprovecha no sólo los datos existentes, sino que también sugiere una fuerte inversión para integrar las bases de datos existentes y crear indicadores adaptados. En el artículo se demuestra que tomando cono base el caso de las universidades europeas, cómo la integración de los datos existentes se puede desarrollar una plataforma de datos abierta que permite la construcción de nuevos indicadores.El poder del enfoque deriva de la capacidad de combinar fuentes heterogéneas de datos para generar indicadores que aborden una variedad de requisitos de los usuarios sin necesidad de diseñar indicadores de forma personalizada.