Archivo de la etiqueta: Bibliometría

Métricas significativas: una guía del bibliotecario del siglo XXI sobre bibliometría, altmetrics e impacto de la investigación

roemer_borchardt300

Roemer, R. C. and R. Borchardt (2015). [e-Book] Meaningful METRICS: A 21st-Century Librarian’s Guide to Bibliometrics, Altmetrics, and Research Impact. Chicago, Illinois, Association of College and Research Libraries, 2015

Texto completo

 

¿Qué significan las métricas relevantes en el complejo panorama de la educación superior actual? Con un prólogo de Heather Piwowar y Jason Priem, este libro altamente atractivo y cargado de contenidos sirve para introducir a los lectores en el mundo acelerado de las métricas de investigación desde la perspectiva única de los bibliotecarios universitarios y los profesionales de LIS.

A partir de las historias esenciales de bibliometría y altmetría, y continuando con las descripciones en profundidad de las herramientas básicas y los problemas emergentes en juego en el futuro de ambos campos, Meaningful Metrics es un recurso todo-en-uno diseñado para ser utilizado por una amplia gama de lectores, desde aquellos que tienen pocos o ningún conocimiento sobre el tema, a aquellos profesionales de las bibliotecas que buscan convertirse en formadores sobre métricas e impacto de la investigación en sus universidades. Los autores Borchardt y Roemer, ofrecen consejos, trucos y ejemplos del mundo real ilustran cómo los bibliotecarios pueden apoyar la adopción exitosa de métricas de investigación, ya sea en sus instituciones o a través del mundo académico en su conjunto.

Análisis de las prácticas de colaboración científica:: una vía hacia la excelencia

 

9788416926190_l38_04

González Alcaide, Gregorio, Gómez Ferri, Javier. “Análisis de las prácticas de colaboración científica:: una vía hacia la excelencia.” Valencia: Nau Llibres, 2017

Texto completo

 La producción del conocimiento se realiza, cada vez más, en el seno de una amplia y heterogénea red de investigadores que trabajan de forma cooperativa. La colaboración científica dentro del campo académico constituye un rasgo esencial para impulsar aspectos clave que aseguren el progreso, el bienestar y la calidad de vida de la sociedad actual, como los avances médicos y tecnológicos, la reducción de las desigualdades sociales o los retos medioambientales. A lo largo de las últimas décadas se ha producido una extensión y una intensificación de las prácticas cooperativas: la gran mayoría de trabajos de investigación en cualquier disciplina científica son firmados en multi-autoría por dos o más autores y cada vez es más habitual la participación conjunta en las actividades de investigación de expertos de diferentes disciplinas, instituciones o países. También las prácticas cooperativas constituyen el mecanismo para la socialización e integración de los investigadores noveles en la comunidad académica y científica.

Pero la colaboración científica constituye un fenómeno complejo que es necesario estudiar, identificando sus características, los factores positivos asociados a la misma y las barreras que la dificultan. La presente obra constituye una aportación novedosa, que aborda el estudio de la colaboración científica a partir de la percepción de los propios investigadores acerca de la misma: se identifican los motivos para colaborar y las tareas que realizan en colaboración, dónde han conocido a sus colaboradores y los rasgos mejor valorados para que las colaboraciones resulten exitosas. Asimismo, se indagan diferentes cuestiones clave para subsanar las deficiencias y los aspectos problemáticos asociados en algunas ocasiones a las prácticas cooperativas, como la identificación de los motivos por los que algunos investigadores no colaboran, los factores por los cuales algunas colaboraciones no han funcionado de forma adecuada y han motivado que se deje de colaborar, así como los problemas derivados de la plasmación del trabajo cooperativo a través de las publicaciones científicas.

El amplio conocimiento de la temática por parte de los autores responsables del estudio, la rigurosidad metodológica y el importante esfuerzo de síntesis para evaluar las implicaciones de los resultados obtenidos, plasmadas en el decálogo de pautas y recomendaciones en relación con la colaboración científica que se recoge como colofón de la obra, hacen de la misma una aportación de gran interés para que los investigadores de cualquier rama de conocimiento puedan conocer la importancia del fenómeno de la colaboración científica y cómo gestionar la misma de forma eficaz, así como para que las instituciones y los organismos responsables de la planificación y evaluación de las actividades de investigación sitúen adecuadamente la función que desempeña el fenómeno de la colaboración científica en el proceso de generación del conocimiento.

Sobre la manipulación de las citas en la evaluación científica. ¿Hasta donde es aceptable la manipulación de las citas?

5cb00472b6c6dbb776e084f2d419c5ac

How Much Citation Manipulation Is Acceptable?.The Scholarly Kitchen, 30 de mayo de 2017

Ver completo

En todos los sistemas de medición científica existe un margen de error debido en buena parte a patrones de citas anómalos, un eufemismo para referirse a la autocita sistémica, una práctica bastante común con la que algunas revistas coaccionen a sus autores que desean publicar en ellas para que citen artículos de la misma revista con el objetivo de mejorar su posicionamiento en los rankings, entre los argumentos que utilizan algunos editores para justificar esta práctica poco ética es que también recurren a esta práctica sus competidores, y que por lo tanto es una manera de reequilibrar la situación. Según datos de Clarivate Analytics, la compañía  que publica Journal Citation Report (JCR), el año pasado, 18 títulos de revistas fueron suspendidos del JCR, 16 por altos niveles de auto-cita, los otros dos para “apilar citas”. Entre estas revistas está Land Degradation & Development (LDD), en la que durante 2015, casi la mitad de las auto-citas de esta revistas (46%) se centraron en los artículos de los dos años anteriores de la publicación, en comparación con sólo 4% de las citas que desde LDD se hicieron a otras revistas. Esta cuestión es importante, ya que el Factor de Impacto mide las citas que se recibió la revista los dos años anteriores en relación con el total de artículos publicados en esos dos años. Sin estas citas el factor de impacto de LDD habría sido menos de la mitad (3.982) de la puntuación que recibió (8.145). Por lo tanto hay que preguntarse: ¿Hasta donde es aceptable la manipulación de las citas?

Indicadores de medición del impacto de las citas bibliográficas

 

Indicators

Citation Performance Indicators — A Very Short Introduction
By PHIL DAVIS. Scholary Kitchen may 15, 201710

Texto completo

Phil Davis acaba de publicar en The Scholarly Kitchen un post en el que proporciona un breve resumen de los principales indicadores de citas utilizados hoy en día. Se trata de una publicación divulgativa, pero muy aclaratoria, no tanto de interés para bibliometras, como para el conocimiento por parte de investigadores, bibliotecarios y público en general. No se pretende que sea exhaustivo, ni se pretende opinar sobre el indicador que es mejor

Los indicadores son parámetros de medición que permite dar seguimiento y evaluar el cumplimiento de los objetivos de la actividad institucional respecto del logro o resultado en la entrega de bienes o servicios.

Lo más importante de un buen indicador es que tiene que tener una estrecha conexión teórica con la construcción subyacente que intenta medir. Un buen indicador simplifica los datos subyacentes, es fiable en sus informes y proporciona transparencia a los datos subyacentes.

Por último, cualquier discusión de los indicadores de desempeño invita a opiniones contrastadas tales como su uso indebido, abuso, implicaciones sociales, culturales y políticas que el alguna manera son ajenas al propio indicador.

Davis estructura los indicadores en tres grupos en función del diseño del algoritmo en el que se basa el indicador:

  1. Indicadores basados ​​en la ratio  se construye sobre el mismo modelo que el factor de impacto, dividiendo las citas recibidas entre el número de documentos publicados por la revista.
  2. Indicadores basados ​​en la gama (portfolio) calculan una puntuación basada en un conjunto clasificado de documentos.
  3. Indicadores basados ​​en la red, busca medir la influencia dentro de una red de citas mayor.

 

 

Indicadores basados en la ratio

Impact Factor: Total de citas en un año dado a todos los trabajos publicados en los últimos 2 años divididos por el número total de artículos y reseñas publicadas en los últimos 2 años. PROS: Fórmula sencilla con datos históricos. CONTRAS: el periodo de publicación de 2 años es demasiado corta para la mayoría de las disciplinas. PRODUCTOR: Clarivate (anteriormente Thomson Reuters), publicado anualmente en junio.

Impact Factor (5-yr): Abarca un periodo de publicación de 5 años en lugar de 2. PROS: La métrica preferida en campos en los que el ciclo de vida de la citación largo, por ejemplo, ciencias sociales. PRODUCTOR: Clarivate, publicado anualmente en junio.

CiteScore: Citas en un año dado a todos los documentos publicados en los últimos 3 años divididos por el número total de documentos publicados en los últimos 3 años. PROS: No intenta clasificar y limitar por tipo de artículo; Basado en un conjunto de datos Scopus más amplio; Recurso libre. CONTRAS: Preconcebido para las revistas que publican editoriales, noticias, cartas, etc.. PRODUCTOR: Elsevier, basado en los datos de Scopus, actualizado mensualmente.

Impact per Publication (IPP): Similar al Factor de Impacto con diferencias notables: 3 años. Periodo de publicación de 3 años; Incluye sólo citas a artículos clasificados como artículo,actas de conferencia o revisiones; Basado en un conjunto de datos Scopus. PROS: Periodo de análisis más largo; Las citas se limitan a aquellos documentos contados en el denominador. CONTRAS: Al igual que el factor de impacto, definir cual es el tipo de artículo correcto puede ser problemático. PRODUCTOR: CWTS, Universidad de Leiden, basada en los datos de Scopus, publicados cada mes de junio.

Source-Normalized Impact per Paper (SNIP): Similar a IPP, pero las puntuaciones de citas que se normalizan para tener en cuenta las diferencias entre los campos científicos, donde el campo está determinado por el conjunto de documentos que citan esa revista. PROS: Puede comparar el rendimiento de la revista entre entre disciplinas y campos. CONTRAS: La normalización hace que el indicador sea menos transparente. PRODUCTOR: CWTS, Universidad de Leiden para Elsevier, publicada cada mes de junio.

Indicadores basados ​​en la gama

H-index: Una medida de la cantidad y el rendimiento de un autor individual. Un autor con un índice de h habrá publicado h artículos, cada uno de los cuales ha sido citado por lo menos h veces. Si el índice h de un autor es 21, quiere decir que tiene almenos 21 documentos que se han citado 21 veces PROS: Mide el rendimiento profesional; No influenciado por valores atípicos (documentos altamente citados). CONTRAS: Dependiente del campo; Ignora el orden de la autoría; Aumenta con la edad y productividad del autor; Sensible a la autocitación, especialmente en Google Scholar. PRODUCTOR: Descrito por el cinetífico aleman J. E. Hirsch, muchas fuentes calculan los valores del índice h para los autores individuales.

h-5 : Variación del índice h que se limita a artículos publicados en los últimos 5 años. Utilizado por Google Scholar para comparar el rendimiento de la revista. PROS: Permite comparar autores jóvenes con autores más antiguos. CONTRAS: Dependiente del campo; Ignora el orden de la autoría en la publicación; Sensibles a la autocitación y al juego, especialmente en Google Scholar. Google Scholar también utiliza h5-median, que pretende reducir el sesgo de tamaño. PRODUCTOR: Google Académico. Publicado anualmente en junio.

Indicadores basados en la red

Eigenfactor: Mide la influencia de una revista en una red de citas. El cálculo de las puntuaciones se basa en la centralidad de los vectores propios, calculada a través de la ponderación iterativa, de manera que las citas de una revista tienen más influencia que otras. PROS: Ofrece una métrica que refleja de forma más clara la influencia científica como un entorno determinado. CONTRAS: Computacionalmente complejo, no fácilmente replicable. PRODUCTOR: Clarivate (anteriormente Thomson Reuters), publicado anualmente en junio.

Scimago Journal & Country Rank (SJCR): Similar al Eigenfactor pero calculado sobre la base de datos de Scopus. SJR asigna puntuaciones relativas a todas las fuentes en una red de citas. Su metodología se inspira en el algoritmo de Google PageRank, en que no todas las citas son iguales. Una fuente transfiere su propio “prestigio”, o estado, a otra fuente a través del acto de citarlo. Una citación de una fuente con una SJR relativamente alta vale más que una citación de una fuente con una SJR más baja. PROS.  SJR permite al usuario clasificar su propio conjunto de fuentes personalizadas, independientemente de sus campos temáticos. PRODUCTOR: Elsevier, publicado anualmente en junio.

Relative Citation Ratio (RCR): Una métrica de citas normalizadas para artículos basados ​​en la base de datos PubMed del NIH. Un campo se define por las referencias en los artículos co-citado con el documento de interés. PROS: Permite que cada artículo sea definido por su propia cita En lugar de basarse en la clasificación de campos externos. CONS: Sensible a citas interdisciplinarias y revistas multidisciplinarias. El RCR depende del Factor de Impacto para ponderar las revistas que figuran en las referencias. PRODUCTORA: NIH.

 

 

 

 

Actas del Quinto Taller sobre Recuperación de Información Bibliométrica Mejorada (BIR)

ecir2017

Proceedings of the Fifth Workshop on Bibliometric-enhanced Information Retrieval (BIR)
co-located with the 39th European Conference on Information Retrieval (ECIR 2017)

Ver actas anteriores

BIR workshops at ECIR 2014

ECIR 2015

ECIR 2016

JCDL 2016

 

Las técnicas bibliométricas aún no se utilizan ampliamente para mejorar los procesos de recuperación en los sistemas de búsqueda, aunque ofrecen efectos de valor añadido para los usuarios. En este taller se explora temáticas tales como el modelado estadístico de la investigación, análisis de red de la red de coautoría, o como los sistemas gráficos de citas simples, puede mejorar los servicios de recuperación para comunidades específicas, así como para grandes colecciones de dominio cruzado como Mendeley. Este taller tiene como objetivo aumentar la conciencia sobre la relación entre la recuperación de información (IR) y la bibliometría / scientometrics, y crear un terreno común para la incorporación de servicios bibliométricos mejorados en la recuperación a través de los motores de búsqueda científicos.

 

Table of Contents

Full papers

Poster papers

Análisis de datos de investigación: correlación entre citas y puntuaciones altmetrics

 

altmetric-jobs-1024x873

Peters, Isabella et al. “Research Data Explored: An Extended Analysis of Citations and Altmetrics.” Scientometrics 107 (2016): 723–744. PMC. Web. 25 Apr. 2017.

Texto completo

ePub (beta)

PDF (474K)

 

En este estudio, se explora la citatividad de los datos de investigación, su distribución en el tiempo y su relación con la disponibilidad de un identificador de objeto digital (DOI) en la base de datos Thomson Reuters Data Citation Index (DCI). Se investiga si los datos de investigación citados tienen impacto social en la web viéndose reflejados por las puntuaciones de agregadores altmetrics; y si hay alguna corelación entre el número de citas y la suma de puntuaciones altmetrics de varias plataformas de medios sociales. Para ello se utilizaron tres herramientas para recopilar las  puntuaciones altmetrics:  PlumX, ImpactStory y Altmetric.com, y se compararon los resultados correspondientes.

Los resultados del estudio muestran que de las tres herramientas altmétricas utilizadas, PlumX tiene la mejor cobertura, y que los datos de la investigación permanecen en la mayoría de las ocasiones como no valorados (alrededor del 85%), aunque se reconoce que ha habido un aumento en los conjuntos de datos citados publicados desde 2008. El porcentaje del número de datos de investigación citados con un DOI en ICD ha disminuido en los últimos años. Sólo nueve repositorios son responsables de los datos de investigación con DOIs y dos o más citas. El número de datos de investigación citados con altmetrics “foot-prints” es aún más bajo (4-9%), pero muestra una mayor cobertura de los datos de investigación de la última década.

En el estudio también no se encontró correlación entre el número de citas y el número total de puntuaciones altmetrics. Sin embargo, algunos tipos de datos (por ejemplo, encuestas, datos agregados y datos de secuencias) son más citados y también reciben puntuaciones altmetrics más altas. Además, se realizaron análisis de citas y resultados en almetrics de todos los datos de investigación publicados entre 2011 y 2013 en cuatro disciplinas diferentes cubiertas por el ICD. En general, estos resultados se corresponden con los obtenidos para los datos de investigación citados al menos dos veces y también muestran un bajo número de citas en altmetrics. Finalmente, se observa que existen diferencias disciplinarias en la disponibilidad y el alcance de las puntuaciones altmétricas.

Métricas de próxima generación: métricas responsables y evaluación para ciencia abierta: Informe del Grupo de Expertos de la Comisión Europea sobre Altmetrics.

icinghower_bookmarklet

“Open Science está cambiando cada aspecto del método científico para ser más abierto, inclusivo e interdisciplinario … Garantizar que Europa esté a la vanguardia de la Ciencia Abierta significa promover el acceso abierto a los datos y publicaciones científicas junto con los más altos estándares de integridad de la investigación”.

Carlos Moedas, Comisario de Investigación, Ciencia e Innovación

Next-generation metrics: Responsible metrics and evaluation for open science: Report of the European Commission Expert Group on Altmetrics. . [e-Book] Brussels, European Commission, 2017.

Texto completo

Impulsado tanto por las tecnologías digitales como por el cambio social, la ciencia abierta representa una innovación en la forma en que se lleva a cabo la investigación: en cómo los científicos colaboran y comparten el conocimiento con el mundo en general, y cómo se organizan las instituciones científicas para un mayor impacto social.  

La tecnología nos proporciona nuevos modos de comunicación y genera enormes volúmenes de datos. El conocimiento juega un papel cada vez más importante en todos los ámbitos de la vida. Estos cambios han acelerado la globalización de la investigación, al mismo tiempo que han aumentado enormemente la disponibilidad pública del conocimiento científico.

La ciencia hoy está en transición desde un sistema relativamente cerrado, disciplinario y basado en la profesión, hacia una estructura abierta e interdisciplinaria donde la creación de conocimiento es más accesible directamente a las partes interesadas a través de la sociedad. La Comisión Europea dio su firme apoyo a esta transición en su informe de 2016 “Open Innovation, Open Science, Open to the World – A Vision for Europe” (EC,2016).

El objetivo de este Grupo de Expertos es revisar las fortalezas, debilidades y posibilidades futuras de las métricas de próxima generación para avanzar en la agenda de ciencia abierta. Para algunos, el resultado ideal podría parecer el desarrollo de una sola métrica a través de la cual medir la ciencia abierta. Consideramos esto como algo imposible e indeseable. El mejor resultado sería el desarrollo de una serie de métricas que ofrezcan una imagen dinámica del progreso logrado hacia los objetivos de la ciencia abierta.

Las puntuaciones métricas típicamente indican que se ha hecho algún tipo de conexión entre una fuente y un destinatario. Aumentar esas puntuaciones no sólo depende de los esfuerzos de las comunidades científicas por el “lado de la oferta” para proporcionar mejor información a la sociedad. Igualmente importante es el “lado de la demanda”: la receptividad de la sociedad a la información y las perspectivas científicas. Los acontecimientos políticos recientes destacan el La receptividad cambia con el tiempo, a medida que cambian los valores de la sociedad. Las métricas de la siguiente generación, entonces, deben atender a ambos lados de esta ecuación.