Archivo de la etiqueta: Bibliometría

Representaciones temporales de citas para entender el papel cambiante de las publicaciones científicas

 

 

frma-03-00027-g001

Figura 1. Dos ejemplos de citas en texto y contextos de citas de un artículo de PubMed (PubMed ID: 18172933).

 

 

He J and Chen C (2018) Temporal Representations of Citations for Understanding the Changing Roles of Scientific Publications. Front. Res. Metr. Anal. 3:27. doi: 10.3389/frma.2018.00027

 

Las diversas y cambiantes descripciones (es decir, los contextos de las citas) de una publicación caracterizan el impacto y las contribuciones de la publicación anterior. En este artículo, se pretende ofrecer un enfoque para comprender las funciones cambiantes de una publicación caracterizada por su contexto de citas. Se propusieron enfoques para representar los contextos cambiantes de citación de las publicaciones citadas en diferentes períodos como secuencias de vectores mediante la formación de modelos de incrustación temporal. Se pueden utilizar las representaciones temporales para cuantificar cuánto cambiaron las funciones de las publicaciones e interpretar cómo cambiaron. También se evalúa el desempeño de tres maneras de construir contextos de citas para el aprendizaje de la representación. Nuestro estudio en el ámbito biomédico muestra que la métrica sobre los cambios de roles de publicación es estable a nivel de grupo, pero puede explicar la variación de las publicaciones individuales.

 

¿Se ajustan las ventanas fijas de citación a las velocidades de maduración del impacto de las revistas científicas?

a-ripple

Dorta González, M. I. and P. Dorta González “¿Se ajustan las ventanas fijas de citación a las velocidades de maduración del impacto de las revistas científicas?” Investigación bibliotecológica vol. 30, n. 68 (2016). pp. 73-89.

Texto completo

 

Los distintos campos científicos presentan prácticas de citación diferentes. Por ello, los indicadores bibliométricos basados en citas necesitan ser normalizados para permitir comparaciones entre campos. En este trabajo se analizan más de 600 revistas de ocho categorías JCR. Los resultados obtenidos indican que la velocidad de maduración del impacto varía considerablemente de una categoría a otra. El tiempo transcurrido hasta que la distribución de citas alcanza su máximo oscila entre 2 y 5 años, de ahí que el comienzo y finalización de la ventana de citación tengan un efecto determinante sobre el factor de impacto. Algunas revistas son penalizadas por el factor de impacto a 2 años y favorecidas por el de 5 años, y viceversa. Sin embargo, existen factores de impacto con ventanas variables de citación que producen, en términos generales, medidas de tendencia central más próximas.

 

Google Scholar, Web Of Science y Scopus: una comparación sistemática de citas en 252 categorías de temas

using-google-scholar-for-metrics-5-638

Martin-Martín, A ; Orduna-Malea, E. ; Thelwall, M ; Delgado-Cozar, E. “Google Scholar, Web Of Science, and Scopus: A Systematic Comparison of Citations in 252 Subject Categories” (Preprint). Arxiv, August 15, 2018 (Version 1.1)

Texto completo

A pesar de que los recuentos de citas de Google Scholar (GS), Web of Science (WoS) y Scopus son ampliamente consultados por los investigadores y algunas veces utilizados en evaluaciones de investigación, no hay evidencia reciente o sistemática sobre las diferencias entre ellos.

En respuesta, este trabajo investiga 2,448,055 citas a 2,299 documentos altamente citados en inglés de 252 categorías de temas de GS publicados en 2006, comparando GS, WoS Core Collection y Scopus.

GS encontró consistentemente el mayor porcentaje de citas en todas las áreas (93% -96%), muy por delante de Scopus (35% -77%) y WoS (27% -73%). GS encontró casi todas las citas de WoS (95%) y Scopus (92%). La mayoría de las citas encontradas solo por GS provienen de fuentes externas (48% -65%), que incluyen tesis, libros, documentos de conferencia y materiales no publicados. Muchos no eran ingleses (19% -38%), y tendían a ser mucho menos citados que citar fuentes que también estaban en Scopus o WoS.

A pesar de las muchas fuentes exclusivas de GS, las correlaciones de Spearman entre los recuentos de citas en GS y WoS o Scopus son altas (0.78-0.99). Son más bajos en Humanidades, y más bajos entre GS y WoS que entre GS y Scopus. Los resultados sugieren que en todas las áreas los datos de citas de GS son esencialmente un superconjunto de WoS y Scopus, con una cobertura extra sustancial.

Las revistas de acceso abierto tienen una clara ventaja de citación sobre las revistas de suscripción

average-citations-header-image

Curno, Mirjam ;  Oeben, Stephanie “Scientific Excellence at Scale: Open Access journals have a clear citation advantage over subscription journals” Frontiers, 2018

Texto completo

Frontiers es el cuarto editor más citado entre los 20 mayores editores, clasificados por el promedio de citas en un período de tres años (2015-2017). El mismo análisis también revela una ventaja de las revistas de acceso abierto sobre las revistas de suscripción en los últimos tres años.

 

En 2017, el 16% de los artículos revisados por pares de todo el mundo se publicaron en revistas de acceso totalmente abierto, según SCImago (2018). Después de más de dos décadas de la revolución del Acceso Abierto, esto está muy lejos del aspirado 100% . Una de las muchas razones por las que la transición al acceso abierto resultó ser tan difícil es el debate sobre si el acceso abierto puede producir excelencia científica.

En este post de blog se realiza un análisis de revistas contrastando revistas de acceso abierto y revistas de suscripción basadas en datos de SCImago (2018, los datos de SCImago se basan en la base de datos Scopus de Elsevier). El conjunto de datos completo está disponible en Figshare. Estos datos fueron presentados en el EuroScience Open Forum 2018, aquí dispones del powerpoint y la videoconferencia.

En 2017, cuatro de los 20 mayores editores son editores de acceso abierto (Figura 1), 16 son editores de suscripción tradicionales con una gama de revistas de suscripción, híbridas y de acceso abierto.

total-documents-2017-new23

 Figura 1. Los 20 primeros editores por volumen en 2017 en SCImago (2018), En rojo son editores de Acceso Abierto completo.

 

Si se observa la media de citas en un período de tres años (2015-2017) entre los 20 mayores editores, el rendimiento de los editores de acceso totalmente abierto es notable (Figura 2).

top-20

Figura 2. Promedio de citas por artículo, de los artículos publicados en 2015, 2016 y 2017 para los 20 principales editores en 2017 (SCImago, 2018). En rojo están todos los editores de acceso abierto

 

Frontiers ocupa el cuarto lugar entre los 20 editores más importantes por el promedio de citas por artículo publicado entre 2015 y 2017. La tasa de citación media de Frontiers es de 3,65 por artículo y muy por encima de la media de 2,7 para las revistas de suscripción y 2,9 para las de acceso abierto. Entre los editores clasificados, sólo las sociedades científicas especializadas en un campo único y muy citado, como la química o la física, ocupan un lugar más destacado. Entre los editores multidisciplinarios, Frontiers tiene la tasa de citación media más alta.

Otros editores de acceso totalmente abierto también se sitúan por encima de la media en las tasas de citación: PLOS ocupa el sexto lugar con una tasa de citación promedio de 3.25 y MDPI el octavo con una tasa de citación promedio de 3.10 (Figura 2).

En general, a lo largo de los últimos tres años, las revistas de acceso abierto reciben en promedio un 7% más de citas que las revistas de suscripción (Figura 3). Curiosamente, las revistas de acceso abierto publicadas por editores de suscripción tradicionales están logrando en general un mayor impacto dentro del mismo editor.

top-20-publishers-hindawi-amended1

Figura 3. Promedio de citas por artículo en un período de tres años (2015-17) para los 20 principales editores en 2017 en SCImago (2018),

Si desglosamos las revistas de acceso abierto y de suscripción de esos 20 editores, las revistas de acceso abierto tienen una ventaja en las citas, con una media de 2,9 citas por artículo para las revistas de acceso abierto frente a 2,7 citas por artículo para las revistas de suscripción (incluidos los híbridos, Figura 3).

Mientras que 10 de las 16 editoriales tradicionales muestran una clara ventaja de citas para sus revistas de acceso abierto, hay algunas variaciones, que probablemente reflejen estrategias diferentes con los títulos, así como la posición de los editores en términos del contenido que atraen.

Estos resultados están en línea con un reciente Libro Blanco publicado por Springer Nature y Digital Science, que demostró una clara ventaja de los artículos de acceso abierto sobre los artículos de pago en revistas de suscripción híbridas. Los artículos publicados en el formato de acceso abierto fueron 1,6 veces más citados que los artículos de pago en las mismas revistas.

Los hallazgos también están en línea con la ventaja de las citas de las revistas en Frontiers Open Access journals in the 2017 Journal Citation Reports and 2017 CiteSc

Muchos han apreciado los beneficios de la Ciencia Abierta para la sociedad; el descubrimiento, la innovación, el crecimiento económico y el acceso público al conocimiento científico. Estos datos ahora muestran claramente que las revistas de acceso abierto superan a las revistas de suscripción tradicionales en las métricas de citas y ofrecen un mejor impacto para los autores.

 

 

 

Recomendaciones sobre métricas de académicas para bibliotecas de investigación

 

screen-shot-2018-06-20-at-09-31-13

Scholarly Metrics Recommendations for Research Libraries: Deciphering the Trees in the Forest. [e-Book] The Hague, LIBER, 2018.

Texto completo

La Ciencia Abierta requiere algunas transformaciones valientes en este campo. Esto incluye un énfasis en métricas de próxima generación basadas en la transparencia, la apertura y la colaboración: tanto para las áreas científicas tradicionales como para las emergentes.

El uso de métricas académicas es uno de los más desafiantes en el campo de la investigación actual. La proliferación de nuevos modelos de comunicación académica, los cambios en el campo de la evaluación de la investigación y el uso extensivo de las aplicaciones de los medios sociales han sacudido los cimientos de los paradigmas métricos tradicionales.

Para fomentar esta visión de un panorama de investigación transformado en 2022, el Grupo de Trabajo de Métricas Innovadoras de LIBER ha publicado un nuevo informe: Scholarly Metrics Recommendations for Research Libraries: Deciphering the Trees in the Forest.

En el informe se formulan recomendaciones sobre la manera en que las bibliotecas de investigación y las infraestructuras de información pueden abordar las métricas académicas, y sobre cómo empezar a desarrollar servicios que las apoyen. Las recomendaciones se agrupan en cuatro tipos importantes de actividades relacionadas con las métricas:

  • Descubrimiento y Descubribilidad
  • Mostrar los Logros
  • Desarrollo de Servicios
  • Evaluación de la investigación

LIBER reconoce que no todas las bibliotecas parten del mismo punto. El contexto de la investigación en los países europeos es bastante diverso, con bibliotecas que operan en muchos niveles diferentes de experiencia y con diferentes niveles de recursos a su disposición. Por lo tanto, las recomendaciones del informe se organizan en tres niveles de compromiso: Inicial, Intermedio y Avanzado. Las bibliotecas pueden elegir qué recomendaciones adoptar, basándose en su nivel actual de compromiso con las métricas académicas. El orden en que aparecen las recomendaciones se correlaciona con la importancia potencial que pueden tener para una institución

 

 

Desarrollo de directrices internacionales para un proceso eficaz de evaluación del impacto de la investigación

Ampliar imagen

Adam, P., P. V. Ovseiko, et al. “ISRIA statement: ten-point guidelines for an effective process of research impact assessment.” Health Research Policy and Systems vol. 16, n. (2018). pp. 8. https://doi.org/10.1186/s12961-018-0281-5

Texto completo

 

Pavel Ovseiko, Paula Adam, Kathryn Graham y Jonathan Grant presentan las directrices internacionales iniciales para un proceso eficaz de evaluación del impacto de la investigación e invitan a los lectores del Impact Blog a ponerlas en práctica y compartir su experiencia, evidencia y competencia cultural con la comunidad global.

Los gobiernos, los organismos de financiación y las organizaciones de investigación de todo el mundo se han comprometido a medir el impacto de la investigación más allá de las publicaciones académicas. En consecuencia, se está desarrollando rápidamente una práctica multidisciplinaria llamada evaluación del impacto de la investigación. Sin embargo, esta práctica permanece en sus etapas formativas, por lo que actualmente no se dispone de recomendaciones sistematizadas o estándares aceptados para guiar a los investigadores y profesionales.

Poco después de articular la idea de método científico en su Novum Organum Scientiarum de 1620, Francis Bacon subrayó la importancia de que la investigación sea “útil y práctica para la vida del hombre”. Sin embargo, no fue hasta hace mucho tiempo que los gobiernos, los organismos de financiación y las organizaciones de investigación de todo el mundo se dieron cuenta de la necesidad de medir el impacto de la investigación más allá de las publicaciones académicas, comprender cómo funciona la ciencia y optimizar su impacto social y económico.

Para ayudar a los investigadores y profesionales a mejorar el proceso, se han propuesto unas directrices iniciales para un proceso eficaz de evaluación del impacto de la investigación. La eficacia de estas directrices se basa en el conocimiento experto y la experiencia de los profesionales de la International School on Research Impact Assessment. En un documento publicado recientemente, con los puntos de vista de más de 450 expertos y profesionales de 34 países que participaron en la escuela durante los últimos cinco años (2013-2017) se sistematizan en directrices de diez puntos (Figura 1).

1. Analice su contexto
La investigación y su impacto están determinados por el contexto en el que se lleva a cabo y se evalúa la investigación. Por eso es importante entender tanto los entornos de investigación internos (por ejemplo, una institución o un grupo de investigación) como externos (por ejemplo, un país o un campo de investigación).

2. Reflexione continuamente sobre sus propósitos
Las preguntas y la metodología de la evaluación dependen de los objetivos principales. Los investigadores y los profesionales necesitan reflexionar continuamente sobre los propósitos de la evaluación del impacto de la investigación y su relación con la investigación que se está evaluando, sobre todo porque éstos pueden evolucionar con el tiempo.

3. Identificar a las partes interesadas y sus necesidades
Los financiadores de la investigación, los participantes en la investigación, los investigadores, los usuarios de la investigación y los beneficiarios de la investigación tienden a tener diferentes expectativas y usos previstos. Por lo tanto, es imperativo identificar y analizar a las partes interesadas y sus necesidades, priorizar sus intereses y desarrollar estrategias de compromiso apropiadas.

4. Comprometerse con las partes interesadas clave desde el principio
El compromiso de los grupos de interés es clave para valorar la co-creación con la evaluación del impacto de la investigación. Aumenta la solidez social de la misma al hacerla más transparente y participativa. La participación de las partes interesadas también hace que la puesta en práctica de los resultados de manera más eficaz y eficiente al reducir la necesidad de una fase de difusión separada.

5. Elegir críticamente los marcos conceptuales
Al tiempo que proporcionan orientación metodológica y claridad analítica, los marcos conceptuales inevitablemente reducen la riqueza y complejidad de la investigación que se está evaluando. Por lo tanto, los marcos conceptuales deben elegirse de manera crítica, prestando atención al contexto y propósito de un determinado ejercicio de evaluación del impacto de la investigación y a las limitaciones de los marcos.

6. Utilizar métodos mixtos y fuentes de datos múltiples
La evaluación del impacto de la investigación desde la perspectiva de las diferentes partes interesadas aumenta la solidez y la fiabilidad de las evaluaciones del impacto contextual. La mejor manera de lograrlo es desarrollar informes ricos sobre el impacto de la investigación utilizando una combinación de métodos y una variedad de fuentes de datos.

7. Seleccionar indicadores y métricas de manera responsable
Los indicadores cuantitativos y las métricas a menudo se utilizan indebidamente, lo que conduce a resultados sesgados e incentivos perversos. Para evitar estas consecuencias imprevistas, los indicadores cuantitativos y las métricas deben utilizarse de manera equilibrada en relación con el contexto de las evaluaciones del impacto ambiental y en apoyo de otros tipos de pruebas.

8. Anticipar y abordar las cuestiones éticas y los conflictos de intereses
Como en el caso de cualquier investigación y evaluación, la evaluación del impacto de la investigación puede plantear problemas éticos y crear conflictos de intereses. Para maximizar el valor social de la evaluación del impacto de la investigación, los investigadores y los profesionales deben anticipar y abordar estas cuestiones éticas y los conflictos de intereses.

9. Comunicar los resultados a través de múltiples canales
Las diferentes partes interesadas suelen preferir diferentes canales de comunicación y mensajes adaptados a sus necesidades y capacidades de asimilación de conocimientos. Por lo tanto, la traducción efectiva de los resultados de las evaluación del impacto de la investigación en la práctica requiere una estrategia de comunicación integral y diversificada, que incluya blogs de investigación, redes sociales y feeds web, entre otros.

10. Comparta su aprendizaje con la comunidad de evaluación del impacto de la investigación
Dado que la evaluación del impacto de la investigación se encuentra todavía en su etapa formativa, su desarrollo se sustenta en el conocimiento empírico y las habilidades prácticas de la comunidad de práctica. Por lo tanto, es imperativo que los investigadores y profesionales compartan sus experiencias y aprendizajes con la comunidad de práctica sobre la evaluación del impacto de la investigación.

Conclusiones

Estas directrices internacionales pueden ayudar a los profesionales y a los responsables de la formulación de políticas de los organismos de financiación, el gobierno, la industria, las organizaciones benéficas y el mundo académico a mejorar el proceso  evaluación del impacto de la investigación. Pero como estas las directrices no son exhaustivas, requieren evaluación y mejora continua. se invita a los lectores a poner en práctica las directrices y a compartir su experiencia, evidencia y competencia cultural adquirida a través de la implementación de las directrices en nuevos contextos con la comunidad global de práctica de RIA.

 

¿Existe correspondencia entre la medición altmétrica y la calidad de la investigación? un estudio empírico a gran escala basado en datos de F1000Prime.

featured-image

Bornmann, L. and R. Haunschild “Do altmetrics correlate with the quality of papers? A large-scale empirical study based on F1000Prime data.” PloS One vol. 13, n. 5 (2018). pp. e0197133.

Texto completo

 

En este estudio, se aborda la cuestión de si (y hasta qué punto, respectivamente) la medición altmétrica se correlaciona con la calidad científica de los trabajos (medida por las evaluaciones de pares). Sólo unos pocos estudios han investigado previamente la relación entre la altmetria y las evaluaciones por pares. En el primer paso, se analizan las dimensiones subyacentes de la medición por las métricas tradicionales (recuentos de citas) y la altmetria utilizando el análisis de componentes principales (PCA) y el análisis factorial (FA). En el segundo paso, se analiza la relación entre las dimensiones y la calidad de los trabajos (medida por el sistema de revisión por pares posterior a la publicación de las evaluaciones F1000Prime), utilizando el análisis de regresión.

Los resultados del PCA y FA muestran que la medición altmétrica opera a lo largo de diferentes dimensiones, mientras que los recuentos de Mendeley están relacionados con los recuentos de citas, y los tweets forman una dimensión distinta. Los resultados del análisis de regresión indican que las métricas basadas en citas y los conteos de lectores están significativamente más relacionados con la calidad que con los tweets. Este resultado, por un lado, cuestiona el uso de los recuentos de Twitter para fines de evaluación de la investigación y, por otro lado, indica el uso potencial de los recuentos de lectores de Mendeley.

 

Artículos similares:

Redes sociales y altmetrics: nuevos retos para las revistas científicas

Los mil y un reflejos de las publicaciones en el laberinto de espejos de las nuevas métricas.

Relación entre las altermetrías y las medidas tradicionales de medición científica

Los artículos que recibieron más atención en Altmetric.com en 2017

El uso académico de medios sociales y altmetrics: Una revisión de la literatura

Métricas significativas: una guía del bibliotecario del siglo XXI sobre bibliometría, altmetrics e impacto de la investigación

Los recuentos de lectores que ofrece Mendeley son una de las evidencia más consistentes para la estimación temprana del impacto académico

Análisis de datos de investigación: correlación entre citas y puntuaciones altmetrics

Métricas de próxima generación: métricas responsables y evaluación para ciencia abierta: Informe del Grupo de Expertos de la Comisión Europea sobre Altmetrics.