Archivo de la etiqueta: Altmetrics

¿Las altmetrías pueden proporcionar información sobre la calidad y el impacto temprano de la investigación?

 

asi24122-fig-0004-m

Wooldridge, J. and M. B. King “Altmetric scores: An early indicator of research impact.” Journal of the Association for Information Science and Technology vol. 70, n. 3 (2019). pp. 271-282. https://onlinelibrary.wiley.com/doi/abs/10.1002/asi.24122

Texto completo

 

En este artículo analiza si las métricas de atención en línea que describen la investigación pueden proporcionar información sobre la calidad de la investigación y el impacto social que no se encuentra sólo en los datos de citas.

El enfoque consiste en establecer un modelo tradicional en el que la verdadera calidad o el impacto de un departamento universitario es determinado por un panel de expertos, pero una métrica de citación se considera un indicador aproximado razonable. Sin embargo, el modelo asume que la información contenida en las puntuaciones proporcionadas por un panel de expertos excede la contenida en una métrica de citación (HEFCE, 2015).

Por último, se amplia este modelo incluyendo datos altmétricos para ver si añade información sobre el rendimiento de un departamento que no pueda deducirse sólo de las citas. Se encontró que la presencia de datos altmétricos para la investigación de apoyo citada está altamente correlacionada con las puntuaciones de la revisión por pares para el impacto social. Por el contrario, no se observó tal conexión con la evaluación de la calidad de la investigación. Por lo que, estos hallazgos sugieren que los datos altmétricos podrían ser útiles como ayuda para evaluar el impacto.

Presencia de las revistas científicas en los medios de comunicación social

 

asi24124-fig-0002-m

Número total de entradas de Facebook publicadas por año para cada índice

 

Zheng, H., H. H. Aung, et al. “Social media presence of scholarly journals.” Journal of the Association for Information Science and Technology vol. 70, n. 3 (2019). pp. 256-270. https://onlinelibrary.wiley.com/doi/abs/10.1002/asi.24124

Texto completo

 

Recientemente, los medios sociales se han convertido en una forma potencialmente nueva para que las revistas científicas difundan y evalúen los resultados de la investigación. Las revistas académicas han comenzado a promover sus artículos de investigación a una amplia gama de audiencias a través de plataformas de medios sociales.

Este artículo tiene por objeto investigar la presencia en los medios de comunicación social de revistas científicas de distintas disciplinas. Se extrajeron revistas de Web of Science y se buscó la presencia en los medios sociales de estas revistas en Facebook y Twitter. También se analizaron las métricas relevantes y el contenido relacionado con las cuentas de los medios sociales de las revistas para el análisis de datos. A partir de estos resultados, la presencia de las revistas académicas en los medios sociales se sitúa entre el 7,1% y el 14,2% en todas las disciplinas, y ha mostrado un aumento constante en la última década.

La popularidad de las revistas científicas en medios sociales es distinta en todas las disciplinas. Además, se investigó si las métricas de los medios sociales de las revistas pueden predecir el Factor de Impacto de la Revista (JIF). Se encontró que el número de seguidores y disciplinas tiene efectos significativos en el JIF. Además, también se llevó a cabo un análisis de redes de co-ocurrencia de palabras para identificar temas populares discutidos por revistas académicas en plataformas de medios sociales. Por último, se destacan los desafíos y problemas que enfrenta este estudio y se discuten las direcciones futuras de la investigación.

 

 

Mesa Altmetrics de la la II Reunión de Servicios de Evaluacion Cientíca de Universidades, Córdoba 2019

Jaltmetrics_q320

II Reunión de los Servicios de Evaluación en las Universidades celebrada en la Universidad de Córdoba el 31 de Enero – 1 de Febrero de 2019.

Mesa Altmetrics

 

Daniel Torres-Salina “La evaluación del libro científico desde la perspectiva de las nuevas métricas” Experiencias y retos de las unidades de evaluación científica.
https://zenodo.org/record/2554945#.XFQieE_Dvtk.twitter

Nicolás Robinson. ‘Altmétricas aplicadas a nivel institucional’
https://t.co/LkorzB7fnh?amp=1

Julio Alonso Arévalo. “Altmetrics: medición del impacto social de la investigación y de la reputación digital del investigador
https://www.dropbox.com/s/ff13oohy7zs68ol/CORDOBA.%20ALtmetrics%20%202.pptx?dl=0

E2437E8A-A9AE-4EFF-B3BF-F09EDAD976D3

¿Pueden las revisiones de Amazon.com ayudar a evaluar el impacto de los libros?

amazonscreen

Mike Thelwall, Kayvan Kousha. “Can Amazon.com Reviews Help to Assess the Wider Impacts of Books”. Journal of the Association for Information Science and Technology 67(3) · August 2014

Texto completo

Aunque los recuentos de citas se utilizan a menudo para evaluar el impacto en la investigación de las publicaciones académicas, son problemáticos para los libros que buscan un impacto educativo o cultural. Para llenar este vacío, este artículo evalúa si una serie de métricas simples derivadas de las revisiones de Amazon.com de libros académicos podrían dar evidencia de sus impactos. Basado en un conjunto de 2.739 monografías académicas de 2008 y un conjunto de 1.305 libros más vendidos en 15 categorías de materias académicas de Amazon.com, la existencia de correlaciones significativas pero bajas o moderadas entre las citas y el número de reseñas, combinadas con otras evidencias, sugiere que las reseñas de libros en línea tienden a reflejar la mayor popularidad de un libro en lugar de su impacto académico, aunque existen diferencias disciplinarias sustanciales. Por lo tanto, se recomiendan las métricas basadas en revisiones en línea para la evaluación de libros que apuntan a un público amplio dentro o fuera de la academia, cuando es importante captar los impactos más amplios de las actividades educativas o culturales y cuando no pueden ser manipulados antes de la evaluación.

Libitaciones, Worldcat, impacto cultural y reputación

dscf8620
Libcitations, worldcat, cultural impact, and fame

Howard D. White, Alesia A. Zuccala

Journal of the Association for Information Science and Technology, Vol. 69, No. 12, December 2018

JASIST. Pages: 1502-1512 | First Published: 05 August 2018

Texto completo

 

Así como se pueden contar las citas de un libro, también se pueden contar el número de bibliotecas de un consorcio que lo tiene. Estos recuentos de existencias por título se pueden obtener del catálogo colectivo del consorcio, como WorldCat de OCLC. Los bibliotecarios que buscan servir bien a sus usuarios deben estar atentos a los diversos tipos de indicadores de los libros. El resultado en WorldCat es un indicador de la atención que reciben determinados libros. Cuanto más alto sea el número (o percentil) de un título, más famoso será, ya sea absolutamente o dentro de una clase de disciplina. El grado de disponibilidad de un libro en bibliotecas también indica el impacto cultural, lo que aporta más evidencias sobre su impacto. Utilizando los datos de WorldCat, se ilustra los grados de impacto alto, medio y bajo con 170 títulos publicados durante 1990-1995 o 2001-2006 y que abarcan las 10 clases principales de Dewey. Utilizamos sus recuentos de libcitación total o sus recuentos de miembros de la Asociación de Bibliotecas de Investigación (ACRL), o ambos, a partir de finales de 2011. Este análisis de su impacto se basa en el reconocimiento de sus autores, la medida en que ellos y sus autores están cubiertos por Wikipedia, y si tienen versiones de películas o de televisión. Las escalas ordinales basadas en la cobertura de Wikipedia y en los recuentos de libcitación están asociadas de manera muy significativa.

 

¿En que medida Altmetrics mide la calidad de la investigación? un estudio empírico a gran escala basado en datos de F1000Prime.

 

practical-applications-of-altmetrics-7-638

Bornmann, L., & Haunschild, R. (2018). Do altmetrics correlate with the quality of papers? A large-scale empirical study based on F1000Prime data. PLOS ONE, 13(5), e0197133. https://doi.org/10.1371/journal.pone.0197133

Texto completo

En este estudio, se aborda la cuestión de si (y hasta qué punto, respectivamente) la altermétrica está relacionada con la calidad científica de los trabajos (medida por las evaluaciones de pares). Sólo unos pocos estudios han investigado previamente la relación entre altmetrías y las evaluaciones de los pares. En una primera etapa, se analizaron las dimensiones subyacentes de la medición para las métricas tradicionales (recuentos de citas) y la almetría, utilizando el análisis de componentes principales (PCA) y el análisis factorial (FA). En la segunda parte, se probó la relación entre las dimensiones y la calidad de los trabajos (medida por el sistema de revisión por pares de las evaluaciones F1000Prime después de la publicación), utilizando el análisis de regresión. Los resultados del PCA y FA muestran que la altmetria opera a lo largo de diferentes dimensiones, mientras que los recuentos de Mendeley están relacionados con los recuentos de citas, y los tweets forman una dimensión separada. Los resultados del análisis de regresión indican que las métricas basadas en citas y los conteos de lectores están significativamente más relacionados con la calidad que con los tweets. Este resultado, por un lado, cuestiona el uso de los recuentos de Twitter para fines de evaluación de la investigación y, por otro, indica el uso potencial de los recuentos de lectores de Mendeley.

 

 

¿Qué puede decirnos Altmetric.com sobre las citas de investigación? Un análisis de los datos de Altmetric.com para artículos de investigación de la Universidad de Sheffield

Featured-image

 Tattersall A and Carroll C (2018) What Can Altmetric.com Tell Us About Policy Citations of Research? An Analysis of Altmetric.com Data for Research Articles From the University of SheffieldFront. Res. Metr. Anal. 3:33. doi: 10.3389/frma.2018.00033

Texto completo

En la actualidad, Altmetric.com realiza un seguimiento de 96.550 resultados de investigación en la Universidad de Sheffield, de los cuales 1.463 se citan en al menos un documento. Esto significa que el 1,41% de la investigación de Sheffield, en todas las disciplinas, es citada por lo menos en un documento.

 

Existe un creciente interés en el uso y análisis de datos altrmétricos para cuantificar el impacto de la investigación, especialmente el impacto social (Bornmann, 2014, Thelwall et al., 2016, Haunschild y Bornmann, 2017). Por lo tanto, el objetivo de este estudio era analizar la utilidad de los datos de Altmetric.com como medio para identificar y categorizar el impacto en las políticas de los artículos de investigación de un solo centro (la Universidad de Sheffield).

Método: Este estudio sólo ha incluido artículos de investigación publicados por autores de la Universidad de Sheffield e indexados en la base de datos de Altmetric.com. Los datos de Altmetric sobre el impacto que obtuvieron de Altmetric.com tras una solicitud de datos y se incluyeron citas hasta febrero de 2017. También se recopilaron datos suplementarios de Altmetric.com, incluyendo noticias, blogs, lectores de Mendeley y citas de Wikipedia.

Resultados: Los datos de Altmetric.com permitieron la identificación de documentos de política que citaban artículos relevantes. En total, se encontraron 1.463 artículos de investigación publicados de autores de la Universidad de Sheffield citados en entre 1 y 13 documentos de política. 21 artículos de investigación (1%) fueron citados en cinco o más documentos ; 21 (1%) en cuatro documentos ; 50 (3%) en tres documentos; 186 (13%) en dos documentos; y 1,185 (81%) en un documento. De esos 1.463 productos, 1.449 (99%) eran artículos de revistas, 13 eran libros y 1 era un capítulo de libro (menos del 1%). El tiempo transcurrido desde la publicación de la investigación hasta su cita en los documentos osciló entre 3 meses y 31 años. El análisis de los 92 artículos de investigación citados en tres o más documentos indicó que los temas de investigación con mayor impacto fueron medicina, odontología y salud, seguidos por ciencias sociales y ciencia pura. Los datos de Altmetric.com permitieron una evaluación en profundidad de los 21 artículos de investigación citados en cinco o más documentos. Sin embargo, se encontraron errores de atribución y designación en los datos de Altmetric.com. Estos hallazgos podrían ser generalizables a otras instituciones similares en estructura organizativa a la Universidad de Sheffield.

Conclusión: Dentro de las limitaciones del actual sistema de minería de texto, Altmetric.com puede ofrecer datos importantes y altamente accesibles sobre el impacto en las políticas de los artículos de investigación publicados por una organización, pero se debe tener cuidado al tratar de utilizar estos datos, especialmente en términos de proporcionar evidencia del impacto en las políticas.