Archivo de la etiqueta: Altmetrics

Altmetrics: la integración del impacto científico y el impacto social de la investigación

altmetrics-nature

Alonso-Arévalo, J. «Altmetrics: la integración del impacto científico y el impacto social de la investigación«. . En; Pozo-Cabrera, E., Alonso-Arévalo, J., Gadea, W., Fenger, N., Ledesma-Ayora, M. Epistemología, acceso abierto e impacto de la investigación científica. Cuenca, Ecuador: Universidad Católica de Cuenca, 2016. ISBN 978-9942-972-27-09-5

Texto completo

Los medios sociales están siendo un mecanismo de tracción en todos los aspectos de la vida y de alguna manera también lo son en cuanto a la visibilidad, reconocimiento e influencia de una investigación. Los trabajos de investigación generan millones de documentos. El seguimiento, promoción, selección de un trabajo es decisivo para medir su capacidad de influencia científica. El impacto de la investigación actual puede ser medido a través de la web, por ello los investigadores están confrontando las limitaciones de los sistemas tradicionales con los nuevos sistemas de medición. Algunas de estas herramientas han sido desarrolladas por los propios científicos con el objetivo de tener en cuenta los aspectos que han conllevado al crecimiento exponencial de la ciencia en la era digital y medir de manera adecuada los nuevos comportamientos de los investigadores en el entorno web, para incorporar la influencia e impacto social de la investigación, incluso se ha llegado a plantear que el impacto social puede tener correlación con el futuro impacto científico. Altmetrics ofrece un instantáneo y fácil acceso al impacto inmediato de una investigación en tiempo real. Desde el primer momento de la publicación ofrece datos de visualizaciones, descargas, veces que se ha compartido o comentado en redes sociales, etc., lo que proporciona al autor indicios de cómo se está promocionando su trabajo, y a su vez añade un valor al esfuerzo del editor en la consecución de esta tarea.

A medida que los investigadores publican en revistas menos prestigiosas, surgen nuevas medidas de calidad

36189958_s

As Scholars Are Driven to Less Prestigious Journals, New Measures of Quality Emerge. By Lindsay Ellis en The Chronicle of Higher Education February 18, 2019

Ver original

 

A medida que más estudiosos publican en revistas de acceso abierto menos reconocidas, se buscan otras formas de medir el impacto de sus investigaciones. Una medida potencial de alcance es la medición de los datos de las interaciones en línea: publicaciones en Twitter, enlaces a blogs y otras métricas de varios tipos (Altmetrics).

HuMetricsHSS, un proyecto de humanidades y ciencias sociales que hace un seguimiento de los indicadores en esos campos, incluye como otra de esas métricas la «apertura», que incluye la «transparencia, la franqueza y la rendición de cuentas» de un investigador, además de la práctica de hacer que la investigación de un investigador tenga acceso abierto en todas las etapas.

Estos esfuerzos buscan cambiar las normas establecidas desde hace mucho tiempo. Los investigadores en sus primeras etapas de la carrera académica, alentados por los incentivos de permanencia y promoción, sienten la presión de publicar en revistas académicas de prestigio. Los miembros de las agencias de investigación encargados de evaluar el impacto de la investigación de un solicitante pueden no ser capaces de evaluar su contenido si no tienen la especialidad adecuada, por lo que el nombre de una revista de suscripción bien conocida puede servir como un indicador de calidad. Philip N. Cohen, profesor de sociología en la Universidad de Maryland en College Park. dice que las estructuras y los requisitos desarrollados por la agencias y universidades están obligando a investigadores y a los departamentos a «adaptarse a esta norma y a comprenderla».

Cohen, ha estado siguiendo este impulso. Pero incluso ese enfoque más holístico todavía tiene deficiencias, dice. «Se está buscando una medida que funcione en todas las disciplinas o en diferentes contextos. Todo el mundo está buscando una forma alternativa».

Hasta ahora, pocas instituciones han tomado esa táctica. Sólo el 5 por ciento de las instituciones mencionaron el término «acceso abierto» en los documentos de acreditación, promoción y tenencia, según una investigación realizada en 2018 por académicos de la Universidad Simon Fraser, la Universidad Estatal de Arizona, la Universidad de Vermont y la Universidad Nacional Autónoma de México.

 

 

¿Las altmetrías pueden proporcionar información sobre la calidad y el impacto temprano de la investigación?

 

asi24122-fig-0004-m

Wooldridge, J. and M. B. King «Altmetric scores: An early indicator of research impact.» Journal of the Association for Information Science and Technology vol. 70, n. 3 (2019). pp. 271-282. https://onlinelibrary.wiley.com/doi/abs/10.1002/asi.24122

Texto completo

 

En este artículo analiza si las métricas de atención en línea que describen la investigación pueden proporcionar información sobre la calidad de la investigación y el impacto social que no se encuentra sólo en los datos de citas.

El enfoque consiste en establecer un modelo tradicional en el que la verdadera calidad o el impacto de un departamento universitario es determinado por un panel de expertos, pero una métrica de citación se considera un indicador aproximado razonable. Sin embargo, el modelo asume que la información contenida en las puntuaciones proporcionadas por un panel de expertos excede la contenida en una métrica de citación (HEFCE, 2015).

Por último, se amplia este modelo incluyendo datos altmétricos para ver si añade información sobre el rendimiento de un departamento que no pueda deducirse sólo de las citas. Se encontró que la presencia de datos altmétricos para la investigación de apoyo citada está altamente correlacionada con las puntuaciones de la revisión por pares para el impacto social. Por el contrario, no se observó tal conexión con la evaluación de la calidad de la investigación. Por lo que, estos hallazgos sugieren que los datos altmétricos podrían ser útiles como ayuda para evaluar el impacto.

Presencia de las revistas científicas en los medios de comunicación social

 

asi24124-fig-0002-m

Número total de entradas de Facebook publicadas por año para cada índice

 

Zheng, H., H. H. Aung, et al. «Social media presence of scholarly journals.» Journal of the Association for Information Science and Technology vol. 70, n. 3 (2019). pp. 256-270. https://onlinelibrary.wiley.com/doi/abs/10.1002/asi.24124

Texto completo

 

Recientemente, los medios sociales se han convertido en una forma potencialmente nueva para que las revistas científicas difundan y evalúen los resultados de la investigación. Las revistas académicas han comenzado a promover sus artículos de investigación a una amplia gama de audiencias a través de plataformas de medios sociales.

Este artículo tiene por objeto investigar la presencia en los medios de comunicación social de revistas científicas de distintas disciplinas. Se extrajeron revistas de Web of Science y se buscó la presencia en los medios sociales de estas revistas en Facebook y Twitter. También se analizaron las métricas relevantes y el contenido relacionado con las cuentas de los medios sociales de las revistas para el análisis de datos. A partir de estos resultados, la presencia de las revistas académicas en los medios sociales se sitúa entre el 7,1% y el 14,2% en todas las disciplinas, y ha mostrado un aumento constante en la última década.

La popularidad de las revistas científicas en medios sociales es distinta en todas las disciplinas. Además, se investigó si las métricas de los medios sociales de las revistas pueden predecir el Factor de Impacto de la Revista (JIF). Se encontró que el número de seguidores y disciplinas tiene efectos significativos en el JIF. Además, también se llevó a cabo un análisis de redes de co-ocurrencia de palabras para identificar temas populares discutidos por revistas académicas en plataformas de medios sociales. Por último, se destacan los desafíos y problemas que enfrenta este estudio y se discuten las direcciones futuras de la investigación.

 

 

Mesa Altmetrics de la la II Reunión de Servicios de Evaluacion Cientíca de Universidades, Córdoba 2019

Jaltmetrics_q320

II Reunión de los Servicios de Evaluación en las Universidades celebrada en la Universidad de Córdoba el 31 de Enero – 1 de Febrero de 2019.

Mesa Altmetrics

Daniel Torres-Salina “La evaluación del libro científico desde la perspectiva de las nuevas métricas» Experiencias y retos de las unidades de evaluación científica.
https://zenodo.org/record/2554945#.XFQieE_Dvtk.twitter

Nicolás Robinson. ‘Altmétricas aplicadas a nivel institucional’
https://t.co/LkorzB7fnh?amp=1

Julio Alonso Arévalo. “Altmetrics: medición del impacto social de la investigación y de la reputación digital del investigador https://www.slideshare.net/JulioAlonso35/altmetrics-la-integracin-del-impacto-cientfico-y-el-impacto-social-de-la-investigacin

E2437E8A-A9AE-4EFF-B3BF-F09EDAD976D3

¿Pueden las revisiones de Amazon.com ayudar a evaluar el impacto de los libros?

amazonscreen

Mike Thelwall, Kayvan Kousha. “Can Amazon.com Reviews Help to Assess the Wider Impacts of Books”. Journal of the Association for Information Science and Technology 67(3) · August 2014

Texto completo

Aunque los recuentos de citas se utilizan a menudo para evaluar el impacto en la investigación de las publicaciones académicas, son problemáticos para los libros que buscan un impacto educativo o cultural. Para llenar este vacío, este artículo evalúa si una serie de métricas simples derivadas de las revisiones de Amazon.com de libros académicos podrían dar evidencia de sus impactos. Basado en un conjunto de 2.739 monografías académicas de 2008 y un conjunto de 1.305 libros más vendidos en 15 categorías de materias académicas de Amazon.com, la existencia de correlaciones significativas pero bajas o moderadas entre las citas y el número de reseñas, combinadas con otras evidencias, sugiere que las reseñas de libros en línea tienden a reflejar la mayor popularidad de un libro en lugar de su impacto académico, aunque existen diferencias disciplinarias sustanciales. Por lo tanto, se recomiendan las métricas basadas en revisiones en línea para la evaluación de libros que apuntan a un público amplio dentro o fuera de la academia, cuando es importante captar los impactos más amplios de las actividades educativas o culturales y cuando no pueden ser manipulados antes de la evaluación.

Libitaciones, Worldcat, impacto cultural y reputación

dscf8620
Libcitations, worldcat, cultural impact, and fame

Howard D. White, Alesia A. Zuccala

Journal of the Association for Information Science and Technology, Vol. 69, No. 12, December 2018

JASIST. Pages: 1502-1512 | First Published: 05 August 2018

Texto completo

 

Así como se pueden contar las citas de un libro, también se pueden contar el número de bibliotecas de un consorcio que lo tiene. Estos recuentos de existencias por título se pueden obtener del catálogo colectivo del consorcio, como WorldCat de OCLC. Los bibliotecarios que buscan servir bien a sus usuarios deben estar atentos a los diversos tipos de indicadores de los libros. El resultado en WorldCat es un indicador de la atención que reciben determinados libros. Cuanto más alto sea el número (o percentil) de un título, más famoso será, ya sea absolutamente o dentro de una clase de disciplina. El grado de disponibilidad de un libro en bibliotecas también indica el impacto cultural, lo que aporta más evidencias sobre su impacto. Utilizando los datos de WorldCat, se ilustra los grados de impacto alto, medio y bajo con 170 títulos publicados durante 1990-1995 o 2001-2006 y que abarcan las 10 clases principales de Dewey. Utilizamos sus recuentos de libcitación total o sus recuentos de miembros de la Asociación de Bibliotecas de Investigación (ACRL), o ambos, a partir de finales de 2011. Este análisis de su impacto se basa en el reconocimiento de sus autores, la medida en que ellos y sus autores están cubiertos por Wikipedia, y si tienen versiones de películas o de televisión. Las escalas ordinales basadas en la cobertura de Wikipedia y en los recuentos de libcitación están asociadas de manera muy significativa.

 

¿En que medida Altmetrics mide la calidad de la investigación? un estudio empírico a gran escala basado en datos de F1000Prime.

 

practical-applications-of-altmetrics-7-638

Bornmann, L., & Haunschild, R. (2018). Do altmetrics correlate with the quality of papers? A large-scale empirical study based on F1000Prime data. PLOS ONE, 13(5), e0197133. https://doi.org/10.1371/journal.pone.0197133

Texto completo

En este estudio, se aborda la cuestión de si (y hasta qué punto, respectivamente) la altermétrica está relacionada con la calidad científica de los trabajos (medida por las evaluaciones de pares). Sólo unos pocos estudios han investigado previamente la relación entre altmetrías y las evaluaciones de los pares. En una primera etapa, se analizaron las dimensiones subyacentes de la medición para las métricas tradicionales (recuentos de citas) y la almetría, utilizando el análisis de componentes principales (PCA) y el análisis factorial (FA). En la segunda parte, se probó la relación entre las dimensiones y la calidad de los trabajos (medida por el sistema de revisión por pares de las evaluaciones F1000Prime después de la publicación), utilizando el análisis de regresión. Los resultados del PCA y FA muestran que la altmetria opera a lo largo de diferentes dimensiones, mientras que los recuentos de Mendeley están relacionados con los recuentos de citas, y los tweets forman una dimensión separada. Los resultados del análisis de regresión indican que las métricas basadas en citas y los conteos de lectores están significativamente más relacionados con la calidad que con los tweets. Este resultado, por un lado, cuestiona el uso de los recuentos de Twitter para fines de evaluación de la investigación y, por otro, indica el uso potencial de los recuentos de lectores de Mendeley.

 

 

¿Qué puede decirnos Altmetric.com sobre las citas de investigación? Un análisis de los datos de Altmetric.com para artículos de investigación de la Universidad de Sheffield

Featured-image

 Tattersall A and Carroll C (2018) What Can Altmetric.com Tell Us About Policy Citations of Research? An Analysis of Altmetric.com Data for Research Articles From the University of Sheffield. Front. Res. Metr. Anal. 3:33. doi: 10.3389/frma.2018.00033

Texto completo

En la actualidad, Altmetric.com realiza un seguimiento de 96.550 resultados de investigación en la Universidad de Sheffield, de los cuales 1.463 se citan en al menos un documento. Esto significa que el 1,41% de la investigación de Sheffield, en todas las disciplinas, es citada por lo menos en un documento.

 

Existe un creciente interés en el uso y análisis de datos altrmétricos para cuantificar el impacto de la investigación, especialmente el impacto social (Bornmann, 2014, Thelwall et al., 2016, Haunschild y Bornmann, 2017). Por lo tanto, el objetivo de este estudio era analizar la utilidad de los datos de Altmetric.com como medio para identificar y categorizar el impacto en las políticas de los artículos de investigación de un solo centro (la Universidad de Sheffield).

Método: Este estudio sólo ha incluido artículos de investigación publicados por autores de la Universidad de Sheffield e indexados en la base de datos de Altmetric.com. Los datos de Altmetric sobre el impacto que obtuvieron de Altmetric.com tras una solicitud de datos y se incluyeron citas hasta febrero de 2017. También se recopilaron datos suplementarios de Altmetric.com, incluyendo noticias, blogs, lectores de Mendeley y citas de Wikipedia.

Resultados: Los datos de Altmetric.com permitieron la identificación de documentos de política que citaban artículos relevantes. En total, se encontraron 1.463 artículos de investigación publicados de autores de la Universidad de Sheffield citados en entre 1 y 13 documentos de política. 21 artículos de investigación (1%) fueron citados en cinco o más documentos ; 21 (1%) en cuatro documentos ; 50 (3%) en tres documentos; 186 (13%) en dos documentos; y 1,185 (81%) en un documento. De esos 1.463 productos, 1.449 (99%) eran artículos de revistas, 13 eran libros y 1 era un capítulo de libro (menos del 1%). El tiempo transcurrido desde la publicación de la investigación hasta su cita en los documentos osciló entre 3 meses y 31 años. El análisis de los 92 artículos de investigación citados en tres o más documentos indicó que los temas de investigación con mayor impacto fueron medicina, odontología y salud, seguidos por ciencias sociales y ciencia pura. Los datos de Altmetric.com permitieron una evaluación en profundidad de los 21 artículos de investigación citados en cinco o más documentos. Sin embargo, se encontraron errores de atribución y designación en los datos de Altmetric.com. Estos hallazgos podrían ser generalizables a otras instituciones similares en estructura organizativa a la Universidad de Sheffield.

Conclusión: Dentro de las limitaciones del actual sistema de minería de texto, Altmetric.com puede ofrecer datos importantes y altamente accesibles sobre el impacto en las políticas de los artículos de investigación publicados por una organización, pero se debe tener cuidado al tratar de utilizar estos datos, especialmente en términos de proporcionar evidencia del impacto en las políticas.

 

 

 

 

Análisis bibliométrico y altermétrico de tres disciplinas de las ciencias sociales

frma-03-00034-g006

Las menciones de los medios de comunicación social por tipo de fuente y disciplina.

 

De Filippo D and Sanz-Casado E (2018) Bibliometric and Altmetric Analysis of Three Social Science Disciplines. Front. Res. Metr. Anal. 3:34. doi: 10.3389/frma.2018.00034

Texto completo

Este artículo analiza publicaciones científicas de prestigio internacional en tres disciplinas de las ciencias sociales (Comunicación, Economía y Sociología) para identificar posibles patrones de producción. Se hace hincapié en el estudio del impacto y la visibilidad, tanto a través de indicadores bibliométricos como altimétricos, para determinar similitudes y diferencias y establecer posibles relaciones intervariables. Se discute el uso de medidas como la presencia en los medios sociales para el estudio de la visibilidad de los documentos. Para ello se recuperaron un total de 112.300 artículos de Social Science Citation Index (SSCI) publicados entre 2013 y 2015 en las tres disciplinas analizadas

La disciplina Economía fue la que más contribuyó y se observó que tenía un perfil de producción «estable» y consolidado. Se encontró que la colaboración, el impacto y la visibilidad estaban interrelacionados en los tres campos. La proporción de artículos con menciones en los medios sociales fue alta (alrededor del 50%) en Comunicación y Sociología, lo que sugiere una relación entre el objeto de estudio y el medio de difusión de los resultados.

Los tweets fueron el tipo más común de menciones. Mientras que la correlación entre el impacto académico (citación/doc) y las menciones en blogs y tweets se observó que era baja, el porcentaje de artículos citados (78 a 96%) y el número medio de citas por artículo fueron mayores entre aquellos que no se mencionaron en los medios sociales (especialmente aquellos mencionados en Google+, MSM, videos y Wikipedia). La proporción de artículos de acceso abierto (OA) con menciones en los medios sociales fue mayor que el porcentaje de artículos de acceso abierto en su conjunto en dos de las tres disciplinas.