Archivo de la etiqueta: Altmetrics

A medida que los investigadores publican en revistas menos prestigiosas, surgen nuevas medidas de calidad

36189958_s

As Scholars Are Driven to Less Prestigious Journals, New Measures of Quality Emerge. By Lindsay Ellis en The Chronicle of Higher Education February 18, 2019

Ver original

 

A medida que más estudiosos publican en revistas de acceso abierto menos reconocidas, se buscan otras formas de medir el impacto de sus investigaciones. Una medida potencial de alcance es la medición de los datos de las interaciones en línea: publicaciones en Twitter, enlaces a blogs y otras métricas de varios tipos (Altmetrics).

HuMetricsHSS, un proyecto de humanidades y ciencias sociales que hace un seguimiento de los indicadores en esos campos, incluye como otra de esas métricas la “apertura”, que incluye la “transparencia, la franqueza y la rendición de cuentas” de un investigador, además de la práctica de hacer que la investigación de un investigador tenga acceso abierto en todas las etapas.

Estos esfuerzos buscan cambiar las normas establecidas desde hace mucho tiempo. Los investigadores en sus primeras etapas de la carrera académica, alentados por los incentivos de permanencia y promoción, sienten la presión de publicar en revistas académicas de prestigio. Los miembros de las agencias de investigación encargados de evaluar el impacto de la investigación de un solicitante pueden no ser capaces de evaluar su contenido si no tienen la especialidad adecuada, por lo que el nombre de una revista de suscripción bien conocida puede servir como un indicador de calidad. Philip N. Cohen, profesor de sociología en la Universidad de Maryland en College Park. dice que las estructuras y los requisitos desarrollados por la agencias y universidades están obligando a investigadores y a los departamentos a “adaptarse a esta norma y a comprenderla”.

Cohen, ha estado siguiendo este impulso. Pero incluso ese enfoque más holístico todavía tiene deficiencias, dice. “Se está buscando una medida que funcione en todas las disciplinas o en diferentes contextos. Todo el mundo está buscando una forma alternativa”.

Hasta ahora, pocas instituciones han tomado esa táctica. Sólo el 5 por ciento de las instituciones mencionaron el término “acceso abierto” en los documentos de acreditación, promoción y tenencia, según una investigación realizada en 2018 por académicos de la Universidad Simon Fraser, la Universidad Estatal de Arizona, la Universidad de Vermont y la Universidad Nacional Autónoma de México.

 

 

¿Las altmetrías pueden proporcionar información sobre la calidad y el impacto temprano de la investigación?

 

asi24122-fig-0004-m

Wooldridge, J. and M. B. King “Altmetric scores: An early indicator of research impact.” Journal of the Association for Information Science and Technology vol. 70, n. 3 (2019). pp. 271-282. https://onlinelibrary.wiley.com/doi/abs/10.1002/asi.24122

Texto completo

 

En este artículo analiza si las métricas de atención en línea que describen la investigación pueden proporcionar información sobre la calidad de la investigación y el impacto social que no se encuentra sólo en los datos de citas.

El enfoque consiste en establecer un modelo tradicional en el que la verdadera calidad o el impacto de un departamento universitario es determinado por un panel de expertos, pero una métrica de citación se considera un indicador aproximado razonable. Sin embargo, el modelo asume que la información contenida en las puntuaciones proporcionadas por un panel de expertos excede la contenida en una métrica de citación (HEFCE, 2015).

Por último, se amplia este modelo incluyendo datos altmétricos para ver si añade información sobre el rendimiento de un departamento que no pueda deducirse sólo de las citas. Se encontró que la presencia de datos altmétricos para la investigación de apoyo citada está altamente correlacionada con las puntuaciones de la revisión por pares para el impacto social. Por el contrario, no se observó tal conexión con la evaluación de la calidad de la investigación. Por lo que, estos hallazgos sugieren que los datos altmétricos podrían ser útiles como ayuda para evaluar el impacto.

Presencia de las revistas científicas en los medios de comunicación social

 

asi24124-fig-0002-m

Número total de entradas de Facebook publicadas por año para cada índice

 

Zheng, H., H. H. Aung, et al. “Social media presence of scholarly journals.” Journal of the Association for Information Science and Technology vol. 70, n. 3 (2019). pp. 256-270. https://onlinelibrary.wiley.com/doi/abs/10.1002/asi.24124

Texto completo

 

Recientemente, los medios sociales se han convertido en una forma potencialmente nueva para que las revistas científicas difundan y evalúen los resultados de la investigación. Las revistas académicas han comenzado a promover sus artículos de investigación a una amplia gama de audiencias a través de plataformas de medios sociales.

Este artículo tiene por objeto investigar la presencia en los medios de comunicación social de revistas científicas de distintas disciplinas. Se extrajeron revistas de Web of Science y se buscó la presencia en los medios sociales de estas revistas en Facebook y Twitter. También se analizaron las métricas relevantes y el contenido relacionado con las cuentas de los medios sociales de las revistas para el análisis de datos. A partir de estos resultados, la presencia de las revistas académicas en los medios sociales se sitúa entre el 7,1% y el 14,2% en todas las disciplinas, y ha mostrado un aumento constante en la última década.

La popularidad de las revistas científicas en medios sociales es distinta en todas las disciplinas. Además, se investigó si las métricas de los medios sociales de las revistas pueden predecir el Factor de Impacto de la Revista (JIF). Se encontró que el número de seguidores y disciplinas tiene efectos significativos en el JIF. Además, también se llevó a cabo un análisis de redes de co-ocurrencia de palabras para identificar temas populares discutidos por revistas académicas en plataformas de medios sociales. Por último, se destacan los desafíos y problemas que enfrenta este estudio y se discuten las direcciones futuras de la investigación.

 

 

Mesa Altmetrics de la la II Reunión de Servicios de Evaluacion Cientíca de Universidades, Córdoba 2019

Jaltmetrics_q320

II Reunión de los Servicios de Evaluación en las Universidades celebrada en la Universidad de Córdoba el 31 de Enero – 1 de Febrero de 2019.

Mesa Altmetrics

 

Daniel Torres-Salina “La evaluación del libro científico desde la perspectiva de las nuevas métricas” Experiencias y retos de las unidades de evaluación científica.
https://zenodo.org/record/2554945#.XFQieE_Dvtk.twitter

Nicolás Robinson. ‘Altmétricas aplicadas a nivel institucional’
https://t.co/LkorzB7fnh?amp=1

Julio Alonso Arévalo. “Altmetrics: medición del impacto social de la investigación y de la reputación digital del investigador
https://www.dropbox.com/s/ff13oohy7zs68ol/CORDOBA.%20ALtmetrics%20%202.pptx?dl=0

E2437E8A-A9AE-4EFF-B3BF-F09EDAD976D3

¿Pueden las revisiones de Amazon.com ayudar a evaluar el impacto de los libros?

amazonscreen

Mike Thelwall, Kayvan Kousha. “Can Amazon.com Reviews Help to Assess the Wider Impacts of Books”. Journal of the Association for Information Science and Technology 67(3) · August 2014

Texto completo

Aunque los recuentos de citas se utilizan a menudo para evaluar el impacto en la investigación de las publicaciones académicas, son problemáticos para los libros que buscan un impacto educativo o cultural. Para llenar este vacío, este artículo evalúa si una serie de métricas simples derivadas de las revisiones de Amazon.com de libros académicos podrían dar evidencia de sus impactos. Basado en un conjunto de 2.739 monografías académicas de 2008 y un conjunto de 1.305 libros más vendidos en 15 categorías de materias académicas de Amazon.com, la existencia de correlaciones significativas pero bajas o moderadas entre las citas y el número de reseñas, combinadas con otras evidencias, sugiere que las reseñas de libros en línea tienden a reflejar la mayor popularidad de un libro en lugar de su impacto académico, aunque existen diferencias disciplinarias sustanciales. Por lo tanto, se recomiendan las métricas basadas en revisiones en línea para la evaluación de libros que apuntan a un público amplio dentro o fuera de la academia, cuando es importante captar los impactos más amplios de las actividades educativas o culturales y cuando no pueden ser manipulados antes de la evaluación.

Libitaciones, Worldcat, impacto cultural y reputación

dscf8620
Libcitations, worldcat, cultural impact, and fame

Howard D. White, Alesia A. Zuccala

Journal of the Association for Information Science and Technology, Vol. 69, No. 12, December 2018

JASIST. Pages: 1502-1512 | First Published: 05 August 2018

Texto completo

 

Así como se pueden contar las citas de un libro, también se pueden contar el número de bibliotecas de un consorcio que lo tiene. Estos recuentos de existencias por título se pueden obtener del catálogo colectivo del consorcio, como WorldCat de OCLC. Los bibliotecarios que buscan servir bien a sus usuarios deben estar atentos a los diversos tipos de indicadores de los libros. El resultado en WorldCat es un indicador de la atención que reciben determinados libros. Cuanto más alto sea el número (o percentil) de un título, más famoso será, ya sea absolutamente o dentro de una clase de disciplina. El grado de disponibilidad de un libro en bibliotecas también indica el impacto cultural, lo que aporta más evidencias sobre su impacto. Utilizando los datos de WorldCat, se ilustra los grados de impacto alto, medio y bajo con 170 títulos publicados durante 1990-1995 o 2001-2006 y que abarcan las 10 clases principales de Dewey. Utilizamos sus recuentos de libcitación total o sus recuentos de miembros de la Asociación de Bibliotecas de Investigación (ACRL), o ambos, a partir de finales de 2011. Este análisis de su impacto se basa en el reconocimiento de sus autores, la medida en que ellos y sus autores están cubiertos por Wikipedia, y si tienen versiones de películas o de televisión. Las escalas ordinales basadas en la cobertura de Wikipedia y en los recuentos de libcitación están asociadas de manera muy significativa.

 

¿En que medida Altmetrics mide la calidad de la investigación? un estudio empírico a gran escala basado en datos de F1000Prime.

 

practical-applications-of-altmetrics-7-638

Bornmann, L., & Haunschild, R. (2018). Do altmetrics correlate with the quality of papers? A large-scale empirical study based on F1000Prime data. PLOS ONE, 13(5), e0197133. https://doi.org/10.1371/journal.pone.0197133

Texto completo

En este estudio, se aborda la cuestión de si (y hasta qué punto, respectivamente) la altermétrica está relacionada con la calidad científica de los trabajos (medida por las evaluaciones de pares). Sólo unos pocos estudios han investigado previamente la relación entre altmetrías y las evaluaciones de los pares. En una primera etapa, se analizaron las dimensiones subyacentes de la medición para las métricas tradicionales (recuentos de citas) y la almetría, utilizando el análisis de componentes principales (PCA) y el análisis factorial (FA). En la segunda parte, se probó la relación entre las dimensiones y la calidad de los trabajos (medida por el sistema de revisión por pares de las evaluaciones F1000Prime después de la publicación), utilizando el análisis de regresión. Los resultados del PCA y FA muestran que la altmetria opera a lo largo de diferentes dimensiones, mientras que los recuentos de Mendeley están relacionados con los recuentos de citas, y los tweets forman una dimensión separada. Los resultados del análisis de regresión indican que las métricas basadas en citas y los conteos de lectores están significativamente más relacionados con la calidad que con los tweets. Este resultado, por un lado, cuestiona el uso de los recuentos de Twitter para fines de evaluación de la investigación y, por otro, indica el uso potencial de los recuentos de lectores de Mendeley.