Archivo de la etiqueta: Altmetrics

Libro blanco sobre métricas para el impacto de la investigación en las ciencias sociales

2019-05-23_12-13-26

The Latest Thinking About Metrics for Research Impact in the Social Sciences. SAGE Publishing:, 2019

Texto completo

 

Si bien la medición del impacto de la ciencia ha sido tradicionalmente sinónimo de conteos de citas en revistas académicas, tales conteos no logran captar la influencia que la investigación puede tener en la política, la práctica y el público. Mientras que las ciencias sociales y del comportamiento (SBS) se sitúan en una posición única para logar este tipo de impacto y así beneficiar a la sociedad, su verdadero impacto es a menudo ignorado o pasado por alto. Como resultado, se necesita una atención sostenida para ayudar a llamar la atención sobre el valor de las estadísticas estructurales de las empresas.

Un nuevo informe publicado hoy establece los imperativos y las acciones recomendadas para mejorar la medición del impacto de las estadísticas estructurales de las empresas.

El informe resume los puntos clave de un taller de SAGE convocado en febrero con expertos líderes mundiales sobre el impacto de la investigación. Los participantes representaron a la Fundación Alfred P. Sloan, Altmetric, el Centro de Estudios Avanzados en Ciencias del Comportamiento de la Universidad de Stanford, Clarivate Analytics, Google, la Universidad de Nueva York, SAGE, School Dash, SciTech Strategies, el Consejo de Investigación en Ciencias Sociales y la Universidad de Washington.

Las principales conclusiones del informe incluyen:

  • La comunidad académica debe creer que las nuevas métricas de impacto son útiles, necesarias y beneficiosas para la sociedad.
  • Un nuevo y robusto régimen de medición del impacto debe trascender, pero no necesariamente suplantar, a los actuales.
  • Un nuevo régimen de medidas de impacto en las ciencias sociales debe integrar las experiencias y expectativas de cómo los actores no académicos definirán el impacto.
  • Todas las partes interesadas deben comprender que, aunque el impacto en las ciencias sociales es mensurable, las ciencias sociales no son STEM, y que las mediciones del impacto de las ciencias sociales pueden hacerse eco de las de STEM, pero es poco probable que las reflejen.
  • Las ciencias sociales necesitan un vocabulario global, una taxonomía global, metadatos globales y, finalmente, un conjunto global de puntos de referencia para hablar sobre la medición del impacto.
  • El informe también mapea las categorías de partes interesadas, define términos y preguntas clave, propone cuatro modelos para evaluar el impacto, propone los próximos pasos y presenta una lista de 45 recursos y fuentes de datos que podrían ayudar a crear un modelo de impacto de las estadísticas estructurales de las empresas.

 

 

 

 

Sentimientos compartidos: comprensión de las reacciones de Facebook a los artículos académicos

well-being

Freeman, Cole ;  Roy, Mrinal Kanti …er al. “Shared Feelings: Understanding Facebook Reactions to Scholarly Articles” ArXiv. Preprint. 2019

Texto completo

La investigación en plataformas de medios sociales ha tendido a basarse en el análisis textual para realizar tareas de investigación. Aunque los enfoques basados en texto han aumentado significativamente la comprensión del comportamiento en línea y de las dinámicas sociales, pasan por alto las características de estas plataformas que han crecido en importancia en los últimos años: las respuestas basadas en clics al contenido.

En este artículo, se presenta un nuevo conjunto de datos de Facebook Reactions to scholarly content. Una visión general de su estructura, donde se analizan algunas de las tendencias estadísticas de los datos que se utiliza para probar dos algoritmos de aprendizaje supervisado. Las pruebas preliminares sugieren la presencia de estratificación en el número de usuarios que siguen a las páginas, divisiones que parecen coincidir con las distinciones en la materia de esas páginas.

 

Lo último sobre las métricas para medir el impacto de la investigación en ciencias sociales

 

2019-05-23_12-13-26

The Latest Thinking About Metrics for Research Impact in the Social Sciences”. SAGE, 2019

Texto completo

Si bien la medición del impacto de la ciencia ha sido tradicionalmente sinónimo de recuentos de citas en revistas académicas, dichos recuentos no logran captar la influencia que la investigación puede tener sobre las políticas, la práctica y el público. Si bien las ciencias sociales y del comportamiento (SBS) están en una posición única para lograr este impacto y, por lo tanto, beneficiar a la sociedad, su verdadero impacto a menudo se ignora o se pasa por alto. Como resultado, se necesita una atención sostenida para ayudar a atraer la atención al valor de SBS.

El informe resume los puntos clave de un taller que SAGE convocó en febrero con expertos líderes mundiales sobre el impacto de la investigación. Los participantes representaron a la Fundación Alfred P. Sloan, Altmetric, el Centro de Estudios Avanzados en Ciencias del Comportamiento de la Universidad de Stanford, Clarivate Analytics, Google, la Universidad de Nueva York, SAGE, School Dash, SciTech Strategies, el Consejo de Investigación de Ciencias Sociales y la Universidad de Washington.

Los puntos clave del informe incluyen:

  1. La comunidad académica completa debe creer que las nuevas métricas de impacto son útiles, necesarias y beneficiosas para la sociedad.
  2. Un nuevo régimen sólido de medición de impacto debe trascender, pero no necesariamente suplantar, a los sistemas actuales basados ​​en la literatura.
  3. Un nuevo régimen de medidas de impacto de las ciencias sociales debe integrar las experiencias y expectativas de cómo los actores no académicos definirán el impacto.
  4. Todas las partes interesadas deben entender que aunque el impacto de las ciencias sociales es medible, las ciencias sociales no son STEM, y las mediciones de impacto de las ciencias sociales pueden hacerse eco de las STE! pero es poco probable que las reflejen.
  5. Las ciencias sociales necesitan un vocabulario global, una taxonomía global, metadatos globales y, finalmente, un conjunto global de puntos de referencia para hablar sobre la medición del impacto.

El informe también asigna categorías de partes interesadas, define términos y preguntas clave, presenta cuatro modelos para evaluar el impacto, propone los siguientes pasos y presenta una lista de 45 recursos y fuentes de datos que podrían ayudar a crear un modelo de impacto de SBS.

¿Cómo utilizan los bibliotecarios universitarios las métricas de impacto de la investigación?

zendesk_guide_customer_service_metrics_that_matter

 

How Do Academic Librarians Use Research Impact Metrics? post by Rachel Miles. The Bibliomagican,

Ver original

 

Altmetrícas ¿Qué está pasando?

“Hay un creciente interés en la altmétrica”

“Altmetrics se ha convertido en la más nueva herramienta entre los bibliotecarios universitrio.”

“La comunicación académica se está mejorando con el uso de la altmétrica”.

 

Es posible que hayas escuchado una o más de estas frases en los últimos años, especialmente si está en el campo de la comunicación académica. Sin embargo, tales afirmaciones traen a la mente anuncios del mismo tinte: “¡El gatchet más de moda y popular del mercado!” La mayoría de nosotros somos culpables de entusiasmarnos con la última tendencia, herramienta o gadget. En contraste, muchos de nosotros somos escépticos y críticos de las nuevas herramientas y métricas.

Formo parte de un equipo de investigación que quería comprobar si estas afirmaciones sobre el amor de los bibliotecarios por la altmétrica eran ciertas. Junto con Sarah Sutton (Emporia State University, Kansas, EE.UU.) y Stacy Konkiel (Digital Science, Minnesota, EE.UU.), ayudé a encuestar a bibliotecarios estadounidenses para determinar el conocimiento y uso real de la altmétricas entre los bibliotecarios universitarios de EE.UU.. También se encuestó a los bibliotecarios sobre su conocimiento y uso de otros tipos de indicadores de impacto de la investigación, como el recuento de citas, el Factor de Impacto de la Revista y la evidencia de impacto cualitativo. Este estudio (publicado recientemente en el Journal of Librarianship and Scholarly Communication) fue el primer estudio nacional a gran escala de este tipo.

Algunos de los resultados más interesantes de este estudio incluyen:

  • Los bibliotecarios universitarios que trabajan en tareas de apoyo a la  comunicación académica son más propensos a utilizar indicadores de impacto de la investigación, que otros bibliotecarios universitarios.
  • Existe un creciente interés entre los bibliotecarios universitarios de Estados Unidos por utilizar la altmétrica como indicador en los expedientes de promoción y acreditación académica en las instituciones que ofrecen apoyo a las tareas de investigación.
  • Los requisitos de acreditación y promoción del profesorado tienden a influir en la probabilidad de que los bibliotecarios utilicen el JIF y en el recuento de citas durante las consultas.

 

How do academic librarians use research impact metrics fig 1

 

Obviamente, los bibliotecarios que trabajan en las tareas de apoyo a la comunicación académica son más “expertos” en métricas que sus colegas. No es de extrañar por lo tanto que los bibliotecarios universitarios con tareas regulares de apoyo a la comunicación académica (tareas realizadas al menos una vez al mes) estuvieran más familiarizados con los indicadores de impacto de la investigación y, en general, los utilizaran con mayor frecuencia. La Tabla 1 refleja esta tendencia: un porcentaje mucho mayor de bibliotecarios con tareas de comunicación académica regulares respondieron “5 – Soy un experto” cuando se les pidió que clasificaran sus conocimientos sobre JIFs, conteos de citas, estadísticas de uso y altmetricas.

 

 

How do academic librarians use research impact metrics fig 2

Figura 1. Comparación entre el uso de los indicadores de impacto de la investigación por parte de los bibliotecarios en los expedientes de acreditación y promoción en el pasado  y el uso futuro previsto .

 

Los profesores quieren aprender sobre las métricas para fines de evaluación acumulativa, no formativa.

Aunque la investigación no evaluó directamente el uso de las métricas entre los académicos, sí se preguntó a los bibliotecarios universitarios sobre la probabilidad de abordar los indicadores de impacto de la investigación durante las consultas con la el profesorado. De acuerdo con las pruebas estadísticas, es mucho más probable que el JIF, los recuentos de citas, el índice h y, hasta cierto punto, las medidas cualitativas se aborden durante las consultas con el profesorado sobre cuestiones relacionadas con la permanencia en el cargo, la promoción y las subvenciones que durante las consultas sobre cuestiones relacionadas con la publicación. ¿Qué dice esto sobre el uso que hacen los profesores de los indicadores de impacto de la investigación?

 

How do academic librarians use research impact metrics fig 3

Figura 2. Diferencias entre la frecuencia con que se abordan los indicadores de impacto de la investigación durante las consultas individuales con el profesorado en relación con las cuestiones de publicación y la permanencia en el cargo, la promoción y las becas.

 

En primer lugar, no sabemos con certeza por qué se abordaron estos indicadores en particular durante las consultas; los miembros del profesorado podrían haber preguntado inicialmente sobre ellos, o los bibliotecarios podrían haberlos mencionado. Sólo sabemos que los indicadores fueron abordados por los bibliotecarios durante las consultas con el profesorado. Como mínimo, se puede concluir diciendo que la evaluación del impacto de la investigación puede ser más importante para lograr la permanencia en el cargo, la promoción y/o las subvenciones que para determinar la mejor manera de publicar y difundir la investigación.

Otros resultados significativos son aquellos que informan sobre las razones por las cuales los bibliotecarios usan el JIF y sus diferentes niveles de familiaridad con ciertos indicadores de impacto de la investigación. Además, se hace hincapié en la influencia de la acreditación y la promoción en función del compromiso de los investigadores con las mediciones del impacto de la investigación, y además sería necesario investigar más sobre la influencia de las prácticas actuales de evaluación de la investigación y los incentivos de carrera en los procesos académicos y científicos. Finalmente, y de manera importante, se hace una llamada a la comunidad bibliotecaria universitaria para que tome medidas en este importante y emergente campo para ayudar a influenciar y cambiar las prácticas actuales y promover un enfoque más saludable y responsable de la evaluación de la investigación.

 

Altmetrics: la integración del impacto científico y el impacto social de la investigación

 

altmetrics-nature

Alonso-Arévalo, J. “Altmetrics: la integración del impacto científico y el impacto social de la investigación“. . En; Pozo-Cabrera, E., Alonso-Arévalo, J., Gadea, W., Fenger, N., Ledesma-Ayora, M. Epistemología, acceso abierto e impacto de la investigación científica. Cuenca, Ecuador: Universidad Católica de Cuenca, 2016. ISBN 978-9942-972-27-09-5

Texto completo

Los medios sociales están siendo un mecanismo de tracción en todos los aspectos de la vida y de alguna manera también lo son en cuanto a la visibilidad, reconocimiento e influencia de una investigación. Los trabajos de investigación generan millones de documentos. El seguimiento, promoción, selección de un trabajo es decisivo para medir su capacidad de influencia científica. El impacto de la investigación actual puede ser medido a través de la web, por ello los investigadores están confrontando las limitaciones de los sistemas tradicionales con los nuevos sistemas de medición. Algunas de estas herramientas han sido desarrolladas por los propios científicos con el objetivo de tener en cuenta los aspectos que han conllevado al crecimiento exponencial de la ciencia en la era digital y medir de manera adecuada los nuevos comportamientos de los investigadores en el entorno web, para incorporar la influencia e impacto social de la investigación, incluso se ha llegado a plantear que el impacto social puede tener correlación con el futuro impacto científico. Altmetrics ofrece un instantáneo y fácil acceso al impacto inmediato de una investigación en tiempo real. Desde el primer momento de la publicación ofrece datos de visualizaciones, descargas, veces que se ha compartido o comentado en redes sociales, etc., lo que proporciona al autor indicios de cómo se está promocionando su trabajo, y a su vez añade un valor al esfuerzo del editor en la consecución de esta tarea.

 

A medida que los investigadores publican en revistas menos prestigiosas, surgen nuevas medidas de calidad

36189958_s

As Scholars Are Driven to Less Prestigious Journals, New Measures of Quality Emerge. By Lindsay Ellis en The Chronicle of Higher Education February 18, 2019

Ver original

 

A medida que más estudiosos publican en revistas de acceso abierto menos reconocidas, se buscan otras formas de medir el impacto de sus investigaciones. Una medida potencial de alcance es la medición de los datos de las interaciones en línea: publicaciones en Twitter, enlaces a blogs y otras métricas de varios tipos (Altmetrics).

HuMetricsHSS, un proyecto de humanidades y ciencias sociales que hace un seguimiento de los indicadores en esos campos, incluye como otra de esas métricas la “apertura”, que incluye la “transparencia, la franqueza y la rendición de cuentas” de un investigador, además de la práctica de hacer que la investigación de un investigador tenga acceso abierto en todas las etapas.

Estos esfuerzos buscan cambiar las normas establecidas desde hace mucho tiempo. Los investigadores en sus primeras etapas de la carrera académica, alentados por los incentivos de permanencia y promoción, sienten la presión de publicar en revistas académicas de prestigio. Los miembros de las agencias de investigación encargados de evaluar el impacto de la investigación de un solicitante pueden no ser capaces de evaluar su contenido si no tienen la especialidad adecuada, por lo que el nombre de una revista de suscripción bien conocida puede servir como un indicador de calidad. Philip N. Cohen, profesor de sociología en la Universidad de Maryland en College Park. dice que las estructuras y los requisitos desarrollados por la agencias y universidades están obligando a investigadores y a los departamentos a “adaptarse a esta norma y a comprenderla”.

Cohen, ha estado siguiendo este impulso. Pero incluso ese enfoque más holístico todavía tiene deficiencias, dice. “Se está buscando una medida que funcione en todas las disciplinas o en diferentes contextos. Todo el mundo está buscando una forma alternativa”.

Hasta ahora, pocas instituciones han tomado esa táctica. Sólo el 5 por ciento de las instituciones mencionaron el término “acceso abierto” en los documentos de acreditación, promoción y tenencia, según una investigación realizada en 2018 por académicos de la Universidad Simon Fraser, la Universidad Estatal de Arizona, la Universidad de Vermont y la Universidad Nacional Autónoma de México.

 

 

¿Las altmetrías pueden proporcionar información sobre la calidad y el impacto temprano de la investigación?

 

asi24122-fig-0004-m

Wooldridge, J. and M. B. King “Altmetric scores: An early indicator of research impact.” Journal of the Association for Information Science and Technology vol. 70, n. 3 (2019). pp. 271-282. https://onlinelibrary.wiley.com/doi/abs/10.1002/asi.24122

Texto completo

 

En este artículo analiza si las métricas de atención en línea que describen la investigación pueden proporcionar información sobre la calidad de la investigación y el impacto social que no se encuentra sólo en los datos de citas.

El enfoque consiste en establecer un modelo tradicional en el que la verdadera calidad o el impacto de un departamento universitario es determinado por un panel de expertos, pero una métrica de citación se considera un indicador aproximado razonable. Sin embargo, el modelo asume que la información contenida en las puntuaciones proporcionadas por un panel de expertos excede la contenida en una métrica de citación (HEFCE, 2015).

Por último, se amplia este modelo incluyendo datos altmétricos para ver si añade información sobre el rendimiento de un departamento que no pueda deducirse sólo de las citas. Se encontró que la presencia de datos altmétricos para la investigación de apoyo citada está altamente correlacionada con las puntuaciones de la revisión por pares para el impacto social. Por el contrario, no se observó tal conexión con la evaluación de la calidad de la investigación. Por lo que, estos hallazgos sugieren que los datos altmétricos podrían ser útiles como ayuda para evaluar el impacto.