Archivo de la etiqueta: Métricas

Libro blanco sobre métricas para el impacto de la investigación en las ciencias sociales

2019-05-23_12-13-26

The Latest Thinking About Metrics for Research Impact in the Social Sciences. SAGE Publishing:, 2019

Texto completo

 

Si bien la medición del impacto de la ciencia ha sido tradicionalmente sinónimo de conteos de citas en revistas académicas, tales conteos no logran captar la influencia que la investigación puede tener en la política, la práctica y el público. Mientras que las ciencias sociales y del comportamiento (SBS) se sitúan en una posición única para logar este tipo de impacto y así beneficiar a la sociedad, su verdadero impacto es a menudo ignorado o pasado por alto. Como resultado, se necesita una atención sostenida para ayudar a llamar la atención sobre el valor de las estadísticas estructurales de las empresas.

Un nuevo informe publicado hoy establece los imperativos y las acciones recomendadas para mejorar la medición del impacto de las estadísticas estructurales de las empresas.

El informe resume los puntos clave de un taller de SAGE convocado en febrero con expertos líderes mundiales sobre el impacto de la investigación. Los participantes representaron a la Fundación Alfred P. Sloan, Altmetric, el Centro de Estudios Avanzados en Ciencias del Comportamiento de la Universidad de Stanford, Clarivate Analytics, Google, la Universidad de Nueva York, SAGE, School Dash, SciTech Strategies, el Consejo de Investigación en Ciencias Sociales y la Universidad de Washington.

Las principales conclusiones del informe incluyen:

  • La comunidad académica debe creer que las nuevas métricas de impacto son útiles, necesarias y beneficiosas para la sociedad.
  • Un nuevo y robusto régimen de medición del impacto debe trascender, pero no necesariamente suplantar, a los actuales.
  • Un nuevo régimen de medidas de impacto en las ciencias sociales debe integrar las experiencias y expectativas de cómo los actores no académicos definirán el impacto.
  • Todas las partes interesadas deben comprender que, aunque el impacto en las ciencias sociales es mensurable, las ciencias sociales no son STEM, y que las mediciones del impacto de las ciencias sociales pueden hacerse eco de las de STEM, pero es poco probable que las reflejen.
  • Las ciencias sociales necesitan un vocabulario global, una taxonomía global, metadatos globales y, finalmente, un conjunto global de puntos de referencia para hablar sobre la medición del impacto.
  • El informe también mapea las categorías de partes interesadas, define términos y preguntas clave, propone cuatro modelos para evaluar el impacto, propone los próximos pasos y presenta una lista de 45 recursos y fuentes de datos que podrían ayudar a crear un modelo de impacto de las estadísticas estructurales de las empresas.

 

 

 

 

Lo último sobre las métricas para medir el impacto de la investigación en ciencias sociales

 

2019-05-23_12-13-26

The Latest Thinking About Metrics for Research Impact in the Social Sciences”. SAGE, 2019

Texto completo

Si bien la medición del impacto de la ciencia ha sido tradicionalmente sinónimo de recuentos de citas en revistas académicas, dichos recuentos no logran captar la influencia que la investigación puede tener sobre las políticas, la práctica y el público. Si bien las ciencias sociales y del comportamiento (SBS) están en una posición única para lograr este impacto y, por lo tanto, beneficiar a la sociedad, su verdadero impacto a menudo se ignora o se pasa por alto. Como resultado, se necesita una atención sostenida para ayudar a atraer la atención al valor de SBS.

El informe resume los puntos clave de un taller que SAGE convocó en febrero con expertos líderes mundiales sobre el impacto de la investigación. Los participantes representaron a la Fundación Alfred P. Sloan, Altmetric, el Centro de Estudios Avanzados en Ciencias del Comportamiento de la Universidad de Stanford, Clarivate Analytics, Google, la Universidad de Nueva York, SAGE, School Dash, SciTech Strategies, el Consejo de Investigación de Ciencias Sociales y la Universidad de Washington.

Los puntos clave del informe incluyen:

  1. La comunidad académica completa debe creer que las nuevas métricas de impacto son útiles, necesarias y beneficiosas para la sociedad.
  2. Un nuevo régimen sólido de medición de impacto debe trascender, pero no necesariamente suplantar, a los sistemas actuales basados ​​en la literatura.
  3. Un nuevo régimen de medidas de impacto de las ciencias sociales debe integrar las experiencias y expectativas de cómo los actores no académicos definirán el impacto.
  4. Todas las partes interesadas deben entender que aunque el impacto de las ciencias sociales es medible, las ciencias sociales no son STEM, y las mediciones de impacto de las ciencias sociales pueden hacerse eco de las STE! pero es poco probable que las reflejen.
  5. Las ciencias sociales necesitan un vocabulario global, una taxonomía global, metadatos globales y, finalmente, un conjunto global de puntos de referencia para hablar sobre la medición del impacto.

El informe también asigna categorías de partes interesadas, define términos y preguntas clave, presenta cuatro modelos para evaluar el impacto, propone los siguientes pasos y presenta una lista de 45 recursos y fuentes de datos que podrían ayudar a crear un modelo de impacto de SBS.

Tarjetas de referencia rápida para bibliotecarios sobre métricas de impacto en la investigación

 

els_lc_metrics-ref-cards_librarian_v2.0

Quick Reference Cards for Research Impact Metrics POSTER (11×17 inch PDF with space in footer to add library information)

Librarian Quick Reference Cards for Research Impact Metrics POSTER (original librarian version of 11×17 inch poster)

Larger format CARDS  – 4 per 8.5×11″ page

PowerPoint with one card per slide

 

Cada vez más, los bibliotecarios participan en el seguimiento y la presentación de informes sobre los resultados de la investigación. Si bien las métricas ayudan a iluminar el impacto de los resultados de la investigación, puede ser un desafío para los bibliotecarios que no están familiarizados con el impacto de la investigación, por lo que  puede ser de mucha ayuda estos documentos de referencia rápida que recogen una grupo de métricas en los que además podemos encontrar definiciones y recursos en un solo lugar. Las Tarjetas de Referencia Rápida para Métricas de Impacto de Investigación (Quick Reference Cards for Research Impact Metrics), afiches, tarjetas y PowerPoint se encuentran en esta página fueron actualizadas el 8 de diciembre de 2016.

Research Interest Score: el nuevo indicador bibliométrico que mide la influencia de las publicaciones de un autor en ResearchGate

 

9f59698c-e156-4f33-9520-405cb7f4d9c6_researchgate_56f72ad6_490x330

Delgado López-Cózar, E. and E. Orduña-Malea “Research interest score: el nuevo indicador bibliométrico que mide la influencia de las publicaciones de un autor en ResearchGate.” vol., n. (2019). pp.: https://doi.org/10.13140/RG.2.2.16342.50249

 

La red social académica ResearchGate, más allá de proporcionar distintas prestaciones orientadas a favorecer la interacción y conectividad entre investigadores,ofrece a sus usuarios un amplio abanico de métricas tanto a nivel de ítem (documentos, proyectos y preguntas/respuestas) como de autor que, calculados sobre la base de más de 118 millones de documentos y 15 millones de usuarios actuales, les sitúa como un claro actor dentro del sector de las Altmetrics. La plataforma ha lanzado recientemente (febrero 2019) un nuevo indicador (Research interest score) basado en medir la influencia de un documento y un autor a partir de la integración sintética de distintas métricas, tanto tradicionales (citas recibidas) como altmétricas (Lecturas y Recomendaciones). El objetivo de este trabajo es describir el funcionamiento de este nuevo indicador así como sus principales ventajas e inconvenientes. Finalmente,a fin de conocer mejor las propiedades de la nueva métrica, se han planteado dos estudios empíricos. En el primero,a partir de una muestra de autores en el sector de la Biblioteconomía y Documentación en España (n=190), se comprueba empíricamente que este indicador correlaciona de forma elevada tanto con las citas recibidas como con el RG Scoree Índice H. En el segundo, a partir de una muestra de 30 artículos publicados en una revista de Documentación y Comunicación, se ha comparado el nuevo indicador con 34 métricas proporcionadas por Web of Science, Scopus, Dimensions, Plum Analytics, Mendeley y Altmetric.com, a fin de averiguar en qué medida ofrece algo singular.Los resultados sugieren que el indicador correlaciona con las citas debido a su fórmula de su cálculo (subjetiva y no justificada estadísticamente), lo que le hace correlacionar a su vez con todos los indicadores igualmente basados en esta métrica, generando dudas acerca de su actual necesidad,aunque abriendo puertas hacia un futuro de nuevos indicadores centrados en las interacciones online de los investigadores(especialmente Visualizaciones y Recomendaciones)

A medida que los investigadores publican en revistas menos prestigiosas, surgen nuevas medidas de calidad

36189958_s

As Scholars Are Driven to Less Prestigious Journals, New Measures of Quality Emerge. By Lindsay Ellis en The Chronicle of Higher Education February 18, 2019

Ver original

 

A medida que más estudiosos publican en revistas de acceso abierto menos reconocidas, se buscan otras formas de medir el impacto de sus investigaciones. Una medida potencial de alcance es la medición de los datos de las interaciones en línea: publicaciones en Twitter, enlaces a blogs y otras métricas de varios tipos (Altmetrics).

HuMetricsHSS, un proyecto de humanidades y ciencias sociales que hace un seguimiento de los indicadores en esos campos, incluye como otra de esas métricas la “apertura”, que incluye la “transparencia, la franqueza y la rendición de cuentas” de un investigador, además de la práctica de hacer que la investigación de un investigador tenga acceso abierto en todas las etapas.

Estos esfuerzos buscan cambiar las normas establecidas desde hace mucho tiempo. Los investigadores en sus primeras etapas de la carrera académica, alentados por los incentivos de permanencia y promoción, sienten la presión de publicar en revistas académicas de prestigio. Los miembros de las agencias de investigación encargados de evaluar el impacto de la investigación de un solicitante pueden no ser capaces de evaluar su contenido si no tienen la especialidad adecuada, por lo que el nombre de una revista de suscripción bien conocida puede servir como un indicador de calidad. Philip N. Cohen, profesor de sociología en la Universidad de Maryland en College Park. dice que las estructuras y los requisitos desarrollados por la agencias y universidades están obligando a investigadores y a los departamentos a “adaptarse a esta norma y a comprenderla”.

Cohen, ha estado siguiendo este impulso. Pero incluso ese enfoque más holístico todavía tiene deficiencias, dice. “Se está buscando una medida que funcione en todas las disciplinas o en diferentes contextos. Todo el mundo está buscando una forma alternativa”.

Hasta ahora, pocas instituciones han tomado esa táctica. Sólo el 5 por ciento de las instituciones mencionaron el término “acceso abierto” en los documentos de acreditación, promoción y tenencia, según una investigación realizada en 2018 por académicos de la Universidad Simon Fraser, la Universidad Estatal de Arizona, la Universidad de Vermont y la Universidad Nacional Autónoma de México.

 

 

Mesa Altmetrics de la la II Reunión de Servicios de Evaluacion Cientíca de Universidades, Córdoba 2019

Jaltmetrics_q320

II Reunión de los Servicios de Evaluación en las Universidades celebrada en la Universidad de Córdoba el 31 de Enero – 1 de Febrero de 2019.

Mesa Altmetrics

 

Daniel Torres-Salina “La evaluación del libro científico desde la perspectiva de las nuevas métricas” Experiencias y retos de las unidades de evaluación científica.
https://zenodo.org/record/2554945#.XFQieE_Dvtk.twitter

Nicolás Robinson. ‘Altmétricas aplicadas a nivel institucional’
https://t.co/LkorzB7fnh?amp=1

Julio Alonso Arévalo. “Altmetrics: medición del impacto social de la investigación y de la reputación digital del investigador
https://www.dropbox.com/s/ff13oohy7zs68ol/CORDOBA.%20ALtmetrics%20%202.pptx?dl=0

E2437E8A-A9AE-4EFF-B3BF-F09EDAD976D3

¿Pueden las revisiones de Amazon.com ayudar a evaluar el impacto de los libros?

amazonscreen

Mike Thelwall, Kayvan Kousha. “Can Amazon.com Reviews Help to Assess the Wider Impacts of Books”. Journal of the Association for Information Science and Technology 67(3) · August 2014

Texto completo

Aunque los recuentos de citas se utilizan a menudo para evaluar el impacto en la investigación de las publicaciones académicas, son problemáticos para los libros que buscan un impacto educativo o cultural. Para llenar este vacío, este artículo evalúa si una serie de métricas simples derivadas de las revisiones de Amazon.com de libros académicos podrían dar evidencia de sus impactos. Basado en un conjunto de 2.739 monografías académicas de 2008 y un conjunto de 1.305 libros más vendidos en 15 categorías de materias académicas de Amazon.com, la existencia de correlaciones significativas pero bajas o moderadas entre las citas y el número de reseñas, combinadas con otras evidencias, sugiere que las reseñas de libros en línea tienden a reflejar la mayor popularidad de un libro en lugar de su impacto académico, aunque existen diferencias disciplinarias sustanciales. Por lo tanto, se recomiendan las métricas basadas en revisiones en línea para la evaluación de libros que apuntan a un público amplio dentro o fuera de la academia, cuando es importante captar los impactos más amplios de las actividades educativas o culturales y cuando no pueden ser manipulados antes de la evaluación.