Archivo de la etiqueta: Métricas

Plan de trabajo de la Asociación de Universidades Europeas (EUA) sobre la evaluación de la investigación en la transición hacia la ciencia abierta

41336384590_2cb5c73d75_o_d

EUA Roadmap on Research Assessment in the Transition to Open Science EUA, 2018

Texto completo

 

Los nuevos enfoques de la evaluación de la investigación reflejan la urgente necesidad de cambiar el paradigma actual más allá del típico factor de impacto de la revista. Este La hoja de ruta aborda una selección de temas relacionados con los nuevos enfoques en la evaluación de la investigación, incluida la evaluación de los resultados de la investigación, los investigadores y las unidades de investigación, y las instituciones.

La Asociación Europea de Universidades (EUA) ha apoyado de forma continuada a las universidades europeas. las universidades en la transición hacia la Ciencia Abierta y, en particular, hacia el Acceso Abierto. Al de su Grupo de Expertos en Ciencia 2.0/Ciencia Abierta, la EUA ha desarrollado una una serie de iniciativas en este ámbito, tal como se esboza en la hoja de ruta de la AEU sobre el acceso abierto a la investigación Publicaciones. Esta hoja de ruta se centraba principalmente en la introducción del acceso abierto como modelo principal de acceder a las publicaciones de investigación. Mirando hacia el futuro, hacia una transición más global hacia Ciencia Abierta, con su marco más amplio más allá del acceso a las publicaciones de investigación, la El Grupo de Expertos está empezando a abordar nuevos modelos de valoración y evaluación de la investigación en todos los niveles, ya que son fundamentales para lograr un sistema más justo, abierto y transparente impulsado por investigadores.

La ciencia abierta que abarca la investigación abierta en todas las áreas disciplinarias) todavía no es una práctica establecida y su integración en las comunidades científicas sigue siendo un reto, ya que adopta diversas formas. El acceso abierto a las publicaciones de investigación representa sólo una de las etapas necesarias de la Ciencia Abierta, y la Ciencia Abierta en su conjunto está todavía lejos de su pleno potencial, lo que requiere una transformación sustancial basada en los principios de compartir y colaborar. Los nuevos modelos cuantitativos y cualitativos futuros de valoración y evaluación de la investigación deben reflejar y promover una actitud tan novedosa.

El tema de la evaluación de la investigación, es decir, la búsqueda de mejores formas de evaluación, se está volviendo cada vez más importante para la comunidad científica en general y para una variedad de de los responsables políticos nacionales y europeos. Este desarrollo está inexorablemente ligado a la transición hacia la Ciencia Abierta.

Los nuevos enfoques de la evaluación de la investigación reflejan la urgente necesidad de cambiar el paradigma actual más allá del típico factor de impacto de la revista. Este La hoja de ruta aborda una selección de temas relacionados con los nuevos enfoques en la evaluación de la investigación, incluida la evaluación de los resultados de la investigación, los investigadores y las unidades de investigación, y las instituciones (laboratorios, centros de investigación y universidades). Con este documento, EUA tiene por objeto sensibilizar y apoyar a las instituciones en el desarrollo de la evaluación de la investigación enfoques que se centran en la calidad de la investigación, el impacto potencial y futuro, y que tienen en cuenta de Open Science.

En su plan de trabajo, la EUA identifica los siguientes objetivos para su futura labor en este ámbito:

  • Fomentar el desarrollo de enfoques de evaluación de la investigación flexibles, transparentes, justos y sólidos, recompensando las contribuciones de la Ciencia Abierta y teniendo en cuenta las diferencias entre las disciplinas académicas, la investigación multidisciplinaria y la investigación fundamental y aplicada;
  • Promover enfoques flexibles, transparentes y responsables en la evaluación de las carreras de los investigadores, teniendo en cuenta las diferentes etapas de sus carreras;
  • Apoyar a las universidades europeas y a las conferencias nacionales de rectores en el desarrollo y la aplicación de nuevos enfoques para la evaluación de la investigación.

 

Para ello, la EUA centrará sus esfuerzos en la recopilación y el intercambio de información, entablando un estrecho diálogo con las universidades y otras partes interesadas pertinentes y proponiendo recomendaciones sobre políticas y buenas prácticas.

Recomendaciones sobre métricas de académicas para bibliotecas de investigación

 

screen-shot-2018-06-20-at-09-31-13

Scholarly Metrics Recommendations for Research Libraries: Deciphering the Trees in the Forest. [e-Book] The Hague, LIBER, 2018.

Texto completo

La Ciencia Abierta requiere algunas transformaciones valientes en este campo. Esto incluye un énfasis en métricas de próxima generación basadas en la transparencia, la apertura y la colaboración: tanto para las áreas científicas tradicionales como para las emergentes.

El uso de métricas académicas es uno de los más desafiantes en el campo de la investigación actual. La proliferación de nuevos modelos de comunicación académica, los cambios en el campo de la evaluación de la investigación y el uso extensivo de las aplicaciones de los medios sociales han sacudido los cimientos de los paradigmas métricos tradicionales.

Para fomentar esta visión de un panorama de investigación transformado en 2022, el Grupo de Trabajo de Métricas Innovadoras de LIBER ha publicado un nuevo informe: Scholarly Metrics Recommendations for Research Libraries: Deciphering the Trees in the Forest.

En el informe se formulan recomendaciones sobre la manera en que las bibliotecas de investigación y las infraestructuras de información pueden abordar las métricas académicas, y sobre cómo empezar a desarrollar servicios que las apoyen. Las recomendaciones se agrupan en cuatro tipos importantes de actividades relacionadas con las métricas:

  • Descubrimiento y Descubribilidad
  • Mostrar los Logros
  • Desarrollo de Servicios
  • Evaluación de la investigación

LIBER reconoce que no todas las bibliotecas parten del mismo punto. El contexto de la investigación en los países europeos es bastante diverso, con bibliotecas que operan en muchos niveles diferentes de experiencia y con diferentes niveles de recursos a su disposición. Por lo tanto, las recomendaciones del informe se organizan en tres niveles de compromiso: Inicial, Intermedio y Avanzado. Las bibliotecas pueden elegir qué recomendaciones adoptar, basándose en su nivel actual de compromiso con las métricas académicas. El orden en que aparecen las recomendaciones se correlaciona con la importancia potencial que pueden tener para una institución

 

 

Discrepancia entre las percepciones reales del impacto y las métricas que mide el impacto

figure-1

 

 

Rachel Borchardt and Matthew R. Hartings. The academic papers researchers regard as significant are not those that are highly cited. LSE impact blog, 2018

Ver original

 

Durante muchos años, la ciencia ha confiado en el conteo de citas como la principal forma de medir el impacto o la importancia de la investigación, informando de métricas como el Factor de Impacto y el h-index. Pero, ¿hasta qué punto estas métricas se alinean realmente con la evaluación subjetiva del impacto y la importancia de los investigadores? Rachel Borchardt y Matthew R. Hartings informan sobre un estudio que compara las percepciones de los investigadores sobre el significado, la importancia y lo que es altamente citado con los datos de citas reales. Los resultados revelan una discrepancia sorprendentemente grande entre las percepciones del impacto y la métrica que utilizamos actualmente para medirlo. Los trabajos científicos que los investigadores consideran significativos no son aquellos que son muy citados

 

Lo que comenzó como un intento de cuantificar la calidad de la investigación se nos ha escapado y ha cobrado vida propia. Este problema no es particularmente nuevo; ha sido ampliamente reconocido por académicos e investigadores y, como resultado, se está hablando de él más abiertamente. El problema es más sencillo se reduce a definir y medir el impacto.

Una descripción simple para la investigación de impacto es la investigación que se utiliza. Algunas investigaciones tienen la capacidad de transformar la sociedad a través de descubrimientos innovadores, de impactar en la política social y la regulación gubernamental a través de análisis que abren los ojos, y la capacidad de captar la atención del público con investigaciones que son relevantes para sus vidas, su medio ambiente o su bienestar. Este tipo de investigación se suele denominar “de alto impacto” y se ha convertido en el centro de atención de muchas universidades, centros de investigación y administradores que compiten por la financiación de becas, la atracción de los mejores y más brillantes estudiantes, y el prestigio y los rankings.

 

“Lo que comenzó como un intento de cuantificar la calidad de la investigación se nos ha escapado de las manos y ha cobrado vida propia.”

Rachel Borchardt and Matthew R. Hartings

 

Sin embargo, designar la investigación como de alto impacto no es tan sencillo como parece. Durante muchos años, el mundo académico ha confiado en el conteo de citas como la principal forma en que medimos el impacto o la importancia de la investigación. Como resultado, el conteo de citaciones es una de las métricas primarias usadas cuando se evalúa a los investigadores. Los recuentos de citas también forman la base de otras métricas, entre las que destacan el Factor de Impacto de Clarivate y el Índice h, que evalúan respectivamente la calidad/prestigio de la revista y la notoriedad de los investigadores.

Las citas, el JIF y el h-index han servido como el triunvirato de la evaluación de impacto durante muchos años, particularmente en los campos científico y tecnológico, donde los artículos de revistas se publican con frecuencia. Muchos estudios han señalado varios defectos con la confianza en estas métricas, y con el tiempo, se ha creado una multitud de métricas complementarias basadas en citas para tratar de abordar varias competencias. Al mismo tiempo, está emergiendo las medidas del impacto en los medios sociales (altmetrics) como una alternativa o complemento potencial a las citas, donde podemos recolectar diferentes datos sobre las formas en que la investigación es vista, guardada y compartida en línea.

Sin embargo, lo que se discute con menos frecuencia es qué tan bien todas estas métricas se alinean realmente con la evaluación subjetiva del impacto y la importancia misma. Todos hemos llegado a ver las métricas como sinónimo de impacto y, por delegación, de importancia. ¿Pero lo son?

 

Todos hemos llegado a ver las métricas como sinónimo de impacto y, por derivación, de la importancia de una investigación. ¿Pero realmente lo son?

 

Para responder a esta pregunta se encuestó a investigadores de Química para medir que percepciones tenían de aquellos documentos que consideraban importantes y sobre los materiales muy citados. En un artículo en el blog orientado a la química de Matt, se pidió a los lectores que analizaran 63 artículos de una edición de la revista Journal of the American Chemical Society y utilizaran el hastag el #JACSChallenge. Se les pidió que identificaran los tres artículos que consideraban más significativos (permitiéndoles definir el significado de la manera que consideraban adecuada); los más citados; los artículos que compartirían con otros químicos; y los artículos que compartirían más ampliamente. Se analizaron los datos de más de 350 encuestados.

Los resultados, si bien no fueron realmente sorprendentes, fueron sin embargo un claro ejemplo de lo diferentes que son estos conceptos. Para empezar, los encuestados eligieron diferentes artículos para cada una de las cuatro preguntas, aunque algunas preguntas se correlacionaron más que otras. Los artículos significativos y muy citados tenían la correlación más alta en.9, mientras que los artículos para compartir con los químicos y los artículos para compartir ampliamente tenían la correlación más baja.64 Esto demuestra que los encuestados ven diferencias en estos diferentes enfoques de lo que podríamos llamar “investigación de impacto”.

Pero quizás el descubrimiento más sorprendente fue cuando empezamos a comparar estas respuestas a las citas. Al comparar las cuatro preguntas con los recuentos de citas 10 y 13 años después de la publicación de los artículos, las correlaciones oscilaron entre 0,06 (artículos para compartir con los químicos) y 0,33 (artículos muy citados). Esto muestra una discrepancia sorprendentemente grande entre las percepciones de los investigadores sobre el impacto y la métrica que utilizamos actualmente para medir el impacto.

 

La investigación demostró que existe una una discrepancia sorprendentemente grande entre las percepciones que los investigadores tienen sobre el impacto y la métrica que utilizamos actualmente para medir el impacto.

 

¿Por qué estas correlaciones son tan bajas? Es probable que haya una serie de razones por las que la práctica real de citación no está más alineada con la percepción de los investigadores, pero resalta cuán diferente es la percepción de la práctica actual.

Estos datos dejan en evidencia que hay un problema importante con las métricas – no están midiendo lo que todos comúnmente asumimos que estamos midiendo, o al menos, no están representando con precisión las percepciones más abstractas de impacto e importancia de los documentos. lo que demuestra que el impacto va más allá del conteo de citas, y más allá del impacto académico. Pero, ¿qué podemos hacer para cambiar la práctica actual?

Parte de la responsabilidad recae en los evaluadores – los administradores, los “benchmarkers” de los rankings de prestigio de las universidades, los financiadores de la investigación. Pero la responsabilidad también recae en los investigadores y sus respectivas sociedades profesionales. Muchas sociedades profesionales tienen declaraciones amplias y generales sobre el papel de las métricas en la evaluación de los investigadores en su campo, pero hay más trabajo por hacer.

Estos datos dejan en evidencia que hay un problema importante con las métricas – no están midiendo lo que todos comúnmente asumimos que estamos midiendo, o al menos, no están representando con precisión las percepciones más abstractas de impacto e importancia de los documentos. lo que demuestra que el impacto va más allá del conteo de citas, y más allá del impacto académico.

Por una parte describir mejor los tipos de impacto en la academia y más allá, y presentarlos en un documento en el que los investigadores puedan confiar cuando se les pida que presenten sus evidencias de investigación para su revisión. Por otra parte sería necesario crear un marco de evaluación que comunique claramente los tipos de resultados de investigación y los modelos para su evaluación. Este tipo de marco se asemejaría al utilizado en el Modelo Becker, creado para la comunidad biomédica, que destaca cinco áreas diferentes de impacto, incluyendo el impacto económico y político, y describe claramente los resultados de la investigación y los modelos de evaluación para cada área de impacto.

Todas las disciplinas académicas estarían bien servidas para examinar con seriedad los resultados de la investigación de su disciplina y proporcionar una orientación significativa sobre su importancia en la comunicación científica de esa disciplina, junto con las mejores prácticas para su evaluación apropiada. Al mismo tiempo, los investigadores también pueden abogar por un cambio en las prácticas de evaluación de la investigación en sus instituciones en forma de documentos de políticas actualizados, incluidas las directrices departamentales para la promoción del investigador, que reflejen con mayor precisión su investigación disciplinaria y su impacto.

Sólo entonces empezaremos a cerrar la brecha entre la práctica “real” de impacto y la evaluación significativa de la investigación.

Esta entrada de blog se basa en el artículo co-escrito por los autores, “Perception of the importance of chemistry research papers and comparison to citation rates“, publicado en PLoS ONE (DOI: 10.1371/journal.pone.0194903).

Crédito de la imagen destacada: Dmitri Popov, via Unsplash (licenciado bajo una licencia CC0 1.0).

 

Los mil y un reflejos de las publicaciones en el laberinto de espejos de las nuevas métricas.

altmetrics-image

Gorraiz, Juan. Los mil y un reflejos de las publicaciones en el laberinto de espejos de las nuevas métricas. El profesional de la Información, v. 27, n. 2 (2018)

Texto completo

Se presenta un panorama de las métricas disponibles para evaluar la producción científica. Se comparan los indicadores clásicos basados en citas y las altmétricos basados en descargas y en el impacto en las redes sociales, destacando sus ventajas e inconvenientes. Se resalta la necesidad de una clasificación de los indicadores que ayude a aplicarlos correctamente.

 

 

 

 

 

Código de prácticas para las métricas de uso de datos de investigación

 

biginfographic-1

Fenner M, Lowenberg D, Jones M, Needham P, Vieglais D, Abrams S, Cruse P, Chodacki J. (2018Code of practice for research data usage metrics release 1PeerJ Preprints 6:e26505v1 https://doi.org/10.7287/peerj.preprints.26505v1

 

El Código de Práctica para Métricas de Uso de Datos de Investigación estandariza la generación y distribución de métricas de uso para datos de investigación, permitiendo por primera vez un modelo consistente y creíble del uso de datos de investigación. Esta es la primera versión del Código de Práctica y las recomendaciones están lo más alineadas posible con la versión 5 del Código de Práctica de COUNTER que estandariza las métricas de uso de recursos académicos, incluyendo revistas y libros. Con el Code of Practice for Research Data Usage Metrics, los repositorios de datos y los proveedores de plataformas pueden proporcionar métricas de uso siguiendo las mejores prácticas comunes y utilizando un formato de informe estándar. Este es un paso esencial hacia la realización de las métricas de uso de como los datos de investigación disponibles públicamente están siendo reutilizados. Esto complementa el trabajo en curso sobre el establecimiento de mejores prácticas y servicios para la citación de datos.

 

 

The Metrics Toolkit: un recurso para investigadores y evaluadores que proporciona una guía para demostrar y evaluar las evidencias del impacto de la investigación

 

3217ddfdb169a49922fd60fc1a5516e9

Metrics Toolkit

http://www.metrics-toolkit.org/

 

Metrics Toolkit es un recurso para investigadores y evaluadores que proporciona una guía para demostrar y evaluar las evidencias del impacto de la investigación. El Toolkit pretende ayudar a comprender rápidamente lo que significa una métrica, cómo se calcula y si es adecuada para un propósito determinado. 

 

Metrics Toolkit fue desarrollado gracias al 2016 Force11 PitchIt! con el apoyo de OHSU, IUPUI y Altmetric y proporciona información basada en la evidencia acerca de las métricas de investigación entre disciplinas, incluyendo cómo se calcula cada métrica, dónde puede encontrarse y cómo debe (y no debe) aplicarse cada una de ellas. También proporciona ejemplos de cómo utilizar las métricas en solicitudes de acreditación académica, subvenciones y currículos.

La herramienta ofrece dos opciones fundamentales para explorar métricas y elegir una métrica.

  • Explorar métricas
  • Seleccionar una métrica

 

26127467458_6b3dc1582b_b_d

 

EXPLORAR MÉTRICAS

Dentro de la opción explorar métricas podemos aprender más sobre métricas específicas, lo que miden y lo que no miden. Dando la opción para diversos formatos como capítulos de libros, Libros, Datasets, artículos de revistas y software. Y sobre métricas concretas como

  • Puntuación de la atención de Altmetric
  • Calificaciones y comentarios en Amazon
  • Menciones del blog
  • Citas de artículos
  • Citas de libros y capítulos de libros
  • Citas de datos
  • Citas de software
  • Descargas de artículos
  • Descargas de libros y capítulos de libros
  • Descargas de software
  • Comentarios, gustos y acciones en Facebook
  • Faculty 1000 Prime: FFa, calificaciones, comentarios
  • Github
  • Goodreads: Valoraciones y comentarios
  • h-index
  • Tasa de aceptación de la revista
  • Factor de impacto en revistas
  • Lectores de Mendeley
  • Reservas de monografías
  • Monografía Ventas y Ranking
  • Noticias Menciones
  • Menciones de política
  • Puntuación Publons
  • Comentarios de Pubpeer
  • Relación de Mención Relativa
  • Menciones en Twitter
  • Citas de Wikipedia

 

SELECCIONAR MÉTRICAS

Podemos buscar las métricas correctas para demostrar el impacto de la investigación o evaluar el impacto de productos específicos. Pudiendo elegir el tipo de impacto, tipo de documento y área de conocimiento o disciplina.

Dentro de cada métrica nos aparecen datos tales como su aplicación, definición métrica, cálculo, fuentes de datos, uso apropiado, limitaciones,casos de uso inapropiado, fuentes métricas disponibles, auditabilidad y periodo que cubre cada métrica.

  • Nombre El nombre de la métrica (por ejemplo, h-index)
  • Aplicación. Indicación de como se aplica la métrica (por ejemplo, un investigador individual, un trabajo, una revista, etc.).
  • Definición de la métrica. Definición narrativa de lo que calcula la métrica
  • Cálculo métrico Definición matemática/cuantitativa de la métrica (cuando está disponible)
  • Fuentes de datos . Fuentes de datos utilizadas para calcular la métrica
  • Casos de uso apropiado Enumera las preguntas relacionadas con la atención/impacto que la métrica puede ayudar a resolver
  • Limitaciones. Describe las limitaciones de la métrica, identificadas en la literatura.
  • Casos de uso inapropiado. Describe las situaciones relacionadas con la atención/impacto en que la métrica no debe ser usada-
  • Fuentes disponibles Individuos u organizaciones que mantienen y publican la métrica, con enlaces a esas fuentes.
  • Transparencia La capacidad de acceder y verificar los datos y algoritmos fuente para obtener métricas.
  • Página web Enlace a la página web oficial de la métrica, cuando corresponda
  • Plazo Ámbito temporal o cobertura utilizada en el cálculo de la métrica.

 

 

 

 

 

¿Cómo miden y utilizan los datos de audiencia las agencias de noticias?

 

measurement

Schlemmer,Christoph. “Speed is not everything: How News Agencies use Audience Metrics”. Oxford, Reuters Institute for the Study of Journalism, 2017

Texto completo

 

informe detallado y exhaustivo sobre métricas de audiencia y agencias de noticias. Sobre la base de cinco entrevistas con editores de agencias de noticias de alto rango (AAP, AP, dpa, Kyodo, Reuters), dos correos electrónicos (ANSA, TASS) y un análisis de herramientas analíticas utilizadas por 31 agencias de noticias, este artículo muestra enfoques diferentes y similares a las métricas de audiencia por agencias de noticias en todo el mundo.

 

Las métricas de audiencia pueden ayudar a las agencias de noticias y alentarlas a producir contenido relevante y de alto impacto que impulse sus objetivos de negocio. Debido a los datos de audiencia, la administración de la sala de redacción puede transferir recursos editoriales temporal o permanentemente a áreas con alta demanda de contenido e interés de la audiencia.

Además de los datos cuantitativos de la audiencia, se sigue prestando gran atención a la retroalimentación cualitativa de los clientes, medida en llamadas, correos electrónicos y reuniones. La retroalimentación cualitativa y cuantitativa de la audiencia debe combinarse.

Las agencias de noticias necesitan vincular sus indicadores de audiencia con los objetivos editoriales. Algunas agencias de noticias parecen experimentar con análisis genéricos, sin centrarse en el análisis editorial que vincula las métricas con la toma de decisiones estratégicas a largo plazo.