Archivo de la etiqueta: Métricas

Métricas de la producción académica

Métricas de la producción académica: evaluación de la investigación desde América Latina y el Caribe. Gabriel Vélez Cuartas. Thaiane Moreira de Oliveira. Francisco Collazo. Alejandro Uribe Tirado. Laura Rovelli. Judith Naidorf. [Compiladores]. Buenos Aires. CLACSO. Latmétricas, 2022

Texto completo

Existe una creciente presión sobre las revistas científicas, por parte del paradigma internacional de calidad usando indicadores de impacto de citas, con fuerte influencia de empresas comerciales que producen las bases de datos bibliográficas, y de las oficinas de fomento a la investigación, que actúan como organismos evaluadores y determinan criterios de clasificación de revistas, con fines de distribución de recursos para la investigación y educación superior. Estos criterios impuestos tienen consecuencias perversas para las revistas de la región, muchas de las cuales tienen un rol importante en la comunicación científica regional, ya que abordan temáticas de interés local, llenan brechas y tienden puentes de conocimiento, al tiempo que contribuyen a la capacitación de investigadores en principio de carrera. El problema adquiere una dimensión regional porque los cambios implementados en un país tienen el potencial de afectar las revistas de los demás. Es necesario seguir discutiendo este tema, y es hora de proponer una alternativa concreta y acciones conjuntas para la evaluación de la producción científica a nivel regional.

Metrics Toolkit: conjunto de herramientas de métricas

Metrics Toolkit

https://www.metrics-toolkit.org/

El kit de herramientas de métricas proporciona información basada en la evidencia sobre las métricas de investigación en todas las disciplinas, incluyendo cómo se calcula cada métrica, dónde se puede encontrar y cómo debe (y no debe) aplicarse cada una. También encontrarás ejemplos de cómo utilizar las métricas en las solicitudes de subvención, el CV y las convocatorias de promoción.

Metrics

Terminología de las métricas

Metrics terminology
Patty Smith, Altmetric14th February 2022

Texto completo

Existen muchas métricas diferentes que intentan medir el alcance y la influencia del trabajo académico. Se dividen principalmente en tres categorías:

Métricas a nivel de artículo: indicadores que pretenden medir el alcance o la influencia de un producto de investigación individual, como un artículo de revista o un conjunto de datos. Ejemplo: número de citas.

Métricas a nivel de revista: indicadores que pretenden medir el alcance o la influencia de una revista. Ejemplo: Factor de impacto de la revista.

Métricas a nivel de autor: indicadores que pretenden medir el alcance o la influencia de un autor individual. Ejemplo: índice h.

Las métricas a nivel de revista y de autor son bastante sencillas, pero las métricas a nivel de artículo, también conocidas como métricas a nivel de producción (porque se puede seguir cualquier producción académica con un identificador único), tienden a causar un poco de confusión.

La confusión suele deberse a un malentendido del término altmetrics. Altmetrics significa métricas alternativas, no métricas a nivel de artículo. Ambos términos no son sinónimos. Las altmétricas son indicadores de la atención y el compromiso no tradicionales con los productos académicos, como la atención en las redes sociales o en los medios de comunicación.

La puntuación de atención de Altmetric es un ejemplo de métrica a nivel de artículo. Otros ejemplos son: el recuento de citas, el índice de citas relativo (RCR), el impacto de citas normalizado por categorías (CNCI) y el impacto de citas ponderado por campos (FWCI).

Luego están las métricas de uso. Las métricas de uso incluyen las visitas a la página, las descargas y las acciones. Algunas personas categorizan las métricas de uso como un tipo de métrica a nivel de artículo, mientras que otras consideran las métricas de uso como una categoría completamente diferente. En Altmetric.com, no se hace un seguimiento de las métricas de uso.

Es importante recordar que hay que utilizar estas métricas de forma responsable y para el uso al que están destinadas. Por ejemplo, no debería utilizar una métrica a nivel de revista para evaluar el rendimiento de un individuo.

Para obtener más información sobre el uso responsable de las métricas, considera la posibilidad de leer el Manifiesto de Leiden sobre las métricas de investigación. Visita Metrics Toolkit para obtener más información sobre los diferentes tipos de métricas y sus limitaciones, las fuentes de datos, los casos de uso adecuados, etc.

Métricas para repositorios de datos y bases de conocimiento

Metrics for Data Repositories and Knowledgebases: Working Group Report” NIH, 2021

Texto completo

Este informe presenta los resultados de una exploración del panorama actual de las métricas de los repositorios de datos biomédicos de datos biomédicos realizado por el Grupo de Trabajo NIH Lifecycle and Metrics Working Group and the NIH Metrics for Repositories (MetRe) Working Group. Los grupos de trabajo (WG) reunieron información de la comunidad de repositorios de datos biomédicos mediante un proceso de dos partes. En la primera fase, el grupo de trabajo MetRe identificó varios repositorios financiados por NIH y desarrolló una lista de métricas que se recogen con mayor frecuencia. Esta lista de Esta lista de métricas se utilizó para desarrollar un instrumento de encuesta que el grupo de trabajo sobre el ciclo de vida y las métricas utilizó para recoger las aportaciones de la comunidad de repositorios biomédicos en general en la fase 2. Este informe describe los resultados de estas dos actividades, proporcionando información sobre el estado actual de los datos y datos y métricas de los repositorios en la comunidad de la investigación biomédica y complementa los esfuerzos en curso en la en la comunidad de métricas más amplia.Este informe incluye las aportaciones de los representantes de 13 repositorios de los NIH de la fase 1 y de 92 gestores de repositorios de la fase 2. en la fase 2. Las métricas que estos encuestados declararon utilizar se dividen en varias categorías generales categorías amplias, incluyendo (de la más a la menos común) Características del comportamiento del usuario, Contribución/impacto Contribución/Impacto Científico, y Operaciones del Repositorio, y los encuestados de los dos grupos reportaron patrones similares en las métricas que recogen. La mayoría de los encuestados en la fase 2 (77%) también indicaron compartir los datos de sus métricas, un hallazgo alentador dado que dichas métricas pueden ser útiles a los NIH para comprender mejor cómo se utilizan los conjuntos de datos y los repositorios. Muchos de los encuestados de ambos grupos informaron de que utilizaban Google Analytics para recopilar métricas, principalmente en las áreas de de comportamiento de los usuarios, dada su facilidad de uso y su capacidad para realizar un seguimiento preciso de dichas métricas. Sin embargo, muchos de los encuestados también indicaron que les gustaría recopilar métricas adicionales, pero que actualmente no lo hacen o no pueden hacerlo debido a la falta de herramientas para ello.

Los resultados de este informe proporcionan una mejor comprensión de las métricas utilizadas actualmente en la comunidad de repositorios biomédicos, lo que puede informar sobre los futuros esfuerzos de los NIH para ayudar a desarrollar este espacio y para comprender los patrones de uso entre los conjuntos de datos y los repositorios. Los NIH también deberían estar al tanto de de los desarrollos en la comunidad más amplia de métricas de repositorios para asegurar la alineación.

Métricas en innovación

Métricas en innovación. Madrid: COTEC, 2021

Texto completo

Descargar infografía

A medida que la innovación ha ido ocupando posiciones de relevancia en el desarrollo económico y social, ha aumentado la necesidad de disponer de métricas para orientar las políticas públicas en este ámbito. La OCDE ha desarrollado una serie de guías para medir las actividades de ciencia, tecnología e innovación que han sido la base para la recogida de datos y el desarrollo de estadísticas armonizadas a nivel internacional. Sin embargo, pese a los esfuerzos para actualizar y mejorar estas métricas, muchas empresas tienen todavía dificultades para identificar y medir las actividades de innovación que realizan. Esto provoca un desfase entre los datos recogidos en las estadísticas oficiales y la verdadera actividad innovadora del tejido empresarial.


El Grupo de Trabajo ha estado liderado por EPD España y lo han integrado 36 organizaciones Miembros. La metodología de trabajo se ha basado en la obtención de consensos entre los participantes. A partir de ellos se ha elaborado una guía para facilitar la medida de las actividades de innovación en las organizaciones (empresas, organismos públicos, fundaciones, etc.).

La primera parte de este documento se ha estructurado en base a esos consensos. La segunda parte corresponde a la guía, que incluye un conjunto de recomendaciones para mejorar el reporte de los esfuerzos económicos en innovación.  

La tercera parte del documento presenta una serie de casos ficticios que pretenden ilustrar sobre cómo diferentes tipos de entidades pueden identificar las funciones nuevas o mejoradas que se consideran innovación. Además de los casos de una gran empresa y de una pyme, se incluyen también el caso de un ayuntamiento y de una organización sin ánimo de lucro, para ejemplificar cómo podrían adaptar la metodología del Manual de Oslo y las recomendaciones de esta guía y medir de forma correcta las actividades de innovación.

También se ha incluido el caso de una agencia de desarrollo regional, como ejemplo de cómo podría usarse esta guía, y el anexo de la encuesta de innovación del INE, para sensibilizar a las pymes sobre la importancia estratégica de medir sus actividades de innovación.Descripción Proyecto:

Research Metrics Guidebook: un complemento sencillo y práctico para el uso de herramientas como Scopus y SciVal,

Research Metrics Guidebook. Elsevier, 2020

Texto completo

Esta guía pretende ser un complemento sencillo y práctico para el uso de herramientas como Scopus y SciVal, que forman parte de la cartera de soluciones de Research Intelligence. Proporciona algunos datos sobre cómo se utilizan los datos subyacentes a las métricas, cómo se calculan y muestran las métricas, y sobre las variables, además del rendimiento, que pueden afectar a las métricas. También ofrece algunas sugerencias sobre las situaciones en las que las métricas son útiles, cuándo hay que tener cuidado y cómo se pueden abordar las deficiencias.

SciVal es una Una solución analítica basada en la web con una potencia y flexibilidad sin precedentes que proporciona un acceso completo al rendimiento de la investigación de más de 20.000 instituciones de investigación y sus investigadores asociados de 230 países de todo el mundo. SciVal permite visualizar el rendimiento de su investigación, comparar con sus homólogos, desarrollar asociaciones estratégicas, identificar y analizar nuevas tendencias de investigación emergentes y crear informes personalizados.

Métricas para la evaluación de la innovación

Métricas para la evaluación de la innovación. Boletín OCTI | No. 10 / marzo-abril, 2021

Texto completo

CONTENIDO

Importancia de las métricas para la evaluación de la innovación 4


Instrumentos de referencia para la generación de métricas de evaluación de la innovación 8

Principales indicadores para la evaluación de la innovación 12

Altmetrics y acceso abierto: una medida de interés público

Pat Loria. Altmetrics and open access: a measure of public interest. AOASG, 2020

Ver completo

Cada vez más se exige a los investigadores, directores de investigación y editores que tengan en cuenta en sus políticas y prácticas las condiciones por las cuales la investigación financiada con fondos públicos debe estar disponible públicamente. Pero en la lucha por la financiación competitiva, ¿cómo pueden los investigadores proporcionar pruebas tangibles de que sus productos no solo se han puesto a disposición del público, sino que el público los está utilizando? ¿O cómo pueden demostrar que sus resultados de investigación han llegado e influido en aquellos cuyos impuestos han ayudado a financiar la investigación?

Las métricas tradicionales

El número de citas sin procesar por artículo o un número agregado, como el índice h, son indicadores del impacto académico, ya que revelan la atribución del crédito en los trabajos académicos a la erudición anterior. Esta atribución normalmente la dan los académicos en revistas revisadas por pares y la recopilan las bases de datos de citas. Pero no proporcionan una indicación del alcance y la influencia en la sociedad . Las métricas tradicionales tampoco proporcionan una indicación del impacto de los resultados de investigación no tradicionales, como conjuntos de datos o producciones creativas, o de publicaciones que no son revistas, como libros y la cobertura de medios.

El impacto público de todo tipo de resultados de investigación siempre se puede comunicar como narrativa o como estudios de caso. Estas formas de evidencia pueden ser extremadamente útiles, quizás incluso necesarias, para construir un caso de impacto pasado como argumento para financiamiento futuro. Sin embargo, las narrativas de impacto y los estudios de casos requieren fuentes de evidencia para respaldar sus afirmaciones de impacto. 

Una fuente prometedora de evidencia es el nuevo conjunto de métricas alternativas o altmetrics que se han desarrollado para medir el impacto académico y público de la erudición digital, es decir, cualquier producto académico que tenga un identificador digital o una ubicación en línea y que sea accesible a través de la web.

La llegada de Altmetrics

Las altmetrics miden la cantidad de veces que un resultado de una investigación es citado, tuiteado, me gusta, compartido, marcado, visto, descargado, mencionado, marcado como favorito, revisado o discutido. Recoge estos números de una amplia variedad de servicios web de código abierto que recopilan tales instancias, incluidas las plataformas de revistas de acceso abierto, bases de datos de citas académicas, servicios de intercambio de investigación basados ​​en la web y redes sociales.

Los números se recopilan casi en tiempo real, lo que proporciona a los investigadores evidencia rápida de que su investigación ha tenido un impacto o generado una conversación en el foro público. Las altmetrics son indicadores cuantitativos del alcance y la influencia social.

El seguimiento del impacto en la red social no es un ejercicio de narcisismo. Altmetrics permite la creación de historias basadas en datos para proveedores de fondos y administradores. Al ser nativos de la web, también facilitan el desarrollo de esas historias al proporcionar enlaces a las fuentes de las métricas. Los investigadores pueden ver quién está hablando sobre su investigación, qué están diciendo al respecto e incluso cómo pretenden utilizarla para diversos fines académicos, industriales, políticos y públicos. De esta manera, los investigadores pueden encontrar colaboradores y socios potenciales, y obtener comentarios constructivos de quienes interactúan con la investigación.

Las altmetrics también proporcionan un proceso democrático de revisión pública, en el que los resultados son analizados y evaluados por tantos estudiantes, investigadores, legisladores, representantes de la industria y miembros del público que deseen participar en la discusión. Altmetrics proporciona una comprensión más completa del impacto en todos los sectores, incluido el impacto público mediante la investigación financiada con fondos públicos.

Altmetrics y acceso abierto

Existe una relación interesante entre altmetrics y acceso abierto. Incluso se podría referir a las altmetrics como métricas abiertas. Esto se debe, en primer lugar, al hecho de que los datos de altmetrics utilizan fuentes abiertas. Los servicios de Altmetrics acceden y agregan el impacto de un artefacto de investigación, normalmente a través de una interfaz de programación de aplicaciones (API) puesta a disposición por la fuente. Los servicios de altmetrics, a su vez, proporcionan APIs para incorporar datos asimétricos en repositorios institucionales o sistemas de terceros. En segundo lugar, los resultados de la investigación de acceso abierto que se promueven a través de aplicaciones en web sociales gozan de mayor visibilidad y accesibilidad que los publicados dentro del modelo de comunicación comercial académica, lo que aumenta las perspectivas de participación y consumo público.

Las altmetrics (también conocidas como métricas de nivel de artículo o ALM) se consideran complementarias al acceso abierto. La página de Métricas de nivel de artículo de PLOS para investigadores enumera algunas de estas complementariedades:

  • Los investigadores pueden ver y recopilar indicadores en tiempo real del alcance y la influencia de los resultados, y compartir esos datos con colaboradores, administradores y patrocinadores.
  • Altmetrics permite a los investigadores descubrir tendencias e innovaciones ponderadas por impacto
  • Los investigadores pueden descubrir posibles colaboradores en función del nivel de interés en su trabajo.
  • Se pueden descubrir conjuntos de datos, métodos, resultados e interpretaciones alternativas de alto impacto
  • Las estrategias y los medios de difusión se pueden rastrear, evaluar e informar
  • La evaluación de la investigación se basa en el contenido, a diferencia del contenedor (o revista)
  • Las recomendaciones de investigación se basan en indicadores de inteligencia colectiva.

La edición de abril / mayo del Boletín ASSIS & T  contiene una sección especial sobre altmetrics, en la que varios artículos abordan la complementariedad entre altmetrics y acceso abierto. Estos artículos muestran que las altmetrics ayudan a:

  • Proporcionar indicadores de impacto social de código abierto que puedan integrarse en los CV
  • Habilitar un sistema de filtrado público y realizan un seguimiento de las conversaciones sociales en torno a la investigación
  • Proporcionar evidencia del acceso por parte de países que no pueden pagar revistas costosas
  • Proporcionar a los autores una comprensión más completa de sus lectores.
  • Ofrecer a los administradores de repositorios métricas adicionales para demostrar el impacto del acceso abierto
  • Proporcionar datos de uso adicionales para el desarrollo de la colección y los ejercicios de planificación de recursos.
  • Proporcionar indicadores de impacto complementarios para las revisiones internas y las solicitudes de financiación.
  • Puede usarse como evidencia cuantitativa del impacto público para ejercicios de evaluación de la investigación
  • Proporcionar un mejor reflejo del uso y el impacto de los resultados nativos de la web.

El último punto es particularmente destacado. El nuevo modelo de comunicación académica basado en la web consiste en compartir hallazgos a medida que ocurren, interacción y evaluación por parte de las partes interesadas, y conversaciones posteriores que conducen a colaboraciones futuras y hallazgos nuevos o revisados. Y las altmetrics nos brindan una comprensión del impacto recibido en cada punto del ciclo.

Proveedores de altmetrics

Los siguientes servicios son buenos lugares para comenzar a monitorear las altmetrics:

Altmetric e ImpactStory ofrecen widgets gratuitos que se pueden incrustar en repositorios, e ImpactStory tiene la ventaja adicional de que las “insignias” de impacto se pueden incorporar en los CV. Altmetric también ofrece un bookmarklet gratuito que puede agregarse a sus marcadores y usarse para obtener altmetrics en artículos con identificadores de objetos digitales (DOI) o identificadores en bases de datos abiertas como PubMed Central o arXiv . Altmetrics solo funcionará en Chrome, Firefox o Safari. Plum Analytics probablemente tiene la cobertura más amplia de fuentes de altmetrics y es un servicio de pago. Tanto Altmetric como Plum Analytics ofrecen herramientas comerciales que ofrecen informes comparativos y grupales.

La mejor manera de interactuar con altmetrics es entrar de inmediato y probar. Se sorprenderá de lo rápido y fácil que es utilizar las herramientas y comenzar a generar métricas para los resultados de la investigación.

Los administradores de repositorios pueden incorporar datos altmetrics a nivel de artículo dentro de repositorios institucionales para complementar las métricas tradicionales, vistas y descargas. Algunos sistemas de gestión de información de investigación, como Symplectic Elements, que son capaces de generar informes sobre la actividad y el impacto de la publicación, también incluyen altmetrics a nivel de artículo junto con las métricas de citas tradicionales.

Un marco de impacto científico para medir el impacto más allá de la métrica de la revista

Ari MD, Iskander J, Araujo J, Casey C, Kools J, et al. (2020) A science impact framework to measure impact beyond journal metrics. PLOS ONE 15(12): e0244407. https://doi.org/10.1371/journal.pone.0244407

Medir el impacto de la ciencia o la investigación en salud pública es importante, especialmente cuando se trata de resultados de salud. Lograr los resultados de salud deseados lleva tiempo y puede verse influenciado por varios contribuyentes, lo que hace que la atribución de crédito a cualquier entidad o esfuerzo sea problemática. Aquí se ofrece un marco de impacto científico (SIF) para rastrear y vincular la ciencia sobre la salud pública con eventos y / o acciones con un impacto reconocido más allá de las métricas de las revistas. 

El SIF se inspiró en el Degrees of Impact Thermometer del Institute of Medicine (IOM), pero se diferencia en que el SIF no es incremental, no es cronológico y tiene un alcance ampliado. El SIF reconoce cinco dominios de influencia: difundir la ciencia, crear conciencia, catalizar la acción, efectuar cambios y dar forma al futuro (el alcance difiere del de la OIM). 

Para la salud pública, el objetivo es lograr uno o más resultados de salud específicos. Lo que es único en este marco es que el enfoque no está solo en el impacto o resultado proyectado, sino más bien en los efectos que están ocurriendo en tiempo real con el reconocimiento de que el campo de medición es complejo y que lleva tiempo para que ocurra el resultado final. 

El SIF es flexible y se puede adaptar para medir el impacto de cualquier esfuerzo científico: desde iniciativas complejas hasta publicaciones individuales. El SIF se puede utilizar para medir el impacto prospectivamente de un cuerpo de trabajo nuevo o en curso (por ejemplo, investigación, directrices y recomendaciones, o tecnología) y retrospectivamente del trabajo terminado y difundido, mediante la vinculación de eventos utilizando indicadores que son conocidos y han sido utilizados. para medir el impacto. Adicionalmente, vincular eventos ofrece un enfoque tanto para contar nuestra historia como para reconocer a otros elementos en la cadena de eventos. El valor añadido de la ciencia se puede transmitir fácilmente a la comunidad científica, los responsables políticos y el público.

Métricas responsables para una ciencia sustentable

20/10 Webinar: Acceso Abierto en la UNCuyo (11HS Argentina)

Métricas responsables para una ciencia sustentable

Intervienen

Adrian Méndez. Coordinador Biblioteca Digital, Sistema Integrado de Documentación Universidad de UNCuyo

En próximas sesiones:

María Alejandra Tejada Gómez es Asesora de la Vicerrectoría de Investigación, Pontificia Universidad Javeriana (PUJ). Reflexionó sobre evaluación de la investigación en búsqueda de las convergencias..

Enrique Orduña Malea es Dr. en Documentación, Universidad Politécnica de Valencia (UPV). Explicó las métricas de evaluación como una tragedia de tres actos..

Eduardo Aguado-López es Dr en Enseñanza Superior (CIDHEM, México), sociólogo, especialista en comunicación de ciencia y Acceso Abierto. Fundador y Director Gral de la Red de Revistas Científicas de América Latina, Caribe, España y Portugal (Redalyc). Nos dio excelentes razones para usar lenguaje estructurado (XML) y generación de indicadores en la metodología Redalyc2020..Semana internacional del acceso abierto.@bibliotecasuncuyo @aprender3c @institutoginogermani @ameli_conocimientoabierto @redalyc_oficial @unlpoficial