Archivo de la etiqueta: Métricas

Altmetrics y acceso abierto: una medida de interés público

Pat Loria. Altmetrics and open access: a measure of public interest. AOASG, 2020

Ver completo

Cada vez más se exige a los investigadores, directores de investigación y editores que tengan en cuenta en sus políticas y prácticas las condiciones por las cuales la investigación financiada con fondos públicos debe estar disponible públicamente. Pero en la lucha por la financiación competitiva, ¿cómo pueden los investigadores proporcionar pruebas tangibles de que sus productos no solo se han puesto a disposición del público, sino que el público los está utilizando? ¿O cómo pueden demostrar que sus resultados de investigación han llegado e influido en aquellos cuyos impuestos han ayudado a financiar la investigación?

Las métricas tradicionales

El número de citas sin procesar por artículo o un número agregado, como el índice h, son indicadores del impacto académico, ya que revelan la atribución del crédito en los trabajos académicos a la erudición anterior. Esta atribución normalmente la dan los académicos en revistas revisadas por pares y la recopilan las bases de datos de citas. Pero no proporcionan una indicación del alcance y la influencia en la sociedad . Las métricas tradicionales tampoco proporcionan una indicación del impacto de los resultados de investigación no tradicionales, como conjuntos de datos o producciones creativas, o de publicaciones que no son revistas, como libros y la cobertura de medios.

El impacto público de todo tipo de resultados de investigación siempre se puede comunicar como narrativa o como estudios de caso. Estas formas de evidencia pueden ser extremadamente útiles, quizás incluso necesarias, para construir un caso de impacto pasado como argumento para financiamiento futuro. Sin embargo, las narrativas de impacto y los estudios de casos requieren fuentes de evidencia para respaldar sus afirmaciones de impacto. 

Una fuente prometedora de evidencia es el nuevo conjunto de métricas alternativas o altmetrics que se han desarrollado para medir el impacto académico y público de la erudición digital, es decir, cualquier producto académico que tenga un identificador digital o una ubicación en línea y que sea accesible a través de la web.

La llegada de Altmetrics

Las altmetrics miden la cantidad de veces que un resultado de una investigación es citado, tuiteado, me gusta, compartido, marcado, visto, descargado, mencionado, marcado como favorito, revisado o discutido. Recoge estos números de una amplia variedad de servicios web de código abierto que recopilan tales instancias, incluidas las plataformas de revistas de acceso abierto, bases de datos de citas académicas, servicios de intercambio de investigación basados ​​en la web y redes sociales.

Los números se recopilan casi en tiempo real, lo que proporciona a los investigadores evidencia rápida de que su investigación ha tenido un impacto o generado una conversación en el foro público. Las altmetrics son indicadores cuantitativos del alcance y la influencia social.

El seguimiento del impacto en la red social no es un ejercicio de narcisismo. Altmetrics permite la creación de historias basadas en datos para proveedores de fondos y administradores. Al ser nativos de la web, también facilitan el desarrollo de esas historias al proporcionar enlaces a las fuentes de las métricas. Los investigadores pueden ver quién está hablando sobre su investigación, qué están diciendo al respecto e incluso cómo pretenden utilizarla para diversos fines académicos, industriales, políticos y públicos. De esta manera, los investigadores pueden encontrar colaboradores y socios potenciales, y obtener comentarios constructivos de quienes interactúan con la investigación.

Las altmetrics también proporcionan un proceso democrático de revisión pública, en el que los resultados son analizados y evaluados por tantos estudiantes, investigadores, legisladores, representantes de la industria y miembros del público que deseen participar en la discusión. Altmetrics proporciona una comprensión más completa del impacto en todos los sectores, incluido el impacto público mediante la investigación financiada con fondos públicos.

Altmetrics y acceso abierto

Existe una relación interesante entre altmetrics y acceso abierto. Incluso se podría referir a las altmetrics como métricas abiertas. Esto se debe, en primer lugar, al hecho de que los datos de altmetrics utilizan fuentes abiertas. Los servicios de Altmetrics acceden y agregan el impacto de un artefacto de investigación, normalmente a través de una interfaz de programación de aplicaciones (API) puesta a disposición por la fuente. Los servicios de altmetrics, a su vez, proporcionan APIs para incorporar datos asimétricos en repositorios institucionales o sistemas de terceros. En segundo lugar, los resultados de la investigación de acceso abierto que se promueven a través de aplicaciones en web sociales gozan de mayor visibilidad y accesibilidad que los publicados dentro del modelo de comunicación comercial académica, lo que aumenta las perspectivas de participación y consumo público.

Las altmetrics (también conocidas como métricas de nivel de artículo o ALM) se consideran complementarias al acceso abierto. La página de Métricas de nivel de artículo de PLOS para investigadores enumera algunas de estas complementariedades:

  • Los investigadores pueden ver y recopilar indicadores en tiempo real del alcance y la influencia de los resultados, y compartir esos datos con colaboradores, administradores y patrocinadores.
  • Altmetrics permite a los investigadores descubrir tendencias e innovaciones ponderadas por impacto
  • Los investigadores pueden descubrir posibles colaboradores en función del nivel de interés en su trabajo.
  • Se pueden descubrir conjuntos de datos, métodos, resultados e interpretaciones alternativas de alto impacto
  • Las estrategias y los medios de difusión se pueden rastrear, evaluar e informar
  • La evaluación de la investigación se basa en el contenido, a diferencia del contenedor (o revista)
  • Las recomendaciones de investigación se basan en indicadores de inteligencia colectiva.

La edición de abril / mayo del Boletín ASSIS & T  contiene una sección especial sobre altmetrics, en la que varios artículos abordan la complementariedad entre altmetrics y acceso abierto. Estos artículos muestran que las altmetrics ayudan a:

  • Proporcionar indicadores de impacto social de código abierto que puedan integrarse en los CV
  • Habilitar un sistema de filtrado público y realizan un seguimiento de las conversaciones sociales en torno a la investigación
  • Proporcionar evidencia del acceso por parte de países que no pueden pagar revistas costosas
  • Proporcionar a los autores una comprensión más completa de sus lectores.
  • Ofrecer a los administradores de repositorios métricas adicionales para demostrar el impacto del acceso abierto
  • Proporcionar datos de uso adicionales para el desarrollo de la colección y los ejercicios de planificación de recursos.
  • Proporcionar indicadores de impacto complementarios para las revisiones internas y las solicitudes de financiación.
  • Puede usarse como evidencia cuantitativa del impacto público para ejercicios de evaluación de la investigación
  • Proporcionar un mejor reflejo del uso y el impacto de los resultados nativos de la web.

El último punto es particularmente destacado. El nuevo modelo de comunicación académica basado en la web consiste en compartir hallazgos a medida que ocurren, interacción y evaluación por parte de las partes interesadas, y conversaciones posteriores que conducen a colaboraciones futuras y hallazgos nuevos o revisados. Y las altmetrics nos brindan una comprensión del impacto recibido en cada punto del ciclo.

Proveedores de altmetrics

Los siguientes servicios son buenos lugares para comenzar a monitorear las altmetrics:

Altmetric e ImpactStory ofrecen widgets gratuitos que se pueden incrustar en repositorios, e ImpactStory tiene la ventaja adicional de que las “insignias” de impacto se pueden incorporar en los CV. Altmetric también ofrece un bookmarklet gratuito que puede agregarse a sus marcadores y usarse para obtener altmetrics en artículos con identificadores de objetos digitales (DOI) o identificadores en bases de datos abiertas como PubMed Central o arXiv . Altmetrics solo funcionará en Chrome, Firefox o Safari. Plum Analytics probablemente tiene la cobertura más amplia de fuentes de altmetrics y es un servicio de pago. Tanto Altmetric como Plum Analytics ofrecen herramientas comerciales que ofrecen informes comparativos y grupales.

La mejor manera de interactuar con altmetrics es entrar de inmediato y probar. Se sorprenderá de lo rápido y fácil que es utilizar las herramientas y comenzar a generar métricas para los resultados de la investigación.

Los administradores de repositorios pueden incorporar datos altmetrics a nivel de artículo dentro de repositorios institucionales para complementar las métricas tradicionales, vistas y descargas. Algunos sistemas de gestión de información de investigación, como Symplectic Elements, que son capaces de generar informes sobre la actividad y el impacto de la publicación, también incluyen altmetrics a nivel de artículo junto con las métricas de citas tradicionales.

Un marco de impacto científico para medir el impacto más allá de la métrica de la revista

Ari MD, Iskander J, Araujo J, Casey C, Kools J, et al. (2020) A science impact framework to measure impact beyond journal metrics. PLOS ONE 15(12): e0244407. https://doi.org/10.1371/journal.pone.0244407

Medir el impacto de la ciencia o la investigación en salud pública es importante, especialmente cuando se trata de resultados de salud. Lograr los resultados de salud deseados lleva tiempo y puede verse influenciado por varios contribuyentes, lo que hace que la atribución de crédito a cualquier entidad o esfuerzo sea problemática. Aquí se ofrece un marco de impacto científico (SIF) para rastrear y vincular la ciencia sobre la salud pública con eventos y / o acciones con un impacto reconocido más allá de las métricas de las revistas. 

El SIF se inspiró en el Degrees of Impact Thermometer del Institute of Medicine (IOM), pero se diferencia en que el SIF no es incremental, no es cronológico y tiene un alcance ampliado. El SIF reconoce cinco dominios de influencia: difundir la ciencia, crear conciencia, catalizar la acción, efectuar cambios y dar forma al futuro (el alcance difiere del de la OIM). 

Para la salud pública, el objetivo es lograr uno o más resultados de salud específicos. Lo que es único en este marco es que el enfoque no está solo en el impacto o resultado proyectado, sino más bien en los efectos que están ocurriendo en tiempo real con el reconocimiento de que el campo de medición es complejo y que lleva tiempo para que ocurra el resultado final. 

El SIF es flexible y se puede adaptar para medir el impacto de cualquier esfuerzo científico: desde iniciativas complejas hasta publicaciones individuales. El SIF se puede utilizar para medir el impacto prospectivamente de un cuerpo de trabajo nuevo o en curso (por ejemplo, investigación, directrices y recomendaciones, o tecnología) y retrospectivamente del trabajo terminado y difundido, mediante la vinculación de eventos utilizando indicadores que son conocidos y han sido utilizados. para medir el impacto. Adicionalmente, vincular eventos ofrece un enfoque tanto para contar nuestra historia como para reconocer a otros elementos en la cadena de eventos. El valor añadido de la ciencia se puede transmitir fácilmente a la comunidad científica, los responsables políticos y el público.

Métricas responsables para una ciencia sustentable

20/10 Webinar: Acceso Abierto en la UNCuyo (11HS Argentina)

Métricas responsables para una ciencia sustentable

Intervienen

Adrian Méndez. Coordinador Biblioteca Digital, Sistema Integrado de Documentación Universidad de UNCuyo

En próximas sesiones:

María Alejandra Tejada Gómez es Asesora de la Vicerrectoría de Investigación, Pontificia Universidad Javeriana (PUJ). Reflexionó sobre evaluación de la investigación en búsqueda de las convergencias..

Enrique Orduña Malea es Dr. en Documentación, Universidad Politécnica de Valencia (UPV). Explicó las métricas de evaluación como una tragedia de tres actos..

Eduardo Aguado-López es Dr en Enseñanza Superior (CIDHEM, México), sociólogo, especialista en comunicación de ciencia y Acceso Abierto. Fundador y Director Gral de la Red de Revistas Científicas de América Latina, Caribe, España y Portugal (Redalyc). Nos dio excelentes razones para usar lenguaje estructurado (XML) y generación de indicadores en la metodología Redalyc2020..Semana internacional del acceso abierto.@bibliotecasuncuyo @aprender3c @institutoginogermani @ameli_conocimientoabierto @redalyc_oficial @unlpoficial

Arxiv.org lanza Arxiv labs: citas, recomendaciones y herramientas de colaboración

arXivLabs: a space for community innovation. ArXiv Blog, septiembre. 2020

Ver noticia

arXiv ha lanzado un nuevo marco formalizado que permite colaboraciones innovadoras con individuos y organizaciones.

Los lectores de arXiv ahora encontrarán una nueva característica, debajo del contenido existente en la página de registro de cada artículo, que refleja el nuevo marco (Ver imagen, parte inferior del registro). Las pestañas de arXivLabs destacan diferentes herramientas experimentales desarrolladas por colaboradores y se actualizarán a medida que estén disponibles nuevas herramientas. Estos agregan valor y funcionalidad tanto para lectores como para autores.

Por ejemplo, el explorador bibliográfico muestra información sobre trabajos que citan y son citados por artículos de arXiv y sus versiones publicadas. Esto permite el descubrimiento de investigaciones relevantes al proporcionar una navegación fácil de usar del árbol de citas de un artículo. El Explorador, desarrollado por Matt Bierbaum, ya estaba disponible en el sitio, y ahora aparecerá en la pestaña “Herramientas bibliográficas”.

Otra herramienta,CORE Recommender, facilita la exploración de artículos relevantes de acceso abierto de una red global de repositorios de investigación y ahora se puede acceder a ella en la pestaña ” Recommenders”.

Dialnet Métricas Documentación. Investigadores más citados

 

 

Dialnet Métricas es un portal que, basándose en el análisis de las referencias bibliográficas citadas en las publicaciones existentes en Dialnet, ofrece un conjunto de indicadores para ayudar a identificar la relevancia de la producción científica.

El núcleo principal es un índice bibliométrico que analiza el impacto de las revistas de las diversas disciplinas de Ciencias Sociales y Humanidades, pero se incluyen también indicadores de cada una de las publicaciones, de los investigadores y de las instituciones a las que éstos pertenecen

 

Investigadores del ámbito DOCUMENTACIÓN

 Más citados

 Por Áreas de conocimiento

 Por Universidades

Universidad de Salamanca

Publicaciones

Referencias bibliográficas por años

Índice de Revistas

 

Análisis de la presencia de datos altmétricos en publicaciones de Web of Science en campos temáticos y temas de investigación

 

screen-shot-2018-03-29-at-17.27.43

 

Zhichao Fang, Rodrigo Costas, Wencan Tian, Xianwen Wang, Paul Wouters. An extensive analysis of the presence of altmetric data for Web of Science publications across subject fields and research topics. arXiv:2020

Texto completo 

 

 

La presencia suficiente de datos es una de las condiciones previas clave para aplicar métricas en la práctica. Basado tanto en Altmetric.com y con datos de Mendeley recopilados hasta 2019, este documento se presenta un análisis de vanguardia de la presencia de 12 tipos de datos alternativos para casi 12.3 millones de publicaciones de Web of Science publicadas entre 2012 y 2018.

Los resultados muestran que, aunque La tendencia al alza de la presencia de datos se puede observar con el tiempo, a excepción de los lectores de Mendeley y las menciones de Twitter, la presencia general de la mayoría de los datos de métricas alternativas sigue siendo baja. La mayoría de las menciones alternativas van a publicaciones en los campos de las Ciencias Biomédicas y de la Salud, las Ciencias Sociales y Humanidades, y las Ciencias de la vida y la tierra.

En cuanto a los temas de investigación, el nivel de atención recibido por los temas de investigación varía según los datos altmétricos, y los datos específicos muestran diferentes preferencias para los temas de investigación, sobre la base de la cual se propone y aplica un marco para identificar temas de investigación candentes para detectar temas de investigación con mayores niveles de atención en ciertas fuentes de datos alternativos. Las menciones de Twitter y las citas de documentos de política se seleccionaron como dos ejemplos para identificar temas de interés de investigación de interés de los usuarios de Twitter y los responsables políticos, respectivamente, arrojando luz sobre el potencial de los datos alternativos para monitorear las tendencias de investigación de atención social específica

¿Por qué fluctúan las métricas? Directrices para hablar con los gestotres

 

screen-shot-2020-06-20-at-20.42.48

 

Why Do Measures Fluctuate? Metrics Report – Guidelines for Talking to Management. LIBER, 2020

Texto completo

 

Este informe es para quienes desde las bibliotecas están tratando de abordar los desafíos de las métricas en relación con la investigación. Asume una familiaridad con las métricas y sus fluctuaciones, y su objetivo es facilitar las discusiones con la administración.

El informe destaca las dificultades comunes cuando se discuten las métricas, así como los nuevos enfoques: DORA, el Manifiesto de Leiden, la marea métrica, que están siendo adoptados por ciertas instituciones. Con esta base establecida, se presentan pautas para participar y aumentar la comprensión entre la gerencia cuando se discuten indicadores de investigación responsables, junto con recursos adicionales.

Sobre la base de las experiencias del grupo de trabajo y las instituciones al abordar la cuestión de las métricas responsables con la administración, las recomendaciones en este informe están destinadas a ayudar a los bibliotecarios a explicar a la administración por qué fluctúan las medidas, un tema que los asistentes al taller en las conferencias LIBER destacaron como importante para abordar .

Jugando las métricas Mala conducta y manipulación en la investigación académica

3fcollid3dbooks_covers_026isbn3d978026253793326type3d

Mario Biagioli and Alexandra Lippman. Gaming the Metrics Misconduct and Manipulation in Academic Research. MIT, 2020

Texto completo

PDF

ePub

Cómo la creciente dependencia de las métricas para evaluar las publicaciones académicas ha producido nuevas formas de fraude académico y mala conducta.

El imperativo académico tradicional de “publicar o perecer” está cada vez más unido a la nueva necesidad de “impactar o perecer”: el requisito de que una publicación tenga “impacto”, medido por una variedad de métricas, incluidas citas, vistas y descargas.

Gaming the Metrics examina cómo la creciente dependencia de las métricas para evaluar publicaciones académicas ha producido formas radicalmente nuevas de fraude académico y mala conducta. Los contribuyentes muestran que la “cultura de auditoría” basada en métricas ha cambiado el entorno de la investigación, fomentando el juego y la manipulación de indicadores cuantitativos, lo que condujo a la invención de formas novedosas de mala conducta, como los anillos de citas y las revisiones de pares manipuladas. Los capítulos, escritos por académicos y oteas partes interesadas en la publicación académica, proporcionan un mapa de fraude académico y mala conducta en la actualidad.

¿Qué esperan los investigadores de sus bibliotecas?

what-do-researchers-expect-from-the-library

Supporting Academic Research : new study identifies opportunities for research offices and libraries to strengthen support for researcher. Jerusalén: Ex-Libris, 2019

Texto completo

Una encuesta de 300 investigadores de los Estados Unidos, el Reino Unido y Australia indicó un acuerdo universal de que las bibliotecas deberían apoyar el proceso de investigación académica.

 

Los datos de un estudio encargado por Ex Libris parecen indicar una especie de desconexión entre las expectativas de los investigadores de la biblioteca y lo que sucede en la práctica.

Este documento incluye los resultados de una encuesta de 300 investigadores y entrevistas con miembros de alto rango de oficinas de investigación en los Estados Unidos, el Reino Unido y Australia.

El documento examina las prioridades clave de investigación, que incluyen:

  • La satisfacción de los investigadores con el apoyo recibido por la oficina de investigación y la biblioteca.
  • Qué actividades realizan los investigadores por si mismos en lugar de obtener ayuda de otros
  • Experiencia en la búsqueda y solicitud de subvenciones.
  • Medición del impacto de la investigación
  • Exhibir y mantener los perfiles de los investigadores.

 

Expectativas: las bibliotecas deberían estar haciendo algo (¿pero qué?)

Se preguntó a los investigadores “¿Cuál de las siguientes opciones espera que haga la biblioteca para apoyar su tarea como investigador?” Aquí está el desglose general de las respuestas:

research-report-blog-post-image1-1024x615

Todo ello sugiere que, a pesar de la falta de claridad sobre lo que las bibliotecas podrían estar haciendo para apoyar los procesos de investigación, todos los investigadores piensan que deberían estar haciendo algo más.

En la práctica, a pesar de las expectativas declaradas por los investigadores, las bibliotecas juegan muy limitado en el proceso de investigación académica. El estudio Ex Libris también encuestó a los investigadores sobre qué partes del proceso de investigación gestionan ellos mismos de forma independiente y cuáles no, y a quién recurren para obtener ayuda. En ningún caso más del 12% de los encuestados mencionó a la biblioteca como su fuente de apoyo o asistencia.

Los resultados respecto a las tareas en que los investigadores recurren al personal de la biblioteca son:

  • Gestión de cargos por procesamiento de artículos (APC): 12%
  • Depósito en un repositorio institucional – 12%
  • Garantizar el cumplimiento de las políticas de acceso abierto: 10%
  • Encontrar revistas relevantes para publicación – 9%
  • Monitorear el impacto de su investigación – 8%
  • Preparación de planes de gestión de datos: 8%
  • Enviar su investigación para su publicación: 6%
  • Encontrar oportunidades de financiación relevantes: 5%
  • Solicitud de subvenciones de financiación – 4%

 

Aproximadamente la mitad de los investigadores encuestados dijeron que lo hacían ellos mismos, en lugar de contar con el apoyo de otros. Sin embargo, incluso entre aquellos que obtienen ayuda de sus instituciones, la mayoría recurre a la oficina de investigación o a asistentes de investigación.

Claramente, aunque todavía están involucradas solo en una minoría de estos casos, el soporte de la biblioteca está más enfocado en la gestión de tareas de publicación de investigación, como la gestión de los cargos de procesamiento de artículos (APCs), la búsqueda de revistas relevantes para publicación, depósitos en repositorios institucionales y garantizar el cumplimiento de políticas de acceso abierto.

Esto está en línea con el tipo de actividades que los investigadores esperan de sus bibliotecas institucionales, como se señaló anteriormente. Sin embargo, incluso un número mayor de investigadores dijeron que esperaban que la biblioteca proporcionara servicios de datos de investigación y educación en alfabetización informacional.

La brecha entre lo que a los investigadores les gustaría que hicieran sus bibliotecas y el apoyo que reciben en la práctica no es un abismo insalvable. Más bien, es una gran gran oportunidad en la que las bibliotecas están en una posición única para poder aprovecharla. Las bibliotecas pueden desempeñar un papel más destacado en el ciclo de vida de la investigación al ofrecer más servicios y un mayor apoyo para las actividades relacionadas con la publicación, esencialmente basándose en lo que ya están haciendo, además de expandir sus servicios para incluir el apoyo al proceso de investigación en sí.

Necesitamos un conjunto de métricas más amplio y transparente para evaluar la publicación científica.

d41586-019-01643-3_16747904

Paul Wouters, Cassidy, R. Sugimoto, Vincent Larivière, Marie E. McVeigh, Bernd Pulverer, Sarah de Rijcke, Ludo Waltman. Rethinking impact factors: better ways to judge a journal We need a broader, more-transparent suite of metrics to improve science publishing, Nature, 28 may 2019

Texto completo

El factor de impacto de la revista ha dominado durante mucho tiempo la evaluación de la publicación académica. Basado en la indexación de citas, y concebido hace más de cuatro décadas, es improbable que los creadores del factor de impacto anticiparan su adopción generalizada y su longevidad, ni su supuesto mal uso. Sin embargo, los tiempos parecen estar dispuestos a cambiar esta lógica. En un artículo reciente en Nature, Paul Wouters y otros coautores insisten en que la publicación académica necesita un “conjunto más amplio y transparente” de indicadores de revistas, y exploran cómo podría ser.

Como destacan los autores, para determinar cuál es la mejor manera de juzgar una revista, es fundamental considerar la pregunta “¿Para qué sirve una revista? Identifican las funciones clave de las revistas como registrar, curar, evaluar, difundir y archivar la investigación y señalan que el factor de impacto sólo puede captar aspectos limitados de éstas. Si bien todas las funciones de la revista deben ser evaluadas, los autores advierten que “tener más indicadores no equivale a tener mejores indicadores”. Proponen que la próxima generación de indicadores de revistas se diseñe e implemente de manera responsable para cumplir con los siguientes criterios:

  • Justificado: El indicador debe tener un papel menor y explícitamente definido en la evaluación de la investigación.
  • Contextualizado: Deberán comunicarse tanto las estadísticas numéricas como las distribuciones estadísticas, teniendo en cuenta las diferencias interdisciplinarias.
  • Informado: Debería haber una formación sobre los indicadores, facilitada por expertos.
  • Responsable: Consideración de la posible influencia de los indicadores en el comportamiento de los investigadores o de las partes interesadas.

Entonces, ¿quién debería gestionar la próxima generación de indicadores de las revistas? Los autores sugieren la creación de una organización de gobierno inclusiva. La organización debe hacer recomendaciones sobre el uso de indicadores, educar a las partes interesadas sobre las buenas prácticas y proporcionar orientación sobre la publicación de acceso abierto y el intercambio de datos. El lanzamiento de este órgano rector está previsto en un taller que se celebrará en 2020; y se invita a todas las partes interesadas a que se pongan en contacto con los autores para que se sumen a la iniciativa.