Archivo de la etiqueta: Evaluación

Relación entre las altermetrías y las medidas tradicionales de medición científica

altmetrics2
MaggioLauren A ; Leroux,  Todd ; MeyerHolly S ; Anthony R Artino. “Exploring the relationship between altmetrics and traditional measures of dissemination in Health professions education“. BioArxiv, 2018. doi: https://doi.org/10.1101/260059

 

Los investigadores, financiadores e instituciones están interesados en comprender y cuantificar la difusión y el impacto de la investigación, especialmente en lo que se refiere a la comunicación con el público. Tradicionalmente, las citaciones han sido una medida de impacto primario; sin embargo, las citaciones requieren de un lento proceso para acumularse y enfocarse en el uso académico.

Recientemente se ha sugerido la utilización medidas altmétricas, que registran formas alternativas de difusión (por ejemplo, los medios sociales) como complemento de las métricas basadas en citaciones. Este estudio examina la relación entre la altermetria y las medidas tradicionales: citas de artículos de revistas y recuento de accesos. Los investigadores recopilaron en Web of Science y Altmetric.com  artículos publicados en revistas de HPE entre 2013-2015. Identificaron 2.486 artículos.

Los datos se analizaron mediante modelos binomiales y de regresión lineal negativa. En este recuento, los blogs se asociaron con el mayor aumento de citas (13% de incremento), mientras que los Tweets (1,2%) y Mendeley (1%) se asociaron con aumentos menores. El factor de impacto en revistas (JIF) se asoció con un aumento del 21% en las citas. Los artículos libremente accesibles al público se asociaron con una disminución del 19%, pero el efecto interactivo entre los artículos accesibles y el Factor de impacto se asoció con un aumento del 12%. Al examinar las cuentas de acceso, los artículos libremente accesibles al público tuvieron un aumento de 170, mientras que los blogs se asociaron con una disminución de 87 accesos.

Este estudio sugiere que varios puntos de las métricas alternativas están positivamente asociados con las citas, y que la accesibilidad pública, manteniendo constantes todas las demás variables independientes, está positivamente relacionada con el acceso al artículo. Dado el enfoque evolutivo de la comunidad científica en la difusión-incluyendo al público-los hallazgos tienen implicaciones para las partes interesadas, proporcionando una visión de los factores que pueden mejorar las citas y el acceso a los artículos.

Anuncios

La evaluación de la investigación: criterios de evaluación en Humanidades y el caso de la Traducción e Interpretación

evaluacion2

Granell Zafra, X. “La evaluación de la investigación: criterios de evaluación en Humanidades y el caso de la Traducción e Interpretación.” Investigación bibliotecológica vol. 29, n. 66 (2015). pp. 57-78. http://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S0187-358X2015000200057

En este artículo abordamos los criterios de evaluación que determinan la calidad de la productividad investigadora en el campo de las Humanidades con el objetivo de comprobar su aplicación al área de conocimiento de la Traducción e Interpretación. Partimos de un análisis de los criterios establecidos por dos de los organismos encargados de evaluar la producción científica española: ANECA y CNEAI. Uno de los principales problemas en la aplicación de los criterios que afecta a todos los campos de las Humanidades es la utilización de indicadores de calidad procedentes del ámbito de las ciencias experimentales, centrados en la producción publicada en revistas científicas incluidas en determinados índices y bases de datos. Por este motivo, nos proponemos indagar cuáles son los problemas que representa esta manera de evaluar las publicaciones para la investigación producida habitualmente en Traducción e Interpretación y qué alternativas pueden darse para incrementar la visibilidad de la producción investigadora.

The Metrics Toolkit: un recurso para investigadores y evaluadores que proporciona una guía para demostrar y evaluar las evidencias del impacto de la investigación

 

3217ddfdb169a49922fd60fc1a5516e9

Metrics Toolkit

http://www.metrics-toolkit.org/

 

Metrics Toolkit es un recurso para investigadores y evaluadores que proporciona una guía para demostrar y evaluar las evidencias del impacto de la investigación. El Toolkit pretende ayudar a comprender rápidamente lo que significa una métrica, cómo se calcula y si es adecuada para un propósito determinado. 

 

Metrics Toolkit fue desarrollado gracias al 2016 Force11 PitchIt! con el apoyo de OHSU, IUPUI y Altmetric y proporciona información basada en la evidencia acerca de las métricas de investigación entre disciplinas, incluyendo cómo se calcula cada métrica, dónde puede encontrarse y cómo debe (y no debe) aplicarse cada una de ellas. También proporciona ejemplos de cómo utilizar las métricas en solicitudes de acreditación académica, subvenciones y currículos.

La herramienta ofrece dos opciones fundamentales para explorar métricas y elegir una métrica.

  • Explorar métricas
  • Seleccionar una métrica

 

26127467458_6b3dc1582b_b_d

 

EXPLORAR MÉTRICAS

Dentro de la opción explorar métricas podemos aprender más sobre métricas específicas, lo que miden y lo que no miden. Dando la opción para diversos formatos como capítulos de libros, Libros, Datasets, artículos de revistas y software. Y sobre métricas concretas como

  • Puntuación de la atención de Altmetric
  • Calificaciones y comentarios en Amazon
  • Menciones del blog
  • Citas de artículos
  • Citas de libros y capítulos de libros
  • Citas de datos
  • Citas de software
  • Descargas de artículos
  • Descargas de libros y capítulos de libros
  • Descargas de software
  • Comentarios, gustos y acciones en Facebook
  • Faculty 1000 Prime: FFa, calificaciones, comentarios
  • Github
  • Goodreads: Valoraciones y comentarios
  • h-index
  • Tasa de aceptación de la revista
  • Factor de impacto en revistas
  • Lectores de Mendeley
  • Reservas de monografías
  • Monografía Ventas y Ranking
  • Noticias Menciones
  • Menciones de política
  • Puntuación Publons
  • Comentarios de Pubpeer
  • Relación de Mención Relativa
  • Menciones en Twitter
  • Citas de Wikipedia

 

SELECCIONAR MÉTRICAS

Podemos buscar las métricas correctas para demostrar el impacto de la investigación o evaluar el impacto de productos específicos. Pudiendo elegir el tipo de impacto, tipo de documento y área de conocimiento o disciplina.

Dentro de cada métrica nos aparecen datos tales como su aplicación, definición métrica, cálculo, fuentes de datos, uso apropiado, limitaciones,casos de uso inapropiado, fuentes métricas disponibles, auditabilidad y periodo que cubre cada métrica.

  • Nombre El nombre de la métrica (por ejemplo, h-index)
  • Aplicación. Indicación de como se aplica la métrica (por ejemplo, un investigador individual, un trabajo, una revista, etc.).
  • Definición de la métrica. Definición narrativa de lo que calcula la métrica
  • Cálculo métrico Definición matemática/cuantitativa de la métrica (cuando está disponible)
  • Fuentes de datos . Fuentes de datos utilizadas para calcular la métrica
  • Casos de uso apropiado Enumera las preguntas relacionadas con la atención/impacto que la métrica puede ayudar a resolver
  • Limitaciones. Describe las limitaciones de la métrica, identificadas en la literatura.
  • Casos de uso inapropiado. Describe las situaciones relacionadas con la atención/impacto en que la métrica no debe ser usada-
  • Fuentes disponibles Individuos u organizaciones que mantienen y publican la métrica, con enlaces a esas fuentes.
  • Transparencia La capacidad de acceder y verificar los datos y algoritmos fuente para obtener métricas.
  • Página web Enlace a la página web oficial de la métrica, cuando corresponda
  • Plazo Ámbito temporal o cobertura utilizada en el cálculo de la métrica.

 

 

 

 

 

Gracias a I4OC, Crossref tiene el potencial de convertirse en una fuente abierta de datos de citas

 

94deefeeb961912e370e5372efa6b5ff__598

Ver noticia original

En la actualidad, los cienciometristas suelen obtener datos de citación de Web of Science (WoS) y Scopus, dos fuentes de datos patentadas. En este post, se proporciona información empírica sobre el valor de Crossref como una nueva fuente de datos de citas. Cimparando Crossref con WoS y Scopus, centrándonos en los datos de citación disponibles en las diferentes fuentes de datos. El análisis demuestra que más de tres cuartas partes de las referencias en WoS y más de dos tercios de las referencias Scopus pueden encontrarse en Crossref, con cerca de la mitad de estas referencias disponibles abiertamente.

Initiative for Open Citations (I4OC)   anima a los editores académicos a publicar las referencias encontradas en sus revistas y libros a través de Crossref. -Con algunas excepciones como American Chemical Society, Elsevier, IEEE y Wolters Kluwer Health-, casi todas las grandes editoriales apoyan la iniciativa. Hasta ahora, este apoyo ha hecho que aproximadamente la mitad de todas las referencias depositadas en Crossref estén abiertamente disponibles, lo que ha dado lugar a unos 500 millones de referencias abiertas.

Una gran parte de la literatura académica indexada en WoS y Scopus también está disponible en Crossref. En los últimos años, el 68% de las publicaciones WoS y el 77% de las publicaciones Scopus gracias al cruce de datos entre Crossref  y DOI. Es probable que estas cifras subestimen el verdadero solapamiento entre las fuentes de datos, ya que la comparación basada en los DOIs presenta varias dificultades, tales como los datos incorrectos, la falta de datos o los ducplicados. Para mejorar la correspondencia, los editores y proveedores de datos se necesitaría trabajar en común para ofrecer datos DOI más completos y precisos.

Benchmarking en bibliotecas. monográfico

28111449839_f84ab68621_b_d

 

¿Que es el Benchmarking?

 

Dentro del marco de la gestión de la calidad, una organización puede recurrir a diversas herramientas metodológicas con el fin de conseguir los mejores resultados en función de sus condiciones de competitividad. Una de ellas es el benchmarking, que persigue la identificación de las mejores prácticas en otras organizaciones, con el objetivo de aprehenderlas y mejorar el rendimiento de un proceso o función determinada. Se define el concepto de benchmarking, en qué consiste y sus distintas modalidades. Se analizan las características y posibilidades de su aplicación en bibliotecas y unidades de información, y se incluye un modelo para su utilización en el contexto bibliotecario, así como estudios llevados a cabo en este sector.

 

De:

Alonso Arévalo, J. and S. Martín Cerro “Benchmarking : una herramienta para gestionar la excelencia aplicada a las bibliotecas.” Jornadas de Bibliotecas Universitarias de Castilla y León vol. 3, n. (2000).Texto completo

 

 

Para saber más

Ver monográfico

Otros monográficos

MONOGRÁFICOS SOBRE BYD

Impacto y calidad editorial del libro científico. Planeta Biblioteca 2018/01/24

28091672809_50fa1169b6_b_d

Escuchar el programa

Ir a descargar

 

Nos visitó Elea Giménez, Científica Titular del Consejo Superior de Investigaciones Científicas (CSIC) de España y directora del Grupo de investigación sobre Libro Académico (ILIA). Doctora y Licenciada en Documentación por la Universidad Carlos III de Madrid para hablarnos sobre Impacto y calidad editorial del libro científico  como coordinadora del sistema público de indicadores para editoriales académicas Scholarly Publishers Indicators (SPI). Un ranking orientativo que puede ayudar en los procesos de evaluación de la actividad científica en Humanidades y Ciencias Sociales. Se basa en la opinión de más de 5.500 investigadores españoles en Humanidades y Ciencias Sociales transformada en ranking mediante la aplicación de un indicador matemáticamente consistente, reproducible y transparente en su formulación.

 Scholarly Publishers Indicators (SPI)

http://ilia.cchs.csic.es/SPI/

Ver además

Giménez Toledo, Elea (ed.). La edición académica española. Indicadores y características: Indicadores y características. (segunda versión). Madrid:
Federación de Gremios de Editores de España, 2017.
ISBN: 978-84-86141-66-0.

Texto completo

Este informe tiene como objeto de estudio el sector editorial científico/académico en España a partir de distintas aproximaciones y datos. Si bien este sector ha sido analizado parcialmente en algunos estudios previos, lo cierto es que no existía un análisis global que abarcara tanto lo referido a la edición pública como a la privada y que se acercara a distintas dimensiones relacionadas directa o indirectamente con la calidad de la edición científico/académica.

Rankings ISSUE 2017 Indicadores sintéticos de las universidades españolas

portada-u-ranking-2017

Pérez, F. and J. Aldás [e-Book] Rankings ISSUE 2017 Indicadores sintéticos de las universidades españolas: Docencia, Investigación e Innovación y Desarrollo Tecnológico. Madrid, Fundación BBVA, 2017

http://www.u-ranking.es

Texto completo

Informe 2016

Informe 2015

El documento U-Ranking (Indicadores Sintéticos del Sistema Universitario Español) 2017 presenta la quinta edición de los resultados de las universidades en sus actividades docentes, de investigación y de innovación y desarrollo tecnológico, ofreciendo una ordenación de las instituciones para cada ámbito y para el conjunto de las actividades universitarias.

Este documento describe la metodología desarrollada para la construcción de las variables y los indicadores que sirven de base a las distintas clasificaciones y analiza los dos tipos de rankings construidos, de rendimiento (U-Ranking) y de volumen de resultados (U-Ranking Volumen), comparándolos entre sí, con el ranking de Shanghái, así como con los resultados obtenidos en la edición 2016 de los U-Ranking.

Siguiendo con el trabajo iniciado en 2015, la quinta edición continua incorporando al ranking aquellas universidades privadas de las que se dispone de información suficiente y con la calidad adecuada para que el tratamiento pueda ser homogéneo respecto a las públicas en el cálculo de los indicadores sintéticos. La V Edición de U-Ranking incluye trece universidades privadas que cumplen estas características y las 48 universidades públicas. Así esta edición analiza un total de 61 universidades públicas y privadas, cubriendo el 93% del Sistema Universitario Español en términos de número de estudiantes de grado.

U-Ranking ordena las universidades españolas en función de su rendimiento -docente, de investigación y de innovación y desarrollo tecnológico- corrigiendo los efectos del distinto tamaño de las instituciones para hacerlas comparables entre sí.

Las universidades con un mismo índice de rendimiento son situadas en el mismo nivel, distinguiendo 11 niveles y ordenadas alfabéticamente: