Archivo de la etiqueta: Evaluación

Relación entre las altermetrías y las medidas tradicionales de medición científica

altmetrics2
Maggio, Lauren A ; Leroux,  Todd ; Meyer, Holly S ; Anthony R Artino. «Exploring the relationship between altmetrics and traditional measures of dissemination in Health professions education«. BioArxiv, 2018. doi: https://doi.org/10.1101/260059

 

Los investigadores, financiadores e instituciones están interesados en comprender y cuantificar la difusión y el impacto de la investigación, especialmente en lo que se refiere a la comunicación con el público. Tradicionalmente, las citaciones han sido una medida de impacto primario; sin embargo, las citaciones requieren de un lento proceso para acumularse y enfocarse en el uso académico.

Recientemente se ha sugerido la utilización medidas altmétricas, que registran formas alternativas de difusión (por ejemplo, los medios sociales) como complemento de las métricas basadas en citaciones. Este estudio examina la relación entre la altermetria y las medidas tradicionales: citas de artículos de revistas y recuento de accesos. Los investigadores recopilaron en Web of Science y Altmetric.com  artículos publicados en revistas de HPE entre 2013-2015. Identificaron 2.486 artículos.

Los datos se analizaron mediante modelos binomiales y de regresión lineal negativa. En este recuento, los blogs se asociaron con el mayor aumento de citas (13% de incremento), mientras que los Tweets (1,2%) y Mendeley (1%) se asociaron con aumentos menores. El factor de impacto en revistas (JIF) se asoció con un aumento del 21% en las citas. Los artículos libremente accesibles al público se asociaron con una disminución del 19%, pero el efecto interactivo entre los artículos accesibles y el Factor de impacto se asoció con un aumento del 12%. Al examinar las cuentas de acceso, los artículos libremente accesibles al público tuvieron un aumento de 170, mientras que los blogs se asociaron con una disminución de 87 accesos.

Este estudio sugiere que varios puntos de las métricas alternativas están positivamente asociados con las citas, y que la accesibilidad pública, manteniendo constantes todas las demás variables independientes, está positivamente relacionada con el acceso al artículo. Dado el enfoque evolutivo de la comunidad científica en la difusión-incluyendo al público-los hallazgos tienen implicaciones para las partes interesadas, proporcionando una visión de los factores que pueden mejorar las citas y el acceso a los artículos.

La evaluación de la investigación: criterios de evaluación en Humanidades y el caso de la Traducción e Interpretación

evaluacion2

Granell Zafra, X. “La evaluación de la investigación: criterios de evaluación en Humanidades y el caso de la Traducción e Interpretación.” Investigación bibliotecológica vol. 29, n. 66 (2015). pp. 57-78. http://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S0187-358X2015000200057

En este artículo abordamos los criterios de evaluación que determinan la calidad de la productividad investigadora en el campo de las Humanidades con el objetivo de comprobar su aplicación al área de conocimiento de la Traducción e Interpretación. Partimos de un análisis de los criterios establecidos por dos de los organismos encargados de evaluar la producción científica española: ANECA y CNEAI. Uno de los principales problemas en la aplicación de los criterios que afecta a todos los campos de las Humanidades es la utilización de indicadores de calidad procedentes del ámbito de las ciencias experimentales, centrados en la producción publicada en revistas científicas incluidas en determinados índices y bases de datos. Por este motivo, nos proponemos indagar cuáles son los problemas que representa esta manera de evaluar las publicaciones para la investigación producida habitualmente en Traducción e Interpretación y qué alternativas pueden darse para incrementar la visibilidad de la producción investigadora.

The Metrics Toolkit: un recurso para investigadores y evaluadores que proporciona una guía para demostrar y evaluar las evidencias del impacto de la investigación

 

3217ddfdb169a49922fd60fc1a5516e9

Metrics Toolkit

http://www.metrics-toolkit.org/

 

Metrics Toolkit es un recurso para investigadores y evaluadores que proporciona una guía para demostrar y evaluar las evidencias del impacto de la investigación. El Toolkit pretende ayudar a comprender rápidamente lo que significa una métrica, cómo se calcula y si es adecuada para un propósito determinado. 

 

Metrics Toolkit fue desarrollado gracias al 2016 Force11 PitchIt! con el apoyo de OHSU, IUPUI y Altmetric y proporciona información basada en la evidencia acerca de las métricas de investigación entre disciplinas, incluyendo cómo se calcula cada métrica, dónde puede encontrarse y cómo debe (y no debe) aplicarse cada una de ellas. También proporciona ejemplos de cómo utilizar las métricas en solicitudes de acreditación académica, subvenciones y currículos.

La herramienta ofrece dos opciones fundamentales para explorar métricas y elegir una métrica.

  • Explorar métricas
  • Seleccionar una métrica

 

26127467458_6b3dc1582b_b_d

 

EXPLORAR MÉTRICAS

Dentro de la opción explorar métricas podemos aprender más sobre métricas específicas, lo que miden y lo que no miden. Dando la opción para diversos formatos como capítulos de libros, Libros, Datasets, artículos de revistas y software. Y sobre métricas concretas como

  • Puntuación de la atención de Altmetric
  • Calificaciones y comentarios en Amazon
  • Menciones del blog
  • Citas de artículos
  • Citas de libros y capítulos de libros
  • Citas de datos
  • Citas de software
  • Descargas de artículos
  • Descargas de libros y capítulos de libros
  • Descargas de software
  • Comentarios, gustos y acciones en Facebook
  • Faculty 1000 Prime: FFa, calificaciones, comentarios
  • Github
  • Goodreads: Valoraciones y comentarios
  • h-index
  • Tasa de aceptación de la revista
  • Factor de impacto en revistas
  • Lectores de Mendeley
  • Reservas de monografías
  • Monografía Ventas y Ranking
  • Noticias Menciones
  • Menciones de política
  • Puntuación Publons
  • Comentarios de Pubpeer
  • Relación de Mención Relativa
  • Menciones en Twitter
  • Citas de Wikipedia

 

SELECCIONAR MÉTRICAS

Podemos buscar las métricas correctas para demostrar el impacto de la investigación o evaluar el impacto de productos específicos. Pudiendo elegir el tipo de impacto, tipo de documento y área de conocimiento o disciplina.

Dentro de cada métrica nos aparecen datos tales como su aplicación, definición métrica, cálculo, fuentes de datos, uso apropiado, limitaciones,casos de uso inapropiado, fuentes métricas disponibles, auditabilidad y periodo que cubre cada métrica.

  • Nombre El nombre de la métrica (por ejemplo, h-index)
  • Aplicación. Indicación de como se aplica la métrica (por ejemplo, un investigador individual, un trabajo, una revista, etc.).
  • Definición de la métrica. Definición narrativa de lo que calcula la métrica
  • Cálculo métrico Definición matemática/cuantitativa de la métrica (cuando está disponible)
  • Fuentes de datos . Fuentes de datos utilizadas para calcular la métrica
  • Casos de uso apropiado Enumera las preguntas relacionadas con la atención/impacto que la métrica puede ayudar a resolver
  • Limitaciones. Describe las limitaciones de la métrica, identificadas en la literatura.
  • Casos de uso inapropiado. Describe las situaciones relacionadas con la atención/impacto en que la métrica no debe ser usada-
  • Fuentes disponibles Individuos u organizaciones que mantienen y publican la métrica, con enlaces a esas fuentes.
  • Transparencia La capacidad de acceder y verificar los datos y algoritmos fuente para obtener métricas.
  • Página web Enlace a la página web oficial de la métrica, cuando corresponda
  • Plazo Ámbito temporal o cobertura utilizada en el cálculo de la métrica.

 

Gracias a I4OC, Crossref tiene el potencial de convertirse en una fuente abierta de datos de citas

 

94deefeeb961912e370e5372efa6b5ff__598

Ver noticia original

En la actualidad, los cienciometristas suelen obtener datos de citación de Web of Science (WoS) y Scopus, dos fuentes de datos patentadas. En este post, se proporciona información empírica sobre el valor de Crossref como una nueva fuente de datos de citas. Cimparando Crossref con WoS y Scopus, centrándonos en los datos de citación disponibles en las diferentes fuentes de datos. El análisis demuestra que más de tres cuartas partes de las referencias en WoS y más de dos tercios de las referencias Scopus pueden encontrarse en Crossref, con cerca de la mitad de estas referencias disponibles abiertamente.

Initiative for Open Citations (I4OC)   anima a los editores académicos a publicar las referencias encontradas en sus revistas y libros a través de Crossref. -Con algunas excepciones como American Chemical Society, Elsevier, IEEE y Wolters Kluwer Health-, casi todas las grandes editoriales apoyan la iniciativa. Hasta ahora, este apoyo ha hecho que aproximadamente la mitad de todas las referencias depositadas en Crossref estén abiertamente disponibles, lo que ha dado lugar a unos 500 millones de referencias abiertas.

Una gran parte de la literatura académica indexada en WoS y Scopus también está disponible en Crossref. En los últimos años, el 68% de las publicaciones WoS y el 77% de las publicaciones Scopus gracias al cruce de datos entre Crossref  y DOI. Es probable que estas cifras subestimen el verdadero solapamiento entre las fuentes de datos, ya que la comparación basada en los DOIs presenta varias dificultades, tales como los datos incorrectos, la falta de datos o los ducplicados. Para mejorar la correspondencia, los editores y proveedores de datos se necesitaría trabajar en común para ofrecer datos DOI más completos y precisos.

Benchmarking en bibliotecas. monográfico

28111449839_f84ab68621_b_d

 

¿Que es el Benchmarking?

 

Dentro del marco de la gestión de la calidad, una organización puede recurrir a diversas herramientas metodológicas con el fin de conseguir los mejores resultados en función de sus condiciones de competitividad. Una de ellas es el benchmarking, que persigue la identificación de las mejores prácticas en otras organizaciones, con el objetivo de aprehenderlas y mejorar el rendimiento de un proceso o función determinada. Se define el concepto de benchmarking, en qué consiste y sus distintas modalidades. Se analizan las características y posibilidades de su aplicación en bibliotecas y unidades de información, y se incluye un modelo para su utilización en el contexto bibliotecario, así como estudios llevados a cabo en este sector.

 

De:

Alonso Arévalo, J. and S. Martín Cerro «Benchmarking : una herramienta para gestionar la excelencia aplicada a las bibliotecas.» Jornadas de Bibliotecas Universitarias de Castilla y León vol. 3, n. (2000).Texto completo

 

 

Para saber más

Ver monográfico

Otros monográficos

MONOGRÁFICOS SOBRE BYD

Impacto y calidad editorial del libro científico. Planeta Biblioteca 2018/01/24

28091672809_50fa1169b6_b_d

Escuchar el programa

Ir a descargar

 

Nos visitó Elea Giménez, Científica Titular del Consejo Superior de Investigaciones Científicas (CSIC) de España y directora del Grupo de investigación sobre Libro Académico (ILIA). Doctora y Licenciada en Documentación por la Universidad Carlos III de Madrid para hablarnos sobre Impacto y calidad editorial del libro científico  como coordinadora del sistema público de indicadores para editoriales académicas Scholarly Publishers Indicators (SPI). Un ranking orientativo que puede ayudar en los procesos de evaluación de la actividad científica en Humanidades y Ciencias Sociales. Se basa en la opinión de más de 5.500 investigadores españoles en Humanidades y Ciencias Sociales transformada en ranking mediante la aplicación de un indicador matemáticamente consistente, reproducible y transparente en su formulación.

 Scholarly Publishers Indicators (SPI)

http://ilia.cchs.csic.es/SPI/

Ver además

Giménez Toledo, Elea (ed.). La edición académica española. Indicadores y características: Indicadores y características. (segunda versión). Madrid:
Federación de Gremios de Editores de España, 2017.
ISBN: 978-84-86141-66-0.

Texto completo

Este informe tiene como objeto de estudio el sector editorial científico/académico en España a partir de distintas aproximaciones y datos. Si bien este sector ha sido analizado parcialmente en algunos estudios previos, lo cierto es que no existía un análisis global que abarcara tanto lo referido a la edición pública como a la privada y que se acercara a distintas dimensiones relacionadas directa o indirectamente con la calidad de la edición científico/académica.

Rankings ISSUE 2017 Indicadores sintéticos de las universidades españolas

portada-u-ranking-2017

Pérez, F. and J. Aldás [e-Book] Rankings ISSUE 2017 Indicadores sintéticos de las universidades españolas: Docencia, Investigación e Innovación y Desarrollo Tecnológico. Madrid, Fundación BBVA, 2017

http://www.u-ranking.es

Texto completo

Informe 2016

Informe 2015

El documento U-Ranking (Indicadores Sintéticos del Sistema Universitario Español) 2017 presenta la quinta edición de los resultados de las universidades en sus actividades docentes, de investigación y de innovación y desarrollo tecnológico, ofreciendo una ordenación de las instituciones para cada ámbito y para el conjunto de las actividades universitarias.

Este documento describe la metodología desarrollada para la construcción de las variables y los indicadores que sirven de base a las distintas clasificaciones y analiza los dos tipos de rankings construidos, de rendimiento (U-Ranking) y de volumen de resultados (U-Ranking Volumen), comparándolos entre sí, con el ranking de Shanghái, así como con los resultados obtenidos en la edición 2016 de los U-Ranking.

Siguiendo con el trabajo iniciado en 2015, la quinta edición continua incorporando al ranking aquellas universidades privadas de las que se dispone de información suficiente y con la calidad adecuada para que el tratamiento pueda ser homogéneo respecto a las públicas en el cálculo de los indicadores sintéticos. La V Edición de U-Ranking incluye trece universidades privadas que cumplen estas características y las 48 universidades públicas. Así esta edición analiza un total de 61 universidades públicas y privadas, cubriendo el 93% del Sistema Universitario Español en términos de número de estudiantes de grado.

U-Ranking ordena las universidades españolas en función de su rendimiento -docente, de investigación y de innovación y desarrollo tecnológico- corrigiendo los efectos del distinto tamaño de las instituciones para hacerlas comparables entre sí.

Las universidades con un mismo índice de rendimiento son situadas en el mismo nivel, distinguiendo 11 niveles y ordenadas alfabéticamente:

Mendeley como indicador de impacto temprano

 

altmetricsummonsidebar

Maflahi, N. and M. Thelwall «How quickly do publications get read? The evolution of mendeley reader counts for new articles.» Journal of the Association for Information Science and Technology vol. 69, n. 1 (2018). pp. 158-167. http://dx.doi.org/10.1002/asi.23909

 

Dentro de la ciencia, las citaciones son utilizadas para estimar el impacto de la investigación, pero el tiempo necesario para compilar las citas significa que no son útiles para investigaciones recientes. Este vacío puede ser llenado por los recuentos de lectores que proporciona el gestor de referencias Mendeley, datos que pueden ser valiosos indicadores de impacto temprano para los artículos académicos porque aparecen antes de las citas y frecuentemente existe una correlacion entre el número de lectores que han compartido una referencia y el número de citas recibidas por un documento.

Este artículo hace un estudio longitudinal de los lectores de Mendeley en 6 revistas bibliotecarias y de ciencias de la información de 2016. Los resultados sugieren que los lectores de Mendeley se acumulan cuando los artículos están disponibles por primera vez en línea y continúan creciendo constantemente. Para las revistas con grandes retrasos de publicación, los artículos ya pueden tener un número considerable de lectores en su fecha de publicación. Por lo tanto, los conteos de lectores de Mendeley pueden ser útiles incluso como indicadores de impacto temprano para los artículos, incluso antes de que hayan sido publicados oficialmente en un número de la revista.

 La edición académica española. Indicadores y características

 

25875753648_09c2c4620c_o_d

Giménez Toledo, Elea (ed.). La edición académica española. Indicadores y características: Indicadores y características. (segunda versión). Madrid:
Federación de Gremios de Editores de España, 2017.
ISBN: 978-84-86141-66-0.

Texto completo

Este informe tiene como objeto de estudio el sector editorial científico/académico en España a partir de distintas aproximaciones y datos. Si bien este sector ha sido analizado parcialmente en algunos estudios previos, lo cierto es que no existía un análisis global que abarcara tanto lo referido a la edición pública como a la privada y que se acercara a distintas dimensiones relacionadas directa o indirectamente con la calidad de la edición científico/académica.

El estudio tiene su origen en la investigación desarrollada por el Grupo de Investigación sobre el Libro Académico (ILIA) del Consejo Superior de Investigaciones Científicas (CSIC). Desde que en 2008 comenzara su investigación sobre edición académica y evaluación científica, el grupo ha ido obteniendo, diseñando y probando algunos indicadores de calidad para editoriales académicas, recogidos en el sistema público de indicadores SPI (Scholarly Publishers Indicators)

La creación y actualización de esta fuente siempre ha estado guiada por dos objetivos. El primero, conocer mejor el sector editorial científico/académico español, sobre el que pocas veces se había profundizado. El segundo, proporcionar información objetiva, no mediatizada y obtenida con metodologías científicas a la comunidad académica. Al disponer de resultados de investigación y de indicadores, el conocimiento del sector es más preciso y las posibilidades de análisis, de mejora o de evolución, factibles. También se favorece el reconocimiento del libro científico publicado en España, pues es posible tener en cuenta en los procesos de evaluación de la actividad científica, indicadores independientes y objetivos de calidad. Así, la CNEAI y ANECA reconocen a día de hoy esta fuente de información como un apoyo en sus procesos de evaluación.

El análisis de las editoriales académicas que se realiza en este estudio debe situarse también en un contexto internacional. Distintos países europeos disponen de listados y/o categorizaciones de editoriales académicas que les permiten guiar sus procesos de evaluación y valorar tanto lo que se publica fuera como dentro del país, preservando así el sector editorial nacional y lo que ese hecho lleva aparejado: la diversidad lingüística, cultural y temática que puede contemplar en los libros que publica.

Evaluación de la ciencia: tan necesaria como problemática

Deja un comentario

 

 

codina

Codina, Lluís (2016). “Evaluación de la ciencia: tan necesaria como problemática”. El profesional de la información, v.
25, n. 5, pp. 715-719.
https://doi.org/10.3145/epi.2016.sep.01

 

Texto completo

 

Nadie discute la necesidad de que la ciencia sea evaluada, pero su evaluación es motivo de continuas controversias. Se presentan las características de las principales evaluaciones que forman parte del entorno de la investigación, incluyendo las evaluaciones de artículos bajo el sistema peer review y las evaluaciones de trayectorias personales. Se comentan los principales problemas y los retos y posibles soluciones.