Archivo de la etiqueta: Indicadores

Repensando la evaluación de la investigación Una rúbrica para analizar las condiciones y los indicadores de progreso institucional a fin de lograr buenos resultados

Hatch, A., & Schmidt, R. SPACE: La mejora de la evaluación académica. Una rúbrica para analizar las condiciones y los indicadores de progreso institucional a fin de lograr buenos resultados, DORA, 2022. Trad.: Universitat Oberta de Catalunya. 2022.

Texto completo

SPACE_DORA_ES_rubrica.pdf

SPACE_DORA_ES_plantilla.pdf

SPACE_DORA_ES_instrucciones.pdf

Rúbrica e información de soporte para analizar las condiciones institucionales y los indicadores de progreso para la reforma de la evaluación académica. La evaluación de la investigación y del personal investigador supone un reto: las instituciones que priorizan el desarrollo de infraestructuras institucionales pueden estar mejor preparadas que las que se centran solo en soluciones individuales.

Este documento forma parte de la guía práctica de recursos de la DORA para asistir a las instituciones académicas que estén en el proceso de mejora de sus políticas y sus prácticas. Pueden encontrar otros recursos en esa guía práctica.

Mejorar la evaluación de la investigación y la actividad académica exige la habilidad de analizar los resultados de acciones e intervenciones. Sin embargo, cuando solo se analizan las intervenciones individuales, dichas evaluaciones y observaciones no aprovechan la oportunidad de comprender cómo las propias condiciones institucionales condicionan el éxito de nuevas acciones o cómo el desarrollo del potencial institucional puede mejorar la efectividad y el impacto de estas nuevas prácticas a una escala mayor. La rúbrica SPACE se desarrolló para ayudar a las instituciones que se encuentran en cualquier fase de reforma de su evaluación académica a analizar su habilidad institucional de respaldar dichas intervenciones y asegurarse unos resultados satisfactorios.

Las organizaciones pueden usar la rúbrica SPACE como herramienta para la implementación de prácticas de evaluación de trayectorias académicas justas y responsables, de dos maneras. En primer lugar, puede servir para establecer como punto de partida el estado actual de las condiciones de la infraestructura, para así evaluar la capacidad de la institución para contribuir al desarrollo y la implementación de nuevas actividades y prácticas de evaluación académica. En segundo lugar, sirve para analizar con carácter retroactivo cómo las brechas y las fortalezas de dichas condiciones institucionales pueden haber tenido cierto impacto en los resultados de intervenciones concretas dirigidas a una tipología específica de actividades académicas de evaluación (como son la contratación, la promoción, la consolidación o incluso la evaluación de los estudiantes de doctorado), ya sea contribuyendo o dificultando el avance hacia esos objetivos.

La rúbrica SPACE es el resultado de la colaboración de la DORA con Ruth Schmidt, profesora del Institute of Design (Institute of Technology de Illinois), que dirigió el proceso iterativo del diseño de participación. La creación de la rúbrica se basó en la experiencia de 75 personas en 26 países de 6 continentes y se ha mejorado tras varias rondas de retroalimentación.

A medida que las instituciones adoptan progresivamente los nuevos principios y prácticas de evaluación, pueden tener dificultades para ahondar y expandir su potencial individual y desarrollar niveles más altos de integración en el sistema.

Sin embargo, debido a que de forma natural las instituciones se encuentran en distintos estadios de preparación y evolución, no hay una solución igual para todas, y los indicadores de progreso pueden no parecer los mismos.

Métricas para repositorios de datos y bases de conocimiento

Metrics for Data Repositories and Knowledgebases: Working Group Report” NIH, 2021

Texto completo

Este informe presenta los resultados de una exploración del panorama actual de las métricas de los repositorios de datos biomédicos de datos biomédicos realizado por el Grupo de Trabajo NIH Lifecycle and Metrics Working Group and the NIH Metrics for Repositories (MetRe) Working Group. Los grupos de trabajo (WG) reunieron información de la comunidad de repositorios de datos biomédicos mediante un proceso de dos partes. En la primera fase, el grupo de trabajo MetRe identificó varios repositorios financiados por NIH y desarrolló una lista de métricas que se recogen con mayor frecuencia. Esta lista de Esta lista de métricas se utilizó para desarrollar un instrumento de encuesta que el grupo de trabajo sobre el ciclo de vida y las métricas utilizó para recoger las aportaciones de la comunidad de repositorios biomédicos en general en la fase 2. Este informe describe los resultados de estas dos actividades, proporcionando información sobre el estado actual de los datos y datos y métricas de los repositorios en la comunidad de la investigación biomédica y complementa los esfuerzos en curso en la en la comunidad de métricas más amplia.Este informe incluye las aportaciones de los representantes de 13 repositorios de los NIH de la fase 1 y de 92 gestores de repositorios de la fase 2. en la fase 2. Las métricas que estos encuestados declararon utilizar se dividen en varias categorías generales categorías amplias, incluyendo (de la más a la menos común) Características del comportamiento del usuario, Contribución/impacto Contribución/Impacto Científico, y Operaciones del Repositorio, y los encuestados de los dos grupos reportaron patrones similares en las métricas que recogen. La mayoría de los encuestados en la fase 2 (77%) también indicaron compartir los datos de sus métricas, un hallazgo alentador dado que dichas métricas pueden ser útiles a los NIH para comprender mejor cómo se utilizan los conjuntos de datos y los repositorios. Muchos de los encuestados de ambos grupos informaron de que utilizaban Google Analytics para recopilar métricas, principalmente en las áreas de de comportamiento de los usuarios, dada su facilidad de uso y su capacidad para realizar un seguimiento preciso de dichas métricas. Sin embargo, muchos de los encuestados también indicaron que les gustaría recopilar métricas adicionales, pero que actualmente no lo hacen o no pueden hacerlo debido a la falta de herramientas para ello.

Los resultados de este informe proporcionan una mejor comprensión de las métricas utilizadas actualmente en la comunidad de repositorios biomédicos, lo que puede informar sobre los futuros esfuerzos de los NIH para ayudar a desarrollar este espacio y para comprender los patrones de uso entre los conjuntos de datos y los repositorios. Los NIH también deberían estar al tanto de de los desarrollos en la comunidad más amplia de métricas de repositorios para asegurar la alineación.

Clarivate introduce un nuevo indicador de impacto como alternativa al Factor de Impacto, que tiene en cuenta las citas promedio durante 3 años

Journal impact factor gets a sibling that adjusts for scientific field By Cathleen O’GradyJun. Nature, 30, 2021

Texto completo

Los investigadores frecuentemente aluden al factor de impacto de las revistas de Clarivate Analytics, diciendo que la métrica, que informa el promedio de citas por artículo, tiene fallas metodológicas que respaldan comparaciones engañosas de revistas e investigadores. Hoy, la compañía dio a conocer una métrica alternativa que mejora algunos de estos defectos al permitir comparaciones más precisas entre revistas en diferentes disciplinas.

El anuncio se produce como parte del lanzamiento de la compañía en 2021 de su base de datos Journal Citation Reports que Incluye los últimos factores de impacto de revistas y otros análisis de revistas. Entre estos se encuentra el nuevo indicador JCI, que promedia las citas recopiladas por una revista durante 3 años de publicación, en comparación con los solo 2 años del factor de impacto. Es más, Clarivate dice que la JCI recoge revistas no cubiertas por el factor de impacto, incluidas algunas de Artes y Humanidades, así como revistas regionales o de campos científicos «emergentes». 

JCI es «un paso adelante» y «más vale tarde que nunca», dice Henk Moed, bibliométra y editor en jefe de la revista Scholarly Assessment Reports. Su principal avance, explica, no es nuevo en absoluto: durante décadas, los investigadores en bibliometría han estado desarrollando métodos para comparar el impacto de las citas entre disciplinas. Por ejemplo, los artículos de matemáticas citan generalmente solo un puñado de fuentes, los artículos de bioquímica suelen tener listas de citas con docenas o incluso cientos de entradas. Entonces, «no es un signo de calidad que los artículos de bioquímica se citen más», dice Moed. Los factores de impacto, que simplemente suman las citas sin tener en cuenta la norma en un campo, pasan por alto este hecho.

Por esa razón, en 2010, Moed desarrolló la metodología para una métrica diferente, -Source Normalized Impact by Paper (SNIP)- que fue adoptada por el gran competidor de Clarivate, el gigante editorial Elsevier, en su índice de citas Scopus.

JCI de Clarivate, que utiliza una metodología diferente, proporciona una métrica similar a SNIP para las revistas en su base de datos Journal Citation Reports. Eso fortalecerá la posición de Clarivate en el mercado, dice Moed.

Pero el anuncio de Clarivate deja mucho que desear, incluida la transparencia, dice Marianne Gauffriau, bibliotecaria de investigación de la Biblioteca de la Universidad de Copenhague. El informe técnico de la compañía que describe la nueva métrica no cita ninguna de la literatura sustancial publicada por bibliometras a lo largo de los años.

También existe el riesgo de que, al igual que el factor de impacto, el JCI se utilice de forma inapropiada, dice Gauffriau. Con frecuencia, los evaluadores de premios y otras decisiones utilizan esas métricas para juzgar la producción académica de investigadores, instituciones y publicaciones individuales, una práctica que a menudo es criticada por los bibliometras como una forma defectuosa de juzgar la calidad.

Clarivate ha tratado de evitar el uso indebido de JCI desde el principio, dice Martin Szomszor, director del Instituto de Información Científica de la compañía. Ha dejado claro al describir el JCI que no está diseñado para evaluar investigadores individuales.

Es poco probable que JCI sustituya al factor de impacto de las revistas a corto plazo, dice Szomszor. Clarivate esperará para ver su aceptación, dándole la oportunidad de desarrollarse como una opción paralela.

Marcos de indicadores para fomentar las prácticas de conocimiento abierto en la ciencia y la erudición

Schomberg, Rene von ; Britt Holbrook, J ; Oancea, Alis ; Kamerlin, Shina Caroline Lynn ; Ràfols, Ismael ; Jacob, Merle ; Wouters, Paul. Indicator frameworks for fostering open knowledge practices in science and scholarship. Directorate-General for Research and Innovation (European Commission), 2019

Texto completo

El objetivo de este informe es contribuir a la visión europea de la Ciencia Abierta (Comisión Europea 2016) proporcionando los marcos para entender y aplicar los indicadores de ciencia y tecnología, definidos de forma amplia, para permitir la transición del sistema científico y académico actual hacia una configuración más abierta e inclusiva de las prácticas e infraestructuras del conocimiento. Los indicadores para la ciencia abierta influirán en gran medida en la forma que adopte la ciencia abierta, ya que influirán en las decisiones tanto en la política científica como en la generación de conocimientos.

La ambición formulada anteriormente por el Consejo de Competitividad en mayo de 2016 requiere iniciativas específicas para desarrollar la combinación adecuada de políticas y prácticas de Ciencia Abierta. Este informe se basa en el informe anterior sobre las métricas de próxima generación para la ciencia abierta (Wilsdon et al. 2017), las recomendaciones de la Plataforma de Políticas de Ciencia Abierta sobre las métricas de próxima generación (Hormia-Poutanen et al. 2017), así como los ejercicios de aprendizaje mutuo en varios países europeos (Leonelli 2017a, 2017b). Además, se ha estudiado el estado de la cuestión en relación con las herramientas actuales, como el Open Science Monitor (https://ec.europa.eu/info/research-and-innovation/strategy/goals-research-and-innovation-policy/open-science/open-science-monitor_en) y la emergente European Open Science Cloud (Grupo de expertos de alto nivel de la Comisión sobre la European Open Science Cloud 2016; Ayris et al. 2016). También se ha consultado a varias comunidades de interesados presentando borradores de conceptos en presentaciones en las conferencias más relevantes en relación con las prácticas de la ciencia abierta (por ejemplo, ESOF 2018, Nordic Bibliometrics 2018, DEFF 2019).

Indicadores de impacto normalizado: origen, cálculo, limitaciones y aplicaciones a la política científica.

Indicadores de impacto normalizado: origen, cálculo, limitaciones y aplicaciones a la política científica. UNIR. Con Daniel Torres-Salinas

Los indicadores de Impacto Normalizado son adecuados para monitorizar, contextualizar y comparar el impacto de nuestro currículum y artículos científicos. También para analizar la trayectoria de un grupo de investigación… Se pueden utilizar como indicio de calidad en las solicitudes de ANECA, CNEAI, Ramón y Cajal, en la defensa de plazas de profesorado, etc. Estos indicadores se han popularizado ampliamente en España por las convocatorias Apoyo y acreditación de Centros de Excelencia Severo Ochoa y Unidades de Excelencia María de Maeztu. Desde el punto de vista bibliométrico uno de los criterios de evaluación más llamativos es la necesidad de que los investigadores garantes tengan un Impacto Normalizado de, como mínimo, 1,5. En este Seminario, Daniel-Torres Salinas, director de la Unidad de evaluación científica de la Universidad de Granada, analiza críticamente el origen de los indicadores de impacto normalizado de citación, como por ejemplo Crown Indicator, Category Normalized Citation Impact (Incites) o Field Weighted Citation Impact (SciVal). Y muestra cómo se calculan sus diferentes versiones, así como sus ventajas y limitaciones.

Relación de los bibliotecarios de enlace con los indicadores de impacto de la investigación

 

d929_31_148_1200

 

Miles, R.A., Konkiel, S. and Sutton, S., 2018. Scholarly Communication Librarians’ Relationship with Research Impact Indicators: An Analysis of a National Survey of Academic Librarians in the United States. Journal of Librarianship and Scholarly Communication, 6(1), p.eP2212. DOI: http://doi.org/10.7710/2162-3309.2212

PDF

 

Con frecuencia se espera que los bibliotecarios universitarios, especialmente en el campo de la comunicación académica, comprendan e interactúen con los indicadores de impacto de la investigación. Sin embargo, gran parte de la literatura actual especula sobre cómo los bibliotecarios universitarios están utilizando e implementando indicadores de impacto de investigación en su práctica.

Este estudio analizó los resultados de una encuesta de 2015 realizada a más de 13,000 bibliotecarios universitarios en Estados Unidos. La encuesta se concentró en la familiaridad de los bibliotecarios universitarios y el uso de indicadores de impacto de la investigación.

Este estudio descubrió hallazgos relacionados con los diversos niveles de familiaridad de los bibliotecarios universitarios con los indicadores de impacto de la investigación y cómo implementan y usan los indicadores de impacto de la investigación en su desarrollo profesional y en sus tareas laborales en la biblioteca.

En general, los bibliotecarios uniuniversitarios con tareas regulares de apoyo a la comunicación académica tienden a tener mayores niveles de familiaridad con los indicadores de impacto de la investigación. En general, los bibliotecarios universitarios están más familiarizados con el recuento de citas y las estadísticas de uso y menos familiarizados con las métricas alternativas. Durante las consultas con el profesorado, es más probable que se aborden el Factor de impacto de la revista (JIF) y los recuentos de citas que el índice h del autor, las métricas alternativas, las medidas cualitativas y las revisiones de expertos por pares. Los resultados de la encuesta también apuntan a un creciente interés en la métrica alternativa entre los bibliotecarios académicos por su avance profesional.

Los bibliotecarios universitarios tienen el desafío constante de seguir el ritmo del panorama cambiante de las métricas de impacto de la investigación y los modelos de evaluación de la investigación. Al mantener el ritmo e implementar indicadores de impacto de la investigación en sus propias prácticas, los bibliotecarios académicos pueden proporcionar un servicio crucial a la comunidad académica en general.

Research Interest Score: el nuevo indicador bibliométrico que mide la influencia de las publicaciones de un autor en ResearchGate

 

9f59698c-e156-4f33-9520-405cb7f4d9c6_researchgate_56f72ad6_490x330

Delgado López-Cózar, E. and E. Orduña-Malea «Research interest score: el nuevo indicador bibliométrico que mide la influencia de las publicaciones de un autor en ResearchGate.» vol., n. (2019). pp.: https://doi.org/10.13140/RG.2.2.16342.50249

 

La red social académica ResearchGate, más allá de proporcionar distintas prestaciones orientadas a favorecer la interacción y conectividad entre investigadores,ofrece a sus usuarios un amplio abanico de métricas tanto a nivel de ítem (documentos, proyectos y preguntas/respuestas) como de autor que, calculados sobre la base de más de 118 millones de documentos y 15 millones de usuarios actuales, les sitúa como un claro actor dentro del sector de las Altmetrics. La plataforma ha lanzado recientemente (febrero 2019) un nuevo indicador (Research interest score) basado en medir la influencia de un documento y un autor a partir de la integración sintética de distintas métricas, tanto tradicionales (citas recibidas) como altmétricas (Lecturas y Recomendaciones). El objetivo de este trabajo es describir el funcionamiento de este nuevo indicador así como sus principales ventajas e inconvenientes. Finalmente,a fin de conocer mejor las propiedades de la nueva métrica, se han planteado dos estudios empíricos. En el primero,a partir de una muestra de autores en el sector de la Biblioteconomía y Documentación en España (n=190), se comprueba empíricamente que este indicador correlaciona de forma elevada tanto con las citas recibidas como con el RG Scoree Índice H. En el segundo, a partir de una muestra de 30 artículos publicados en una revista de Documentación y Comunicación, se ha comparado el nuevo indicador con 34 métricas proporcionadas por Web of Science, Scopus, Dimensions, Plum Analytics, Mendeley y Altmetric.com, a fin de averiguar en qué medida ofrece algo singular.Los resultados sugieren que el indicador correlaciona con las citas debido a su fórmula de su cálculo (subjetiva y no justificada estadísticamente), lo que le hace correlacionar a su vez con todos los indicadores igualmente basados en esta métrica, generando dudas acerca de su actual necesidad,aunque abriendo puertas hacia un futuro de nuevos indicadores centrados en las interacciones online de los investigadores(especialmente Visualizaciones y Recomendaciones)

Lineamientos e indicadores para las bibliotecas académicas innovadoras

45777626111_5d725fdafb_b_d

Romero Bracho, Carmen, Navarro Lisowska, Bernadetta. Durán Garzón, Inírida. «Lineamientos e indicadores para las bibliotecas académicas innovadoras» Bogotá: Red Universitaria Metropolitana de Bogotá -RUMBO, 2018

Texto completo

Las bibliotecas académicas están enfrentando nuevos desafíos, los cuales se han visto influenciados especialmente por los cambios en los modelos de aprendizaje, la comunicación científica y las TIC, así como por los comportamientos y las necesidades de sus usuarios. Por ello, deben estar abiertas a crear modelos flexibles y adaptables a nuevos entornos educativos con un alto componente de innovación y creatividad. Sin embargo, éstas deben reconocerse dentro de las estructuras universitarias como verdaderos centros de recursos para el aprendizaje y la investigación que aportan a la permanencia estudiantil, a la disminución de la deserción, a la visibilidad institucional y al fortalecimiento de otras funciones sustantivas. Desde el contexto de la negociación, es importante tomar acciones estratégicas que promuevan iniciativas colectivas y mejores resultados frente al gran crecimiento de la industria editorial. Finalmente, los comportamientos de los usuarios del siglo XXI llevan a la necesidad de vigilar tendencias que permitan dar respuestas a corto o mediano plazo, como las citadas en los principales informes internacionales.

La edición académica española: indicadores y características

 

page_1

Giménez Toledo, Elea (2017). La edición académica española: indicadores y características. [Madrid]: Federación de Gremios de Editores de España, 2017.

Texto completo

 

Este informe tiene como objeto de estudio el sector editorial científico/académico en España a partir de distintas aproximaciones y datos. Si bien este sector ha sido analizado parcialmente en algunos estudios previos, lo cierto es que no existía un análisis global que abarcara tanto lo referido a la edición pública como a la privada y que se acercara a distintas dimensiones relacionadas directa o indirectamente con la calidad de la edición científico/académica.

La creación y actualización de esta fuente siempre ha estado guiada por dos objetivos. El primero, conocer mejor el sector editorial científico/académico español, sobre el que pocas veces se había profundizado. El segundo, proporcionar información objetiva, no mediatizada y obtenida con metodologías científicas a la comunidad académica. Al disponer de resultados de investigación y de indicadores, el conocimiento del sector es más preciso y las posibilidades de análisis, de mejora o de evolución, factibles. También se favorece el reconocimiento del libro científico publicado en España, pues es posible tener en cuenta en los procesos de evaluación de la actividad científica, indicadores independientes y objetivos de calidad. Así, la CNEAI y ANECA reconocen a día de hoy esta fuente de información como un apoyo en sus procesos de evaluación.

El análisis de las editoriales académicas que se realiza en este estudio debe situarse también en un contexto internacional. Distintos países europeos disponen de listados y/o categorizaciones de editoriales académicas que les permiten guiar sus procesos de evaluación y valorar tanto lo que se publica fuera como dentro del país, preservando así el sector editorial nacional y lo que ese hecho lleva aparejado: la diversidad lingüística, cultural y temática que puede contemplar en los libros que publica.

La gestión de las bibliotecas universitarias : indicadores para su evaluación

 

25560731664_db7ff06396_d

Alonso-Arévalo, Julio and Echeverria-Cubillas, María-José and Martín-Cerro, Sonia La gestión de las bibliotecas universitarias : indicadores para su evaluación., 1999 . In Seminario: Indicadores en la universidad: información y decisiones, León (Spain), 9-11 June 1999.

Texto completo

En la actualidad y a partir, sobre todo, del Plan Nacional de Evaluación de la Calidad de las Universidades, la Universidad española está implantando y desarrollando, de modo sistemático, procesos de evaluación de sus tres ámbitos principales de actuación: enseñanza, investigación y servicios. Estos procesos de evaluación responden a dos objetivos generales: por un lado, proporcionar información a la sociedad sobre la calidad de los servicios que presta la Universidad y, por otro, detectar los puntos fuertes y débiles de la institución así como las oportunidades y propuestas de actuación que supongan un aumento de la calidad universitaria.