Archivo de la etiqueta: Indicadores

Guía práctica para la implementación de la evaluación responsable de la investigación en organizaciones que realizan investigación

Allen, Liz, Virginia Barbour, Kelly Cobey, Zen Faulkes, Haley Hazlett, Rebecca Lawrence, Giovanna Lima, Flora Massah, y Ruth Schmidt. A Practical Guide to Implementing Responsible Research Assessment at Research Performing Organizations. Maryland, USA: DORA, 2025. https://doi.org/10.5281/zenodo.15000683

La organización DORA (Declaration on Research Assessment) ha celebrado su 12.º aniversario con la publicación de una nueva Guía Práctica para la Implementación de una Evaluación Responsable de la Investigación. Esta guía está dirigida a organizaciones que realizan investigación (RPOs) y ofrece herramientas prácticas, ejemplos ilustrativos y recursos para ayudar a estas instituciones a desarrollar, mejorar o transformar sus sistemas de evaluación científica de manera responsable, justa e inclusiva.

El documento reconoce que no existe un enfoque único que funcione para todas las instituciones ni disciplinas, por lo que propone una metodología flexible y adaptable a diferentes contextos. La guía puede ser utilizada tanto por organizaciones que deseen crear una estrategia desde cero como por aquellas que buscan reformar procesos existentes o simplemente comenzar a dar pasos hacia evaluaciones más holísticas.

Este recurso ha sido desarrollado de manera colaborativa con diversos actores del ámbito académico y científico, especialmente durante un encuentro celebrado en enero de 2025 en Maryland, EE. UU. Asimismo, se agradece la participación del Comité Directivo de DORA y de especialistas que contribuyeron a estructurar y organizar los contenidos de la guía.

La guía forma parte del Proyecto TARA, una iniciativa respaldada por la fundación Arcadia, que promueve el acceso abierto al conocimiento, la conservación del patrimonio natural y cultural, y la mejora de las prácticas académicas. Dentro de este proyecto, la guía se complementa con otras herramientas como Reformscape, Building Blocks for Impact y Debiasing Committee Composition, diseñadas para apoyar a las organizaciones que buscan reformar sus políticas de evaluación.

En conjunto, esta Guía Práctica representa un paso significativo hacia la consolidación de criterios más responsables, éticos y eficaces para valorar la calidad de la investigación, en un contexto donde la evaluación académica necesita responder a los desafíos contemporáneos de la ciencia y la sociedad.

Un nuevo indicador de Ciencia Abierta: medición del registro de estudios

PLOS. (2024, julio 1). A new Open Science Indicator: Measuring study registration. The Official PLOS Blog. https://theplosblog.plos.org/2024/07/a-new-open-science-indicator-measuring-study-registration/

El 1 de julio de 2024, PLOS lanzó un nuevo indicador de registro de estudios, mostrando un crecimiento lento pero constante en su adopción. El conjunto de datos incluye prácticas de Ciencia Abierta como la compartición de datos y códigos, y la publicación de preprints. Se solicita retroalimentación para mejorar el indicador y asegurar su utilidad.

Con el último lanzamiento de los resultados de los Indicadores de Ciencia Abierta (OSI) de PLOS, estamos introduciendo un nuevo indicador para el registro de estudios, también conocido como preregistro. Los resultados de esta versión preliminar del indicador muestran que la adopción es menor en comparación con otros indicadores, pero está creciendo, aunque lentamente. Con el tiempo, más investigadores pueden descubrir cómo registrar y compartir públicamente el diseño de un estudio antes de conocer los resultados puede aumentar la confianza en su trabajo.

Este lanzamiento también proporciona un primer vistazo a las prácticas de Ciencia Abierta para artículos publicados en 2024, actualizando los resultados de compartición de datos, compartición de código y publicación de preprints hasta el primer trimestre de este año. El conjunto de datos completo, que se remonta a 2018 y ahora comprende 135.214 artículos, está siempre disponible de forma gratuita para acceso y reutilización.

Desarrollo del nuevo indicador

El registro de estudios ha sido identificado como una práctica prioritaria de Ciencia Abierta para monitorear en la investigación biomédica. También es un indicador de interés para los pilotos organizados por la Red de Reproducibilidad del Reino Unido, en los cuales PLOS y DataSeer están participando. Para los fines de OSI, definiendo el registro de estudios como “el plan para un estudio de investigación, incluyendo preguntas/hipótesis de investigación, detalles sobre el diseño de la investigación y/o planes para el análisis de datos, que se ha puesto a disposición para compartir públicamente con el fin de asegurar un resultado imparcial y apoyar la diferenciación de direcciones de investigación planificadas y no planificadas”.

Desde ahí, se trabaja para desarrollar un enfoque para medir el registro de estudios en la literatura científica publicada. Inicialmente se enfoca en detectar referencias a registros que recogen información estructurada sobre el diseño de un estudio, incluyendo registros de ensayos clínicos, registros de revisiones sistemáticas, registros de estudios en animales y otros registros de propósito general como Open Science Framework. Posteriormente, se emparejan identificadores persistentes y otros enlaces con los registros correspondientes.

Este enfoque—que cubre más de 30 registros—es el más completo que se ha desarrollado e implementado a escala. Pero, debido a que se basa en una lista permitida predefinida de registros (ver la declaración de métodos del indicador de registro de estudios para más información), es posible que haya registros que se pasen por alto.

¿Qué tan común es el registro de estudios?

En los últimos cinco años, las tasas de registro de estudios en PLOS han aumentado lenta pero constantemente, del 5% de los artículos en 2018 al 7% en 2023. La misma tendencia general se puede observar en el corpus comparador, con tasas que aumentan del 6% en 2018 al 7% en 2023.

El registro más utilizado por los autores de PLOS es Clinicaltrials.gov, seguido por el registro de revisiones sistemáticas PROSPERO. Pero también se puede observar por primera vez con este nuevo indicador la prevalencia de registros usando el Open Science Framework y otros registros, que cubren una amplia variedad de diseños de estudio. Los datos que se están publicando actualmente no están optimizados para segmentar por disciplina, aunque una versión anterior del conjunto de datos de OSI incluye campos de investigación para la mayoría de los artículos relevantes y planeamos compartir un análisis de los datos de registro de estudios por campo más adelante este año. Otras características que estamos considerando para este indicador incluyen detectar registros en el texto de archivos suplementarios y capturar las fechas en que se registraron y compartieron los registros.

Otros resultados y refinamientos

Los principales archivos de datos en el último conjunto de datos de OSI incluyen todos los 112,229 artículos de investigación de PLOS publicados entre el 1 de enero de 2018 y el 31 de marzo de 2024, así como un corpus comparador más pequeño. Para los artículos de PLOS, los últimos resultados muestran:

  • 31% de todos los artículos de investigación compartieron datos de investigación en un repositorio en el primer trimestre de 2024 (sin cambios desde el cuarto trimestre de 2023).
  • 17% de todos los artículos de investigación compartieron código en el primer trimestre de 2024 (un 1% más que en el cuarto trimestre de 2023).
  • 22% de todos los artículos de investigación estuvieron asociados con un preprint en el primer trimestre de 2024 (un 2% menos que en el cuarto trimestre de 2023).

La tasa de adopción de preprints en los comparadores ha sido mayor que en PLOS desde 2023, impulsada por editores con servidores de preprints internos, pero esta tasa también disminuyó en los comparadores en el primer trimestre de 2024, lo que sugiere una tendencia más amplia. Mientras tanto, se han aplicado mejoras al indicador de preprints y se han aplicado retroactivamente a todo el corpus. Se ha eliminado una fuente menor de falsos positivos y, de manera más significativa, se han eliminado los preprints publicados después de que se publicó el artículo de investigación asociado (también conocidos como “postprints”). Este cambio afecta desproporcionadamente a los artículos más antiguos, que han tenido más tiempo para acumular un postprint.

También se ha actualizado el enfoque de emparejamiento de artículos comparadores. Para esta última versión, los términos de encabezados de materias médicas (MeSH) para el nuevo trimestre de datos se han actualizado según la distribución de términos MeSH para los artículos de PLOS publicados entre el 1 de enero de 2022 y el 31 de diciembre de 2023. Se espera actualizar la distribución de términos MeSH anualmente para asegurar que la comparativa siga siendo comparable a la composición cambiante de los artículos de PLOS.

Indicadores para una evaluación del impacto de los datos abiertos

Bas, P., Page, M., Indicators for an open data impact assessment, Publications Office of the European Union, 2024, https://data.europa.eu/doi/10.2830/323236

Aunque el impacto de los datos abiertos ha sido estudiado anteriormente, generalmente de manera ad hoc, aún es necesario explorar métodos estructurados e indicadores para medir su impacto y la posibilidad de basar estos indicadores en conjuntos de datos existentes. Este informe representa el segundo paso en la definición de una metodología para una evaluación a nivel europeo del impacto de los datos abiertos. La serie de estudios tiene como objetivo crear una herramienta interactiva de monitoreo para la evaluación del impacto de los datos abiertos. Este segundo estudio busca proporcionar una base teórica para desarrollar una metodología que analice el impacto de los recursos de datos públicos, enfocándose en los diferentes impactos a considerar y los indicadores que podrían cuantificarlos. Este informe utiliza los resultados y conclusiones presentados en el primer estudio sobre «repensar el impacto de los datos abiertos» como base. Los resultados de este estudio podrían incorporarse en un tercer estudio, donde se podría desarrollar y pilotar una metodología preliminar para medir el impacto de los datos abiertos.

Repensando la evaluación de la investigación Una rúbrica para analizar las condiciones y los indicadores de progreso institucional a fin de lograr buenos resultados

Hatch, A., & Schmidt, R. SPACE: La mejora de la evaluación académica. Una rúbrica para analizar las condiciones y los indicadores de progreso institucional a fin de lograr buenos resultados, DORA, 2022. Trad.: Universitat Oberta de Catalunya. 2022.

Texto completo

SPACE_DORA_ES_rubrica.pdf

SPACE_DORA_ES_plantilla.pdf

SPACE_DORA_ES_instrucciones.pdf

Rúbrica e información de soporte para analizar las condiciones institucionales y los indicadores de progreso para la reforma de la evaluación académica. La evaluación de la investigación y del personal investigador supone un reto: las instituciones que priorizan el desarrollo de infraestructuras institucionales pueden estar mejor preparadas que las que se centran solo en soluciones individuales.

Este documento forma parte de la guía práctica de recursos de la DORA para asistir a las instituciones académicas que estén en el proceso de mejora de sus políticas y sus prácticas. Pueden encontrar otros recursos en esa guía práctica.

Mejorar la evaluación de la investigación y la actividad académica exige la habilidad de analizar los resultados de acciones e intervenciones. Sin embargo, cuando solo se analizan las intervenciones individuales, dichas evaluaciones y observaciones no aprovechan la oportunidad de comprender cómo las propias condiciones institucionales condicionan el éxito de nuevas acciones o cómo el desarrollo del potencial institucional puede mejorar la efectividad y el impacto de estas nuevas prácticas a una escala mayor. La rúbrica SPACE se desarrolló para ayudar a las instituciones que se encuentran en cualquier fase de reforma de su evaluación académica a analizar su habilidad institucional de respaldar dichas intervenciones y asegurarse unos resultados satisfactorios.

Las organizaciones pueden usar la rúbrica SPACE como herramienta para la implementación de prácticas de evaluación de trayectorias académicas justas y responsables, de dos maneras. En primer lugar, puede servir para establecer como punto de partida el estado actual de las condiciones de la infraestructura, para así evaluar la capacidad de la institución para contribuir al desarrollo y la implementación de nuevas actividades y prácticas de evaluación académica. En segundo lugar, sirve para analizar con carácter retroactivo cómo las brechas y las fortalezas de dichas condiciones institucionales pueden haber tenido cierto impacto en los resultados de intervenciones concretas dirigidas a una tipología específica de actividades académicas de evaluación (como son la contratación, la promoción, la consolidación o incluso la evaluación de los estudiantes de doctorado), ya sea contribuyendo o dificultando el avance hacia esos objetivos.

La rúbrica SPACE es el resultado de la colaboración de la DORA con Ruth Schmidt, profesora del Institute of Design (Institute of Technology de Illinois), que dirigió el proceso iterativo del diseño de participación. La creación de la rúbrica se basó en la experiencia de 75 personas en 26 países de 6 continentes y se ha mejorado tras varias rondas de retroalimentación.

A medida que las instituciones adoptan progresivamente los nuevos principios y prácticas de evaluación, pueden tener dificultades para ahondar y expandir su potencial individual y desarrollar niveles más altos de integración en el sistema.

Sin embargo, debido a que de forma natural las instituciones se encuentran en distintos estadios de preparación y evolución, no hay una solución igual para todas, y los indicadores de progreso pueden no parecer los mismos.

Métricas para repositorios de datos y bases de conocimiento

“Metrics for Data Repositories and Knowledgebases: Working Group Report” NIH, 2021

Texto completo

Este informe presenta los resultados de una exploración del panorama actual de las métricas de los repositorios de datos biomédicos de datos biomédicos realizado por el Grupo de Trabajo NIH Lifecycle and Metrics Working Group and the NIH Metrics for Repositories (MetRe) Working Group. Los grupos de trabajo (WG) reunieron información de la comunidad de repositorios de datos biomédicos mediante un proceso de dos partes. En la primera fase, el grupo de trabajo MetRe identificó varios repositorios financiados por NIH y desarrolló una lista de métricas que se recogen con mayor frecuencia. Esta lista de Esta lista de métricas se utilizó para desarrollar un instrumento de encuesta que el grupo de trabajo sobre el ciclo de vida y las métricas utilizó para recoger las aportaciones de la comunidad de repositorios biomédicos en general en la fase 2. Este informe describe los resultados de estas dos actividades, proporcionando información sobre el estado actual de los datos y datos y métricas de los repositorios en la comunidad de la investigación biomédica y complementa los esfuerzos en curso en la en la comunidad de métricas más amplia.Este informe incluye las aportaciones de los representantes de 13 repositorios de los NIH de la fase 1 y de 92 gestores de repositorios de la fase 2. en la fase 2. Las métricas que estos encuestados declararon utilizar se dividen en varias categorías generales categorías amplias, incluyendo (de la más a la menos común) Características del comportamiento del usuario, Contribución/impacto Contribución/Impacto Científico, y Operaciones del Repositorio, y los encuestados de los dos grupos reportaron patrones similares en las métricas que recogen. La mayoría de los encuestados en la fase 2 (77%) también indicaron compartir los datos de sus métricas, un hallazgo alentador dado que dichas métricas pueden ser útiles a los NIH para comprender mejor cómo se utilizan los conjuntos de datos y los repositorios. Muchos de los encuestados de ambos grupos informaron de que utilizaban Google Analytics para recopilar métricas, principalmente en las áreas de de comportamiento de los usuarios, dada su facilidad de uso y su capacidad para realizar un seguimiento preciso de dichas métricas. Sin embargo, muchos de los encuestados también indicaron que les gustaría recopilar métricas adicionales, pero que actualmente no lo hacen o no pueden hacerlo debido a la falta de herramientas para ello.

Los resultados de este informe proporcionan una mejor comprensión de las métricas utilizadas actualmente en la comunidad de repositorios biomédicos, lo que puede informar sobre los futuros esfuerzos de los NIH para ayudar a desarrollar este espacio y para comprender los patrones de uso entre los conjuntos de datos y los repositorios. Los NIH también deberían estar al tanto de de los desarrollos en la comunidad más amplia de métricas de repositorios para asegurar la alineación.

Clarivate introduce un nuevo indicador de impacto como alternativa al Factor de Impacto, que tiene en cuenta las citas promedio durante 3 años

Journal impact factor gets a sibling that adjusts for scientific field By Cathleen O’GradyJun. Nature, 30, 2021

Texto completo

Los investigadores frecuentemente aluden al factor de impacto de las revistas de Clarivate Analytics, diciendo que la métrica, que informa el promedio de citas por artículo, tiene fallas metodológicas que respaldan comparaciones engañosas de revistas e investigadores. Hoy, la compañía dio a conocer una métrica alternativa que mejora algunos de estos defectos al permitir comparaciones más precisas entre revistas en diferentes disciplinas.

El anuncio se produce como parte del lanzamiento de la compañía en 2021 de su base de datos Journal Citation Reports que Incluye los últimos factores de impacto de revistas y otros análisis de revistas. Entre estos se encuentra el nuevo indicador JCI, que promedia las citas recopiladas por una revista durante 3 años de publicación, en comparación con los solo 2 años del factor de impacto. Es más, Clarivate dice que la JCI recoge revistas no cubiertas por el factor de impacto, incluidas algunas de Artes y Humanidades, así como revistas regionales o de campos científicos «emergentes». 

JCI es «un paso adelante» y «más vale tarde que nunca», dice Henk Moed, bibliométra y editor en jefe de la revista Scholarly Assessment Reports. Su principal avance, explica, no es nuevo en absoluto: durante décadas, los investigadores en bibliometría han estado desarrollando métodos para comparar el impacto de las citas entre disciplinas. Por ejemplo, los artículos de matemáticas citan generalmente solo un puñado de fuentes, los artículos de bioquímica suelen tener listas de citas con docenas o incluso cientos de entradas. Entonces, «no es un signo de calidad que los artículos de bioquímica se citen más», dice Moed. Los factores de impacto, que simplemente suman las citas sin tener en cuenta la norma en un campo, pasan por alto este hecho.

Por esa razón, en 2010, Moed desarrolló la metodología para una métrica diferente, -Source Normalized Impact by Paper (SNIP)- que fue adoptada por el gran competidor de Clarivate, el gigante editorial Elsevier, en su índice de citas Scopus.

JCI de Clarivate, que utiliza una metodología diferente, proporciona una métrica similar a SNIP para las revistas en su base de datos Journal Citation Reports. Eso fortalecerá la posición de Clarivate en el mercado, dice Moed.

Pero el anuncio de Clarivate deja mucho que desear, incluida la transparencia, dice Marianne Gauffriau, bibliotecaria de investigación de la Biblioteca de la Universidad de Copenhague. El informe técnico de la compañía que describe la nueva métrica no cita ninguna de la literatura sustancial publicada por bibliometras a lo largo de los años.

También existe el riesgo de que, al igual que el factor de impacto, el JCI se utilice de forma inapropiada, dice Gauffriau. Con frecuencia, los evaluadores de premios y otras decisiones utilizan esas métricas para juzgar la producción académica de investigadores, instituciones y publicaciones individuales, una práctica que a menudo es criticada por los bibliometras como una forma defectuosa de juzgar la calidad.

Clarivate ha tratado de evitar el uso indebido de JCI desde el principio, dice Martin Szomszor, director del Instituto de Información Científica de la compañía. Ha dejado claro al describir el JCI que no está diseñado para evaluar investigadores individuales.

Es poco probable que JCI sustituya al factor de impacto de las revistas a corto plazo, dice Szomszor. Clarivate esperará para ver su aceptación, dándole la oportunidad de desarrollarse como una opción paralela.

Marcos de indicadores para fomentar las prácticas de conocimiento abierto en la ciencia y la erudición

Schomberg, Rene von ; Britt Holbrook, J ; Oancea, Alis ; Kamerlin, Shina Caroline Lynn ; Ràfols, Ismael ; Jacob, Merle ; Wouters, Paul. Indicator frameworks for fostering open knowledge practices in science and scholarship. Directorate-General for Research and Innovation (European Commission), 2019

Texto completo

El objetivo de este informe es contribuir a la visión europea de la Ciencia Abierta (Comisión Europea 2016) proporcionando los marcos para entender y aplicar los indicadores de ciencia y tecnología, definidos de forma amplia, para permitir la transición del sistema científico y académico actual hacia una configuración más abierta e inclusiva de las prácticas e infraestructuras del conocimiento. Los indicadores para la ciencia abierta influirán en gran medida en la forma que adopte la ciencia abierta, ya que influirán en las decisiones tanto en la política científica como en la generación de conocimientos.

La ambición formulada anteriormente por el Consejo de Competitividad en mayo de 2016 requiere iniciativas específicas para desarrollar la combinación adecuada de políticas y prácticas de Ciencia Abierta. Este informe se basa en el informe anterior sobre las métricas de próxima generación para la ciencia abierta (Wilsdon et al. 2017), las recomendaciones de la Plataforma de Políticas de Ciencia Abierta sobre las métricas de próxima generación (Hormia-Poutanen et al. 2017), así como los ejercicios de aprendizaje mutuo en varios países europeos (Leonelli 2017a, 2017b). Además, se ha estudiado el estado de la cuestión en relación con las herramientas actuales, como el Open Science Monitor (https://ec.europa.eu/info/research-and-innovation/strategy/goals-research-and-innovation-policy/open-science/open-science-monitor_en) y la emergente European Open Science Cloud (Grupo de expertos de alto nivel de la Comisión sobre la European Open Science Cloud 2016; Ayris et al. 2016). También se ha consultado a varias comunidades de interesados presentando borradores de conceptos en presentaciones en las conferencias más relevantes en relación con las prácticas de la ciencia abierta (por ejemplo, ESOF 2018, Nordic Bibliometrics 2018, DEFF 2019).

Indicadores de impacto normalizado: origen, cálculo, limitaciones y aplicaciones a la política científica.

Indicadores de impacto normalizado: origen, cálculo, limitaciones y aplicaciones a la política científica. UNIR. Con Daniel Torres-Salinas

Los indicadores de Impacto Normalizado son adecuados para monitorizar, contextualizar y comparar el impacto de nuestro currículum y artículos científicos. También para analizar la trayectoria de un grupo de investigación… Se pueden utilizar como indicio de calidad en las solicitudes de ANECA, CNEAI, Ramón y Cajal, en la defensa de plazas de profesorado, etc. Estos indicadores se han popularizado ampliamente en España por las convocatorias Apoyo y acreditación de Centros de Excelencia Severo Ochoa y Unidades de Excelencia María de Maeztu. Desde el punto de vista bibliométrico uno de los criterios de evaluación más llamativos es la necesidad de que los investigadores garantes tengan un Impacto Normalizado de, como mínimo, 1,5. En este Seminario, Daniel-Torres Salinas, director de la Unidad de evaluación científica de la Universidad de Granada, analiza críticamente el origen de los indicadores de impacto normalizado de citación, como por ejemplo Crown Indicator, Category Normalized Citation Impact (Incites) o Field Weighted Citation Impact (SciVal). Y muestra cómo se calculan sus diferentes versiones, así como sus ventajas y limitaciones.

Relación de los bibliotecarios de enlace con los indicadores de impacto de la investigación

 

d929_31_148_1200

 

Miles, R.A., Konkiel, S. and Sutton, S., 2018. Scholarly Communication Librarians’ Relationship with Research Impact Indicators: An Analysis of a National Survey of Academic Librarians in the United States. Journal of Librarianship and Scholarly Communication, 6(1), p.eP2212. DOI: http://doi.org/10.7710/2162-3309.2212

PDF

 

Con frecuencia se espera que los bibliotecarios universitarios, especialmente en el campo de la comunicación académica, comprendan e interactúen con los indicadores de impacto de la investigación. Sin embargo, gran parte de la literatura actual especula sobre cómo los bibliotecarios universitarios están utilizando e implementando indicadores de impacto de investigación en su práctica.

Este estudio analizó los resultados de una encuesta de 2015 realizada a más de 13,000 bibliotecarios universitarios en Estados Unidos. La encuesta se concentró en la familiaridad de los bibliotecarios universitarios y el uso de indicadores de impacto de la investigación.

Este estudio descubrió hallazgos relacionados con los diversos niveles de familiaridad de los bibliotecarios universitarios con los indicadores de impacto de la investigación y cómo implementan y usan los indicadores de impacto de la investigación en su desarrollo profesional y en sus tareas laborales en la biblioteca.

En general, los bibliotecarios uniuniversitarios con tareas regulares de apoyo a la comunicación académica tienden a tener mayores niveles de familiaridad con los indicadores de impacto de la investigación. En general, los bibliotecarios universitarios están más familiarizados con el recuento de citas y las estadísticas de uso y menos familiarizados con las métricas alternativas. Durante las consultas con el profesorado, es más probable que se aborden el Factor de impacto de la revista (JIF) y los recuentos de citas que el índice h del autor, las métricas alternativas, las medidas cualitativas y las revisiones de expertos por pares. Los resultados de la encuesta también apuntan a un creciente interés en la métrica alternativa entre los bibliotecarios académicos por su avance profesional.

Los bibliotecarios universitarios tienen el desafío constante de seguir el ritmo del panorama cambiante de las métricas de impacto de la investigación y los modelos de evaluación de la investigación. Al mantener el ritmo e implementar indicadores de impacto de la investigación en sus propias prácticas, los bibliotecarios académicos pueden proporcionar un servicio crucial a la comunidad académica en general.

Research Interest Score: el nuevo indicador bibliométrico que mide la influencia de las publicaciones de un autor en ResearchGate

 

9f59698c-e156-4f33-9520-405cb7f4d9c6_researchgate_56f72ad6_490x330

Delgado López-Cózar, E. and E. Orduña-Malea «Research interest score: el nuevo indicador bibliométrico que mide la influencia de las publicaciones de un autor en ResearchGate.» vol., n. (2019). pp.: https://doi.org/10.13140/RG.2.2.16342.50249

 

La red social académica ResearchGate, más allá de proporcionar distintas prestaciones orientadas a favorecer la interacción y conectividad entre investigadores,ofrece a sus usuarios un amplio abanico de métricas tanto a nivel de ítem (documentos, proyectos y preguntas/respuestas) como de autor que, calculados sobre la base de más de 118 millones de documentos y 15 millones de usuarios actuales, les sitúa como un claro actor dentro del sector de las Altmetrics. La plataforma ha lanzado recientemente (febrero 2019) un nuevo indicador (Research interest score) basado en medir la influencia de un documento y un autor a partir de la integración sintética de distintas métricas, tanto tradicionales (citas recibidas) como altmétricas (Lecturas y Recomendaciones). El objetivo de este trabajo es describir el funcionamiento de este nuevo indicador así como sus principales ventajas e inconvenientes. Finalmente,a fin de conocer mejor las propiedades de la nueva métrica, se han planteado dos estudios empíricos. En el primero,a partir de una muestra de autores en el sector de la Biblioteconomía y Documentación en España (n=190), se comprueba empíricamente que este indicador correlaciona de forma elevada tanto con las citas recibidas como con el RG Scoree Índice H. En el segundo, a partir de una muestra de 30 artículos publicados en una revista de Documentación y Comunicación, se ha comparado el nuevo indicador con 34 métricas proporcionadas por Web of Science, Scopus, Dimensions, Plum Analytics, Mendeley y Altmetric.com, a fin de averiguar en qué medida ofrece algo singular.Los resultados sugieren que el indicador correlaciona con las citas debido a su fórmula de su cálculo (subjetiva y no justificada estadísticamente), lo que le hace correlacionar a su vez con todos los indicadores igualmente basados en esta métrica, generando dudas acerca de su actual necesidad,aunque abriendo puertas hacia un futuro de nuevos indicadores centrados en las interacciones online de los investigadores(especialmente Visualizaciones y Recomendaciones)