Archivo de la etiqueta: Bibliometría

Recomendaciones sobre métricas de académicas para bibliotecas de investigación

 

screen-shot-2018-06-20-at-09-31-13

Scholarly Metrics Recommendations for Research Libraries: Deciphering the Trees in the Forest. [e-Book] The Hague, LIBER, 2018.

Texto completo

La Ciencia Abierta requiere algunas transformaciones valientes en este campo. Esto incluye un énfasis en métricas de próxima generación basadas en la transparencia, la apertura y la colaboración: tanto para las áreas científicas tradicionales como para las emergentes.

El uso de métricas académicas es uno de los más desafiantes en el campo de la investigación actual. La proliferación de nuevos modelos de comunicación académica, los cambios en el campo de la evaluación de la investigación y el uso extensivo de las aplicaciones de los medios sociales han sacudido los cimientos de los paradigmas métricos tradicionales.

Para fomentar esta visión de un panorama de investigación transformado en 2022, el Grupo de Trabajo de Métricas Innovadoras de LIBER ha publicado un nuevo informe: Scholarly Metrics Recommendations for Research Libraries: Deciphering the Trees in the Forest.

En el informe se formulan recomendaciones sobre la manera en que las bibliotecas de investigación y las infraestructuras de información pueden abordar las métricas académicas, y sobre cómo empezar a desarrollar servicios que las apoyen. Las recomendaciones se agrupan en cuatro tipos importantes de actividades relacionadas con las métricas:

  • Descubrimiento y Descubribilidad
  • Mostrar los Logros
  • Desarrollo de Servicios
  • Evaluación de la investigación

LIBER reconoce que no todas las bibliotecas parten del mismo punto. El contexto de la investigación en los países europeos es bastante diverso, con bibliotecas que operan en muchos niveles diferentes de experiencia y con diferentes niveles de recursos a su disposición. Por lo tanto, las recomendaciones del informe se organizan en tres niveles de compromiso: Inicial, Intermedio y Avanzado. Las bibliotecas pueden elegir qué recomendaciones adoptar, basándose en su nivel actual de compromiso con las métricas académicas. El orden en que aparecen las recomendaciones se correlaciona con la importancia potencial que pueden tener para una institución

 

 

Anuncios

Desarrollo de directrices internacionales para un proceso eficaz de evaluación del impacto de la investigación

Ampliar imagen

Adam, P., P. V. Ovseiko, et al. “ISRIA statement: ten-point guidelines for an effective process of research impact assessment.” Health Research Policy and Systems vol. 16, n. (2018). pp. 8. https://doi.org/10.1186/s12961-018-0281-5

Texto completo

 

Pavel Ovseiko, Paula Adam, Kathryn Graham y Jonathan Grant presentan las directrices internacionales iniciales para un proceso eficaz de evaluación del impacto de la investigación e invitan a los lectores del Impact Blog a ponerlas en práctica y compartir su experiencia, evidencia y competencia cultural con la comunidad global.

Los gobiernos, los organismos de financiación y las organizaciones de investigación de todo el mundo se han comprometido a medir el impacto de la investigación más allá de las publicaciones académicas. En consecuencia, se está desarrollando rápidamente una práctica multidisciplinaria llamada evaluación del impacto de la investigación. Sin embargo, esta práctica permanece en sus etapas formativas, por lo que actualmente no se dispone de recomendaciones sistematizadas o estándares aceptados para guiar a los investigadores y profesionales.

Poco después de articular la idea de método científico en su Novum Organum Scientiarum de 1620, Francis Bacon subrayó la importancia de que la investigación sea “útil y práctica para la vida del hombre”. Sin embargo, no fue hasta hace mucho tiempo que los gobiernos, los organismos de financiación y las organizaciones de investigación de todo el mundo se dieron cuenta de la necesidad de medir el impacto de la investigación más allá de las publicaciones académicas, comprender cómo funciona la ciencia y optimizar su impacto social y económico.

Para ayudar a los investigadores y profesionales a mejorar el proceso, se han propuesto unas directrices iniciales para un proceso eficaz de evaluación del impacto de la investigación. La eficacia de estas directrices se basa en el conocimiento experto y la experiencia de los profesionales de la International School on Research Impact Assessment. En un documento publicado recientemente, con los puntos de vista de más de 450 expertos y profesionales de 34 países que participaron en la escuela durante los últimos cinco años (2013-2017) se sistematizan en directrices de diez puntos (Figura 1).

1. Analice su contexto
La investigación y su impacto están determinados por el contexto en el que se lleva a cabo y se evalúa la investigación. Por eso es importante entender tanto los entornos de investigación internos (por ejemplo, una institución o un grupo de investigación) como externos (por ejemplo, un país o un campo de investigación).

2. Reflexione continuamente sobre sus propósitos
Las preguntas y la metodología de la evaluación dependen de los objetivos principales. Los investigadores y los profesionales necesitan reflexionar continuamente sobre los propósitos de la evaluación del impacto de la investigación y su relación con la investigación que se está evaluando, sobre todo porque éstos pueden evolucionar con el tiempo.

3. Identificar a las partes interesadas y sus necesidades
Los financiadores de la investigación, los participantes en la investigación, los investigadores, los usuarios de la investigación y los beneficiarios de la investigación tienden a tener diferentes expectativas y usos previstos. Por lo tanto, es imperativo identificar y analizar a las partes interesadas y sus necesidades, priorizar sus intereses y desarrollar estrategias de compromiso apropiadas.

4. Comprometerse con las partes interesadas clave desde el principio
El compromiso de los grupos de interés es clave para valorar la co-creación con la evaluación del impacto de la investigación. Aumenta la solidez social de la misma al hacerla más transparente y participativa. La participación de las partes interesadas también hace que la puesta en práctica de los resultados de manera más eficaz y eficiente al reducir la necesidad de una fase de difusión separada.

5. Elegir críticamente los marcos conceptuales
Al tiempo que proporcionan orientación metodológica y claridad analítica, los marcos conceptuales inevitablemente reducen la riqueza y complejidad de la investigación que se está evaluando. Por lo tanto, los marcos conceptuales deben elegirse de manera crítica, prestando atención al contexto y propósito de un determinado ejercicio de evaluación del impacto de la investigación y a las limitaciones de los marcos.

6. Utilizar métodos mixtos y fuentes de datos múltiples
La evaluación del impacto de la investigación desde la perspectiva de las diferentes partes interesadas aumenta la solidez y la fiabilidad de las evaluaciones del impacto contextual. La mejor manera de lograrlo es desarrollar informes ricos sobre el impacto de la investigación utilizando una combinación de métodos y una variedad de fuentes de datos.

7. Seleccionar indicadores y métricas de manera responsable
Los indicadores cuantitativos y las métricas a menudo se utilizan indebidamente, lo que conduce a resultados sesgados e incentivos perversos. Para evitar estas consecuencias imprevistas, los indicadores cuantitativos y las métricas deben utilizarse de manera equilibrada en relación con el contexto de las evaluaciones del impacto ambiental y en apoyo de otros tipos de pruebas.

8. Anticipar y abordar las cuestiones éticas y los conflictos de intereses
Como en el caso de cualquier investigación y evaluación, la evaluación del impacto de la investigación puede plantear problemas éticos y crear conflictos de intereses. Para maximizar el valor social de la evaluación del impacto de la investigación, los investigadores y los profesionales deben anticipar y abordar estas cuestiones éticas y los conflictos de intereses.

9. Comunicar los resultados a través de múltiples canales
Las diferentes partes interesadas suelen preferir diferentes canales de comunicación y mensajes adaptados a sus necesidades y capacidades de asimilación de conocimientos. Por lo tanto, la traducción efectiva de los resultados de las evaluación del impacto de la investigación en la práctica requiere una estrategia de comunicación integral y diversificada, que incluya blogs de investigación, redes sociales y feeds web, entre otros.

10. Comparta su aprendizaje con la comunidad de evaluación del impacto de la investigación
Dado que la evaluación del impacto de la investigación se encuentra todavía en su etapa formativa, su desarrollo se sustenta en el conocimiento empírico y las habilidades prácticas de la comunidad de práctica. Por lo tanto, es imperativo que los investigadores y profesionales compartan sus experiencias y aprendizajes con la comunidad de práctica sobre la evaluación del impacto de la investigación.

Conclusiones

Estas directrices internacionales pueden ayudar a los profesionales y a los responsables de la formulación de políticas de los organismos de financiación, el gobierno, la industria, las organizaciones benéficas y el mundo académico a mejorar el proceso  evaluación del impacto de la investigación. Pero como estas las directrices no son exhaustivas, requieren evaluación y mejora continua. se invita a los lectores a poner en práctica las directrices y a compartir su experiencia, evidencia y competencia cultural adquirida a través de la implementación de las directrices en nuevos contextos con la comunidad global de práctica de RIA.

 

¿Existe correspondencia entre la medición altmétrica y la calidad de la investigación? un estudio empírico a gran escala basado en datos de F1000Prime.

featured-image

Bornmann, L. and R. Haunschild “Do altmetrics correlate with the quality of papers? A large-scale empirical study based on F1000Prime data.” PloS One vol. 13, n. 5 (2018). pp. e0197133.

Texto completo

 

En este estudio, se aborda la cuestión de si (y hasta qué punto, respectivamente) la medición altmétrica se correlaciona con la calidad científica de los trabajos (medida por las evaluaciones de pares). Sólo unos pocos estudios han investigado previamente la relación entre la altmetria y las evaluaciones por pares. En el primer paso, se analizan las dimensiones subyacentes de la medición por las métricas tradicionales (recuentos de citas) y la altmetria utilizando el análisis de componentes principales (PCA) y el análisis factorial (FA). En el segundo paso, se analiza la relación entre las dimensiones y la calidad de los trabajos (medida por el sistema de revisión por pares posterior a la publicación de las evaluaciones F1000Prime), utilizando el análisis de regresión.

Los resultados del PCA y FA muestran que la medición altmétrica opera a lo largo de diferentes dimensiones, mientras que los recuentos de Mendeley están relacionados con los recuentos de citas, y los tweets forman una dimensión distinta. Los resultados del análisis de regresión indican que las métricas basadas en citas y los conteos de lectores están significativamente más relacionados con la calidad que con los tweets. Este resultado, por un lado, cuestiona el uso de los recuentos de Twitter para fines de evaluación de la investigación y, por otro lado, indica el uso potencial de los recuentos de lectores de Mendeley.

 

Artículos similares:

Redes sociales y altmetrics: nuevos retos para las revistas científicas

Los mil y un reflejos de las publicaciones en el laberinto de espejos de las nuevas métricas.

Relación entre las altermetrías y las medidas tradicionales de medición científica

Los artículos que recibieron más atención en Altmetric.com en 2017

El uso académico de medios sociales y altmetrics: Una revisión de la literatura

Métricas significativas: una guía del bibliotecario del siglo XXI sobre bibliometría, altmetrics e impacto de la investigación

Los recuentos de lectores que ofrece Mendeley son una de las evidencia más consistentes para la estimación temprana del impacto académico

Análisis de datos de investigación: correlación entre citas y puntuaciones altmetrics

Métricas de próxima generación: métricas responsables y evaluación para ciencia abierta: Informe del Grupo de Expertos de la Comisión Europea sobre Altmetrics. 

 

Estudios Métricos de la Información en Brasil: Indicadores de Producción, Colaboración, Impacto y Visibilidad

capa-estudos-metricos-3d

Tannuri de Oliveira, E. F. (2018). [e-Book]  Estudos Métricos da Informação no Brasil: Indicadores de Produção, Colaboração, Impacto e Visibilidade. Marilia, UNESP, 2018.

Texto completo

 

 

Este libro constituye un estudio teórico-conceptual-metodológico, analítico y aplicado, resultante de la trayectoria científico-académica de la vida profesional de la autora, resultante de su vivencia junto a la Universidad Estadual Paulista (UNESP), en el campus de Marília, como docente del Departamento y, del Programa de Postgrado en Ciencia de la Información. Su foco es atender al estudioso de la subárea Estudios Métricos de la Información, área de Ciencia de la Información, traerlo a la comprensión del significado de indicadores y sus aplicaciones. Desde los años de 1982, cuando inició su docencia en la vida universitaria, la autora tuvo el primer contacto con la Bibliometría, a través de un curso ofrecido por la Profa. En el presente trabajo se analizan los resultados obtenidos en el análisis de los resultados obtenidos en el análisis de los resultados de la investigación. La autora comprendió la necesaria asociación entre los indicadores bibliométricos y cientométricos y los recursos matemáticos de los cuales disponía. Se sentía, también, la necesidad de agregar los conocimientos estadísticos y, en consecuencia, la competencia en softwares que agilizar los cálculos y pudieran organizar y sintetizar los datos retirados de las fuentes escogidas.

Discrepancia entre las percepciones reales del impacto y las métricas que mide el impacto

figure-1

 

 

Rachel Borchardt and Matthew R. Hartings. The academic papers researchers regard as significant are not those that are highly cited. LSE impact blog, 2018

Ver original

 

Durante muchos años, la ciencia ha confiado en el conteo de citas como la principal forma de medir el impacto o la importancia de la investigación, informando de métricas como el Factor de Impacto y el h-index. Pero, ¿hasta qué punto estas métricas se alinean realmente con la evaluación subjetiva del impacto y la importancia de los investigadores? Rachel Borchardt y Matthew R. Hartings informan sobre un estudio que compara las percepciones de los investigadores sobre el significado, la importancia y lo que es altamente citado con los datos de citas reales. Los resultados revelan una discrepancia sorprendentemente grande entre las percepciones del impacto y la métrica que utilizamos actualmente para medirlo. Los trabajos científicos que los investigadores consideran significativos no son aquellos que son muy citados

 

Lo que comenzó como un intento de cuantificar la calidad de la investigación se nos ha escapado y ha cobrado vida propia. Este problema no es particularmente nuevo; ha sido ampliamente reconocido por académicos e investigadores y, como resultado, se está hablando de él más abiertamente. El problema es más sencillo se reduce a definir y medir el impacto.

Una descripción simple para la investigación de impacto es la investigación que se utiliza. Algunas investigaciones tienen la capacidad de transformar la sociedad a través de descubrimientos innovadores, de impactar en la política social y la regulación gubernamental a través de análisis que abren los ojos, y la capacidad de captar la atención del público con investigaciones que son relevantes para sus vidas, su medio ambiente o su bienestar. Este tipo de investigación se suele denominar “de alto impacto” y se ha convertido en el centro de atención de muchas universidades, centros de investigación y administradores que compiten por la financiación de becas, la atracción de los mejores y más brillantes estudiantes, y el prestigio y los rankings.

 

“Lo que comenzó como un intento de cuantificar la calidad de la investigación se nos ha escapado de las manos y ha cobrado vida propia.”

Rachel Borchardt and Matthew R. Hartings

 

Sin embargo, designar la investigación como de alto impacto no es tan sencillo como parece. Durante muchos años, el mundo académico ha confiado en el conteo de citas como la principal forma en que medimos el impacto o la importancia de la investigación. Como resultado, el conteo de citaciones es una de las métricas primarias usadas cuando se evalúa a los investigadores. Los recuentos de citas también forman la base de otras métricas, entre las que destacan el Factor de Impacto de Clarivate y el Índice h, que evalúan respectivamente la calidad/prestigio de la revista y la notoriedad de los investigadores.

Las citas, el JIF y el h-index han servido como el triunvirato de la evaluación de impacto durante muchos años, particularmente en los campos científico y tecnológico, donde los artículos de revistas se publican con frecuencia. Muchos estudios han señalado varios defectos con la confianza en estas métricas, y con el tiempo, se ha creado una multitud de métricas complementarias basadas en citas para tratar de abordar varias competencias. Al mismo tiempo, está emergiendo las medidas del impacto en los medios sociales (altmetrics) como una alternativa o complemento potencial a las citas, donde podemos recolectar diferentes datos sobre las formas en que la investigación es vista, guardada y compartida en línea.

Sin embargo, lo que se discute con menos frecuencia es qué tan bien todas estas métricas se alinean realmente con la evaluación subjetiva del impacto y la importancia misma. Todos hemos llegado a ver las métricas como sinónimo de impacto y, por delegación, de importancia. ¿Pero lo son?

 

Todos hemos llegado a ver las métricas como sinónimo de impacto y, por derivación, de la importancia de una investigación. ¿Pero realmente lo son?

 

Para responder a esta pregunta se encuestó a investigadores de Química para medir que percepciones tenían de aquellos documentos que consideraban importantes y sobre los materiales muy citados. En un artículo en el blog orientado a la química de Matt, se pidió a los lectores que analizaran 63 artículos de una edición de la revista Journal of the American Chemical Society y utilizaran el hastag el #JACSChallenge. Se les pidió que identificaran los tres artículos que consideraban más significativos (permitiéndoles definir el significado de la manera que consideraban adecuada); los más citados; los artículos que compartirían con otros químicos; y los artículos que compartirían más ampliamente. Se analizaron los datos de más de 350 encuestados.

Los resultados, si bien no fueron realmente sorprendentes, fueron sin embargo un claro ejemplo de lo diferentes que son estos conceptos. Para empezar, los encuestados eligieron diferentes artículos para cada una de las cuatro preguntas, aunque algunas preguntas se correlacionaron más que otras. Los artículos significativos y muy citados tenían la correlación más alta en.9, mientras que los artículos para compartir con los químicos y los artículos para compartir ampliamente tenían la correlación más baja.64 Esto demuestra que los encuestados ven diferencias en estos diferentes enfoques de lo que podríamos llamar “investigación de impacto”.

Pero quizás el descubrimiento más sorprendente fue cuando empezamos a comparar estas respuestas a las citas. Al comparar las cuatro preguntas con los recuentos de citas 10 y 13 años después de la publicación de los artículos, las correlaciones oscilaron entre 0,06 (artículos para compartir con los químicos) y 0,33 (artículos muy citados). Esto muestra una discrepancia sorprendentemente grande entre las percepciones de los investigadores sobre el impacto y la métrica que utilizamos actualmente para medir el impacto.

 

La investigación demostró que existe una una discrepancia sorprendentemente grande entre las percepciones que los investigadores tienen sobre el impacto y la métrica que utilizamos actualmente para medir el impacto.

 

¿Por qué estas correlaciones son tan bajas? Es probable que haya una serie de razones por las que la práctica real de citación no está más alineada con la percepción de los investigadores, pero resalta cuán diferente es la percepción de la práctica actual.

Estos datos dejan en evidencia que hay un problema importante con las métricas – no están midiendo lo que todos comúnmente asumimos que estamos midiendo, o al menos, no están representando con precisión las percepciones más abstractas de impacto e importancia de los documentos. lo que demuestra que el impacto va más allá del conteo de citas, y más allá del impacto académico. Pero, ¿qué podemos hacer para cambiar la práctica actual?

Parte de la responsabilidad recae en los evaluadores – los administradores, los “benchmarkers” de los rankings de prestigio de las universidades, los financiadores de la investigación. Pero la responsabilidad también recae en los investigadores y sus respectivas sociedades profesionales. Muchas sociedades profesionales tienen declaraciones amplias y generales sobre el papel de las métricas en la evaluación de los investigadores en su campo, pero hay más trabajo por hacer.

Estos datos dejan en evidencia que hay un problema importante con las métricas – no están midiendo lo que todos comúnmente asumimos que estamos midiendo, o al menos, no están representando con precisión las percepciones más abstractas de impacto e importancia de los documentos. lo que demuestra que el impacto va más allá del conteo de citas, y más allá del impacto académico.

Por una parte describir mejor los tipos de impacto en la academia y más allá, y presentarlos en un documento en el que los investigadores puedan confiar cuando se les pida que presenten sus evidencias de investigación para su revisión. Por otra parte sería necesario crear un marco de evaluación que comunique claramente los tipos de resultados de investigación y los modelos para su evaluación. Este tipo de marco se asemejaría al utilizado en el Modelo Becker, creado para la comunidad biomédica, que destaca cinco áreas diferentes de impacto, incluyendo el impacto económico y político, y describe claramente los resultados de la investigación y los modelos de evaluación para cada área de impacto.

Todas las disciplinas académicas estarían bien servidas para examinar con seriedad los resultados de la investigación de su disciplina y proporcionar una orientación significativa sobre su importancia en la comunicación científica de esa disciplina, junto con las mejores prácticas para su evaluación apropiada. Al mismo tiempo, los investigadores también pueden abogar por un cambio en las prácticas de evaluación de la investigación en sus instituciones en forma de documentos de políticas actualizados, incluidas las directrices departamentales para la promoción del investigador, que reflejen con mayor precisión su investigación disciplinaria y su impacto.

Sólo entonces empezaremos a cerrar la brecha entre la práctica “real” de impacto y la evaluación significativa de la investigación.

Esta entrada de blog se basa en el artículo co-escrito por los autores, “Perception of the importance of chemistry research papers and comparison to citation rates“, publicado en PLoS ONE (DOI: 10.1371/journal.pone.0194903).

Crédito de la imagen destacada: Dmitri Popov, via Unsplash (licenciado bajo una licencia CC0 1.0).

 

¿Cómo detectar los temas de investigación emergentes en una disciplina? Un modelo bibliométrico para identificar los temas de investigación emergentes

emerging-markets-hero-for-web-1-of-1

Wang, Q. “A bibliometric model for identifying emerging research topics.” Journal of the Association for Information Science and Technology vol. 69, n. 2 (2018). pp. 290-304. http://dx.doi.org/10.1002/asi.23930

 

La detección de temas de investigación emergentes es esencial, no sólo para las agencias de investigación sino también para los investigadores individuales. Estudios anteriores han creado varios indicadores bibliográficos para la identificación de temas de investigación emergentes. Sin embargo, como indica Rotolo et al. ( (Research Policy 44, 1827–1843, ),, los problemas más graves son la falta de una definición reconocida de emergencia y la elaboración incompleta de los vínculos entre las definiciones que se utilizan y los indicadores que se crean. Con estas cuestiones en mente, este estudio primero ajusta la definición de una tecnología emergente que Rotolo y otros han propuesto para acomodar el análisis. Y a continuación, se propone un conjunto de criterios para la identificación de los temas emergentes de acuerdo con la definición ajustada y los atributos de la emergencia. Utilizando dos conjuntos de valores de parámetros, se identifican varios temas de investigación emergentes. Por último, las pruebas de evaluación se llevan a cabo mediante la demostración del enfoque propuesto y la comparación con estudios anteriores. La fuerza de la metodología actual radica en que es totalmente transparente, directa y flexible.

 

Youtube como objeto de investigación: análisis de citas a los vídeos de Youtube en la investigación mundial

youtube-680x380

Noruzi, A. “YouTube in scientific research: A bibliometric analysis.” Webology vol. 14, n. 1 (2017). pp. 1-7.

Texto completo

 

YouTube se ha convertido en el objeto de la investigación científica en diferentes áreas temáticas. El objetivo de este estudio es ofrecer una visión general de la tasa de citaciones de YouTube desde su lanzamiento en febrero de 2005, basada en la base de datos de citaciones Scopus. El número total de citaciones a YouTube en Scopus en el período de 12 años fue de 36.486, de las cuales el mayor número de citaciones fue de 8.145 en 2016. También se demuestra que los videos cargados en YouTube son altamente citados por las ciencias sociales, informática, artes y humanidades, ingeniería y medicina. Se puede ver que los investigadores de los Estados Unidos, Reino Unido, Australia, Canadá, Alemania, China y España citan videos subidos a YouTube más que en otros países. El análisis de los tipos de documentos indica que los artículos ocupan el primer lugar con el 48,2 por ciento de todos los documentos, seguidos por los documentos de conferencias (21,9 %), capítulos de libros (11,9 %), reseñas (7,7 %), libros (7,0 %), etcétera. Se puede concluir que YouTube es citado cada vez más por diferentes áreas temáticas, por diferentes idiomas (especialmente el inglés) y por varios países.