Archivo de la etiqueta: Altmetrics

Gestores de referencias sociales comparación de usuarios entre Zotero y Mendeley: una encuesta de demografía e ideologías

29511046058_c9aee6ec3e_b_d

Chen, P.-Y., E. Hayes, et al. “Social Reference Managers and Their Users: A Survey of Demographics and Ideologies.” PLoS ONE 13(7) vol. 13, n. 7 (2018). URL.: http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0198033

 

Los indicadores altrmétricos están cada vez más presentes en el panorama de la investigación. Dentro de este ecosistema de indicadores heterogéneos, los gestores sociales de referencia han sido propuestos como indicadores de un uso más amplio del trabajo académico. Sin embargo, se ha investigado poco para comprender los datos que subyacen a este indicador. El presente trabajo lanzó una encuesta a gran escala para estudiar a los usuarios de dos destacados gestores sociales de referencia: Mendeley y Zotero. La encuesta pretendía determinar las características demográficas, el uso de las plataformas, así como las actitudes hacia temas clave en la comunicación académica, tales como el acceso abierto, la revisión por pares, la privacidad y el sistema de recompensas de la ciencia.

Los resultados muestran fuertes diferencias entre plataformas:

  • Los usuarios de Mendeley son más jóvenes y están más equilibrados en cuanto a género; los usuarios de Zotero están más comprometidos con los medios sociales y es más probable que provengan de las ciencias sociales y las humanidades.
  • Los usuarios de Zotero son más propensos a utilizar las funciones de búsqueda de la plataforma y a organizar sus bibliotecas, mientras que los usuarios de Mendeley son más propensos a aprovechar algunas de las funciones de descubrimiento y establecimiento de redes, como navegar por documentos y grupos y conectarse con otros usuarios. Se discuten  las implicaciones de usar métricas derivadas de estas plataformas como indicadores de impacto.

 

En conclusión, las métricas de audiencia son generadas por una variedad de diferentes tipos de usuarios y estos usuarios aportan prácticas e ideologías competitivas. Una de las únicas características unificadoras de aquellos que usan gerentes de referencia social es que tienen un buen nivel de formación. Esto sugiere que los conteos de lectores de Mendeley no deben ser vistos como un indicador de impacto social, sino más bien para representar otra dimensión del impacto académico. Sin embargo, el uso funcional de las plataformas varió significativamente tanto entre las plataformas como entre los distintos grupos de usuarios dentro de la plataforma. Por lo tanto, los recuentos de lectores no deben considerarse como monolíticos, sino que representan diversos conceptos para diferentes comunidades de usuarios. Estas comunidades también variaban considerablemente en sus ideologías hacia la comunicación académica y los valores que atribuían a las métricas. Estos sistemas de valores en competencia y la ambigüedad general hacia las métricas de los medios de comunicación social debe instar a la cautela en torno a la inclusión de las métricas de lectores en el uso de indicadores altimétricos.

Disponibilidad de datos: los archivos de datos de la encuesta de Mendeley / Zotero están disponibles públicamente en http://hdl.handle.net/2022/22043 de IUScholarWorks, un servicio institucional de acceso abierto de repositorio provisto por las Bibliotecas de la Universidad de Indiana para diseminar y preservar el rendimiento intelectual de Estudiantes de la Universidad de Indiana.

Anuncios

Recomendaciones sobre métricas de académicas para bibliotecas de investigación

 

screen-shot-2018-06-20-at-09-31-13

Scholarly Metrics Recommendations for Research Libraries: Deciphering the Trees in the Forest. [e-Book] The Hague, LIBER, 2018.

Texto completo

La Ciencia Abierta requiere algunas transformaciones valientes en este campo. Esto incluye un énfasis en métricas de próxima generación basadas en la transparencia, la apertura y la colaboración: tanto para las áreas científicas tradicionales como para las emergentes.

El uso de métricas académicas es uno de los más desafiantes en el campo de la investigación actual. La proliferación de nuevos modelos de comunicación académica, los cambios en el campo de la evaluación de la investigación y el uso extensivo de las aplicaciones de los medios sociales han sacudido los cimientos de los paradigmas métricos tradicionales.

Para fomentar esta visión de un panorama de investigación transformado en 2022, el Grupo de Trabajo de Métricas Innovadoras de LIBER ha publicado un nuevo informe: Scholarly Metrics Recommendations for Research Libraries: Deciphering the Trees in the Forest.

En el informe se formulan recomendaciones sobre la manera en que las bibliotecas de investigación y las infraestructuras de información pueden abordar las métricas académicas, y sobre cómo empezar a desarrollar servicios que las apoyen. Las recomendaciones se agrupan en cuatro tipos importantes de actividades relacionadas con las métricas:

  • Descubrimiento y Descubribilidad
  • Mostrar los Logros
  • Desarrollo de Servicios
  • Evaluación de la investigación

LIBER reconoce que no todas las bibliotecas parten del mismo punto. El contexto de la investigación en los países europeos es bastante diverso, con bibliotecas que operan en muchos niveles diferentes de experiencia y con diferentes niveles de recursos a su disposición. Por lo tanto, las recomendaciones del informe se organizan en tres niveles de compromiso: Inicial, Intermedio y Avanzado. Las bibliotecas pueden elegir qué recomendaciones adoptar, basándose en su nivel actual de compromiso con las métricas académicas. El orden en que aparecen las recomendaciones se correlaciona con la importancia potencial que pueden tener para una institución

 

 

Desarrollo de directrices internacionales para un proceso eficaz de evaluación del impacto de la investigación

Ampliar imagen

Adam, P., P. V. Ovseiko, et al. “ISRIA statement: ten-point guidelines for an effective process of research impact assessment.” Health Research Policy and Systems vol. 16, n. (2018). pp. 8. https://doi.org/10.1186/s12961-018-0281-5

Texto completo

 

Pavel Ovseiko, Paula Adam, Kathryn Graham y Jonathan Grant presentan las directrices internacionales iniciales para un proceso eficaz de evaluación del impacto de la investigación e invitan a los lectores del Impact Blog a ponerlas en práctica y compartir su experiencia, evidencia y competencia cultural con la comunidad global.

Los gobiernos, los organismos de financiación y las organizaciones de investigación de todo el mundo se han comprometido a medir el impacto de la investigación más allá de las publicaciones académicas. En consecuencia, se está desarrollando rápidamente una práctica multidisciplinaria llamada evaluación del impacto de la investigación. Sin embargo, esta práctica permanece en sus etapas formativas, por lo que actualmente no se dispone de recomendaciones sistematizadas o estándares aceptados para guiar a los investigadores y profesionales.

Poco después de articular la idea de método científico en su Novum Organum Scientiarum de 1620, Francis Bacon subrayó la importancia de que la investigación sea “útil y práctica para la vida del hombre”. Sin embargo, no fue hasta hace mucho tiempo que los gobiernos, los organismos de financiación y las organizaciones de investigación de todo el mundo se dieron cuenta de la necesidad de medir el impacto de la investigación más allá de las publicaciones académicas, comprender cómo funciona la ciencia y optimizar su impacto social y económico.

Para ayudar a los investigadores y profesionales a mejorar el proceso, se han propuesto unas directrices iniciales para un proceso eficaz de evaluación del impacto de la investigación. La eficacia de estas directrices se basa en el conocimiento experto y la experiencia de los profesionales de la International School on Research Impact Assessment. En un documento publicado recientemente, con los puntos de vista de más de 450 expertos y profesionales de 34 países que participaron en la escuela durante los últimos cinco años (2013-2017) se sistematizan en directrices de diez puntos (Figura 1).

1. Analice su contexto
La investigación y su impacto están determinados por el contexto en el que se lleva a cabo y se evalúa la investigación. Por eso es importante entender tanto los entornos de investigación internos (por ejemplo, una institución o un grupo de investigación) como externos (por ejemplo, un país o un campo de investigación).

2. Reflexione continuamente sobre sus propósitos
Las preguntas y la metodología de la evaluación dependen de los objetivos principales. Los investigadores y los profesionales necesitan reflexionar continuamente sobre los propósitos de la evaluación del impacto de la investigación y su relación con la investigación que se está evaluando, sobre todo porque éstos pueden evolucionar con el tiempo.

3. Identificar a las partes interesadas y sus necesidades
Los financiadores de la investigación, los participantes en la investigación, los investigadores, los usuarios de la investigación y los beneficiarios de la investigación tienden a tener diferentes expectativas y usos previstos. Por lo tanto, es imperativo identificar y analizar a las partes interesadas y sus necesidades, priorizar sus intereses y desarrollar estrategias de compromiso apropiadas.

4. Comprometerse con las partes interesadas clave desde el principio
El compromiso de los grupos de interés es clave para valorar la co-creación con la evaluación del impacto de la investigación. Aumenta la solidez social de la misma al hacerla más transparente y participativa. La participación de las partes interesadas también hace que la puesta en práctica de los resultados de manera más eficaz y eficiente al reducir la necesidad de una fase de difusión separada.

5. Elegir críticamente los marcos conceptuales
Al tiempo que proporcionan orientación metodológica y claridad analítica, los marcos conceptuales inevitablemente reducen la riqueza y complejidad de la investigación que se está evaluando. Por lo tanto, los marcos conceptuales deben elegirse de manera crítica, prestando atención al contexto y propósito de un determinado ejercicio de evaluación del impacto de la investigación y a las limitaciones de los marcos.

6. Utilizar métodos mixtos y fuentes de datos múltiples
La evaluación del impacto de la investigación desde la perspectiva de las diferentes partes interesadas aumenta la solidez y la fiabilidad de las evaluaciones del impacto contextual. La mejor manera de lograrlo es desarrollar informes ricos sobre el impacto de la investigación utilizando una combinación de métodos y una variedad de fuentes de datos.

7. Seleccionar indicadores y métricas de manera responsable
Los indicadores cuantitativos y las métricas a menudo se utilizan indebidamente, lo que conduce a resultados sesgados e incentivos perversos. Para evitar estas consecuencias imprevistas, los indicadores cuantitativos y las métricas deben utilizarse de manera equilibrada en relación con el contexto de las evaluaciones del impacto ambiental y en apoyo de otros tipos de pruebas.

8. Anticipar y abordar las cuestiones éticas y los conflictos de intereses
Como en el caso de cualquier investigación y evaluación, la evaluación del impacto de la investigación puede plantear problemas éticos y crear conflictos de intereses. Para maximizar el valor social de la evaluación del impacto de la investigación, los investigadores y los profesionales deben anticipar y abordar estas cuestiones éticas y los conflictos de intereses.

9. Comunicar los resultados a través de múltiples canales
Las diferentes partes interesadas suelen preferir diferentes canales de comunicación y mensajes adaptados a sus necesidades y capacidades de asimilación de conocimientos. Por lo tanto, la traducción efectiva de los resultados de las evaluación del impacto de la investigación en la práctica requiere una estrategia de comunicación integral y diversificada, que incluya blogs de investigación, redes sociales y feeds web, entre otros.

10. Comparta su aprendizaje con la comunidad de evaluación del impacto de la investigación
Dado que la evaluación del impacto de la investigación se encuentra todavía en su etapa formativa, su desarrollo se sustenta en el conocimiento empírico y las habilidades prácticas de la comunidad de práctica. Por lo tanto, es imperativo que los investigadores y profesionales compartan sus experiencias y aprendizajes con la comunidad de práctica sobre la evaluación del impacto de la investigación.

Conclusiones

Estas directrices internacionales pueden ayudar a los profesionales y a los responsables de la formulación de políticas de los organismos de financiación, el gobierno, la industria, las organizaciones benéficas y el mundo académico a mejorar el proceso  evaluación del impacto de la investigación. Pero como estas las directrices no son exhaustivas, requieren evaluación y mejora continua. se invita a los lectores a poner en práctica las directrices y a compartir su experiencia, evidencia y competencia cultural adquirida a través de la implementación de las directrices en nuevos contextos con la comunidad global de práctica de RIA.

 

¿Qué importancia tiene twitter en la medición del impacto de una investigación? comprensión de lo que los tweets pueden y no pueden medir en el contexto de la evaluación de la investigación

 

twitschervogel01_derived_from_twitter-t-svg_

Haustein, S. “Scholarly Twitter metrics.” arXiv:1806.02201 [cs] vol., n. (2018). URL: http://arxiv.org/abs/1806.02201

 

 

Twitter ha sido posiblemente el más popular entre las fuentes de datos que forman la base de la llamada altmetría. Los tweets a los documentos académicos han sido anunciados como indicadores tempranos de citas así como medidas de impacto social. Este capítulo proporciona una visión general de la actividad de Twitter como base para las métricas académicas desde un punto de vista crítico y describe igualmente el potencial y las limitaciones de las métricas de Twitter. Al revisar la literatura sobre Twitter en la comunicación académica y analizar 24 millones de tweets que enlazan con documentos académicos, su objetivo es proporcionar una comprensión básica de lo que los tweets pueden y no pueden medir en el contexto de la evaluación de la investigación. Más allá del limitado poder explicativo de las bajas correlaciones entre los tweets y las citas, este capítulo considera qué tipos de documentos académicos son populares en Twitter, y cómo, cuándo y por quién se difunden, con el fin de comprender lo que miden los tweets en los documentos académicos. Aunque este capítulo no es capaz de resolver los problemas asociados con la creación de métricas significativas a partir de los medios de comunicación social, pone de relieve cuestiones particulares y tiene como objetivo proporcionar la base para las métricas avanzadas eruditas de Twitter.

 

 

¿Existe correspondencia entre la medición altmétrica y la calidad de la investigación? un estudio empírico a gran escala basado en datos de F1000Prime.

featured-image

Bornmann, L. and R. Haunschild “Do altmetrics correlate with the quality of papers? A large-scale empirical study based on F1000Prime data.” PloS One vol. 13, n. 5 (2018). pp. e0197133.

Texto completo

 

En este estudio, se aborda la cuestión de si (y hasta qué punto, respectivamente) la medición altmétrica se correlaciona con la calidad científica de los trabajos (medida por las evaluaciones de pares). Sólo unos pocos estudios han investigado previamente la relación entre la altmetria y las evaluaciones por pares. En el primer paso, se analizan las dimensiones subyacentes de la medición por las métricas tradicionales (recuentos de citas) y la altmetria utilizando el análisis de componentes principales (PCA) y el análisis factorial (FA). En el segundo paso, se analiza la relación entre las dimensiones y la calidad de los trabajos (medida por el sistema de revisión por pares posterior a la publicación de las evaluaciones F1000Prime), utilizando el análisis de regresión.

Los resultados del PCA y FA muestran que la medición altmétrica opera a lo largo de diferentes dimensiones, mientras que los recuentos de Mendeley están relacionados con los recuentos de citas, y los tweets forman una dimensión distinta. Los resultados del análisis de regresión indican que las métricas basadas en citas y los conteos de lectores están significativamente más relacionados con la calidad que con los tweets. Este resultado, por un lado, cuestiona el uso de los recuentos de Twitter para fines de evaluación de la investigación y, por otro lado, indica el uso potencial de los recuentos de lectores de Mendeley.

 

Artículos similares:

Redes sociales y altmetrics: nuevos retos para las revistas científicas

Los mil y un reflejos de las publicaciones en el laberinto de espejos de las nuevas métricas.

Relación entre las altermetrías y las medidas tradicionales de medición científica

Los artículos que recibieron más atención en Altmetric.com en 2017

El uso académico de medios sociales y altmetrics: Una revisión de la literatura

Métricas significativas: una guía del bibliotecario del siglo XXI sobre bibliometría, altmetrics e impacto de la investigación

Los recuentos de lectores que ofrece Mendeley son una de las evidencia más consistentes para la estimación temprana del impacto académico

Análisis de datos de investigación: correlación entre citas y puntuaciones altmetrics

Métricas de próxima generación: métricas responsables y evaluación para ciencia abierta: Informe del Grupo de Expertos de la Comisión Europea sobre Altmetrics. 

 

1findr. El buscador de artículos científicos revisados por pares

 

1findr

https://1findr.1science.com

1findr es un sistema completo de indización y analítica Abstracting, Indexing and Analytics (AI&A) para artículos de investigación publicados en revistas revisadas por pares en todos los campos, todos los idiomas y de todo el mundo. 1findr fue diseñado desde el principio dotado de una moderna solución de enlaces, oaFindr, que encuentra versiones gratuitas de los artículos, proporcionando así un valor increíble en comparación con los sistemas tradicionales de recuperación de la iformación. Y además incorpora datos del impacto social de esa investigación.

 

1findr forma parte integral de la estrategia OA2020 que se está implementando activamente en la Biblioteca Digital Max Planck.” Dr. Ralf Schimmer | Max Planck Digital Library (MPDL) y aspira a convertirse en el mejor y más completo sistema de indexación de resúmenes basado en contenido curado por expertos. 1findr comienza con la lista más completa del mundo de revistas arbitradas y contiene miles de revistas típicamente ausentes de las colecciones y sistemas de descubrimiento existentes.

 

41896745834_4614289034_b_d

 

Utiliza la tecnología de resolución de enlaces 1findr, lo que significa que más de 27 millones de artículos publicados en revistas revisadas por pares son directamente accesibles para su descarga, de forma gratuita.1findr reduce radicalmente el tiempo necesario para localizar y descargar artículos publicados en revistas revisadas por pares. En el buscador puedes encontrar rápidamente utilizando artículos académicos gratuitos y de pago, siempre y cuando se publiquen en revistas revisadas por pares.

 

 

Ejemplo

Altmetrics pueden no seguir siendo alternativa por mucho tiempo

Altmetric attention score57 Facebook posts3 tweets17 Mendeley readers

Full Text (PDF)Export data

Correlación entre las altmetrías a través de Mendeley (F1000) y la calidad de la investigación

42353423662_d6e979faf7_o_d

Bornmann L and H. R “Do altmetrics correlate with the quality of papers? A large-scale empirical study based on F1000Prime data.” PLoS ONE vol. 13, n. 5 (2018). pp.: https://doi.org/10.1371/journal.pone.0197133

 

Este estudio, aborda la cuestión de si (y hasta qué punto, respectivamente) los indicadores altmétricos está relacionada con la calidad científica de los trabajos (medida por las evaluación por pares). Sólo unos pocos estudios han investigado previamente la co-relación entre altmetrics y la evaluación por pares. Primero se analizan las dimensiones subyacentes de la medición para las métricas tradicionales (recuentos de citas) y la altmetría utilizando el análisis de componentes principales (PCA) y el análisis factorial (FA). En segundo lugar, se analiza la relación entre las dimensiones y la calidad de los trabajos (medida por el sistema de revisión por pares posterior a la publicación en las evaluaciones del portal F1000Prime), utilizando un análisis de regresión. Los resultados del PCA y FA muestran que la altmetría opera a lo largo de diferentes dimensiones, mientras que los recuentos de Mendeley están relacionados con los recuentos de citas, y los tweets forman una dimensión separada. Los resultados del análisis de regresión indican que las métricas basadas en citas y los conteos de lectores están significativamente más relacionados con la calidad que con los tweets. Este resultado, por un lado, cuestiona el uso de los recuentos de Twitter para fines de evaluación de la investigación y, por otro lado, indica el uso potencial de los recuentos de lectores de Mendeley.