Fang, Z., Costas, R. & Wouters, P. User engagement with scholarly tweets of scientific papers: a large-scale and cross-disciplinary analysis.Scientometrics (2022). https://doi.org/10.1007/s11192-022-04468-6
Este estudio investiga hasta qué punto los usuarios de Twitter se comprometen con los tweets académicos de artículos científicos a través de cuatro tipos de comportamientos de compromiso de los usuarios, es decir, me gusta, retuitear, citar y responder. Sobre la base de una muestra de 7 millones de tuits académicos de artículos de la Web of Science, los resultados muestran que los «me gusta» son la métrica de participación más frecuente, ya que abarcan el 44% de los tuits académicos, seguidos de los «retuits» (36%), mientras que las citas y las respuestas sólo están presentes en el 9% y el 7% de todos los tuits académicos, respectivamente.
Desde un punto de vista disciplinario, los tuits académicos del ámbito de las Ciencias Sociales y Humanidades son más propensos a provocar la participación de los usuarios que los de otros ámbitos temáticos. La presencia del compromiso de los usuarios está más asociada a otros factores basados en Twitter (por ejemplo, el número de usuarios mencionados en los tuits y el número de seguidores de los usuarios) que a factores basados en la ciencia (por ejemplo, las citas y los lectores de Mendeley de los artículos tuiteados). A partir de estos resultados, este estudio arroja luz sobre la posibilidad de aplicar métricas de compromiso de los usuarios para medir niveles más profundos de recepción de información académica en Twitter.
Liu, C., Huang, MH. Exploring the relationships between altmetric counts and citations of papers in different academic fields based on co-occurrence analysis.Scientometrics (2022). https://doi.org/10.1007/s11192-022-04456-w
La altmetría es un método emergente para observar la comunicación académica. Muchos investigadores han explorado las relaciones entre los recuentos altmétricos y las citas a través del análisis de correlación, pero no hay un resultado consistente. Los resultados variados pueden provenir de la divergencia de las fuentes de datos, las diferencias disciplinarias y las características de la distribución de los datos. Para reducir la influencia de los factores de interferencia mencionados, en este estudio se propuso el análisis de co-ocurrencia como método para explorar las relaciones entre las citas y los recuentos altmétricos.
Observamos el solapamiento entre los artículos altamente citados y los artículos de alto recuento altmétrico, junto con la cobertura de cada colección de varias fuentes altmétricas en diferentes campos académicos. Los resultados muestran que Mendeley tiene la mayor correlación con las citas entre todas las fuentes altmétricas en los cinco campos académicos, y podría ser la única que tiene la oportunidad de ser un indicador para la evaluación académica. Los otros recuentos altmétricos de diferentes fuentes no muestran relaciones fuertes con las citas en general.
Farshad Baroonzadeh, Maryam Shekofteh, Maryam Kazerani & Cirruse Salehnasab (2022) Mendeley Readers of Highly-Cited Articles in Medical Sciences: Is It Correlated With Citations?, Serials Review, DOI: 10.1080/00987913.2022.2066965
El número de lectores de Mendeley y el número de citas son indicadores de la evaluación de una investigación. En muchos casos, tienen una correlación significativa entre sí.
El presente estudio tiene como objetivo investigar la correlación entre el número de lectores de Mendeley y el número de citas en artículos médicos muy citados. La población de la investigación incluye todos los artículos altamente citados en varios campos de la medicina indexados en la Web of Science (WoS) en 2016. El número de citas se extrajo de la WoS, y el número de lectores de Mendeley se extrajo utilizando Webometric Analyst.
Los resultados revelaron que el mayor número de lectores de Mendeley está relacionado con el campo de la medicina general e interna con una media de 570,43, y el más bajo está dedicado a la otorrinolaringología con una media de 86,2. Asimismo, la media de citas más alta corresponde a la medicina general e interna (338,18) y la más baja a la enfermería (40,84). El coeficiente de correlación de Pearson mostró que la relación entre el número de lectores de Mendeley y el número de citas recibidas por todos los artículos médicos es positiva y significativa (valor p <0,001, r = 0,644). En varios campos de la medicina, excepto la ortopedia, existe una relación positiva y significativa entre ambas variables. La evidencia sugiere que los datos de Mendeley pueden determinar la eficacia de los artículos. Parece que el uso de Mendeley por parte de los investigadores aumentará la visibilidad y los lectores de los artículos y, en consecuencia, dará lugar a más citas.
El volumen de la literatura científica es cada vez mayor y los investigadores tienen dificultades para estimar su calidad y relevancia. Por ello, los portales de las bibliotecas están adquiriendo mayor relevancia al utilizar indicadores de calidad para ayudar a los investigadores durante su proceso de investigación. Con la creciente presencia de los medios sociales, las altmetrías se han propuesto como indicadores complementarios a las medidas tradicionales. Las altmétricas pueden ayudar a identificar la atención en línea y pueden aparecer mucho más rápido que las citas.
Este estudio explora la altmetría para filtrar artículos relevantes (en portales de bibliotecas) dentro de la disciplina de la literatura de Estudios Económicos y Empresariales. En primer lugar, destaca la presencia de altmetrics de Mendeley y Altmetric.com para las revistas de las disciplinas mencionadas. Presenta correlaciones entre las citas y las altmetrías a nivel de artículo y de revista, sugiriendo los recuentos de Mendeley como un indicador alternativo a las citas. Después, investiga el uso de los datos altmétricos para los usuarios potenciales con intereses en las nuevas tendencias, las plataformas de medios sociales y los rankings de revistas. Por último, explora el comportamiento de los investigadores económicos mediante una encuesta, descubriendo la utilidad de las diferentes altmetrías. Con los resultados de este estudio, se discuten varias formas de altmetría en los portales de las bibliotecas, utilizando EconBiz como prueba de concepto, para ayudar tanto a los investigadores como a las bibliotecas a identificar revistas o artículos relevantes y a hacer frente a la sobrecarga de información.
Maleki, A. OCLC library holdings: assessing availability of academic books in libraries in print and electronic compared to citations and altmetrics. Scientometrics (2021). https://doi.org/10.1007/s11192-021-04220-6
Aunque los datos de las existencias de la biblioteca se construyen sobre el formato de trabajo de los libros, se sabe menos sobre la contribución de los libros impresos y electrónicos en las bibliotecas a los recuentos de las existencias de la biblioteca. En respuesta, esta investigación es un intento de explorar la distribución de los datos de las existencias de la biblioteca a través de los formatos de trabajo e investigar la disponibilidad de las existencias impresas de la biblioteca y las existencias electrónicas de la biblioteca para los libros como constituyentes de la métrica de las existencias de la biblioteca a través de los campos y en el tiempo y en comparación con otras métricas de los libros.
Se examinaron los ISBN, los títulos y los nombres de los autores de 119.794 títulos de libros indexados en Scopus en 26 campos para catorce variables que incluyen las existencias de la biblioteca de OCLC, las citas de Scopus, las citas de Google Books, los compromisos de Goodreads y los indicadores de Altmetric. Hay tres conclusiones principales: (a) las existencias de las bibliotecas son una métrica más completa para los libros (más del 97%) que cualquier otra métrica y podría ser útil después de un corto período de tiempo tras la publicación de la primera edición, seguida por Google Books, Goodreads y Scopus, respectivamente; (b) en promedio, las existencias electrónicas son siete veces (mediana tres veces) más numerosas que las existencias impresas y su proporción está creciendo considerablemente para los libros más recientes; (c) hay una tendencia consistente a la baja en el promedio de las existencias de libros impresos, lo que sugiere que los datos de las existencias impresas en las bibliotecas son de naturaleza acumulativa y estadísticamente comparables a las citas formales; sin embargo, la adquisición de libros electrónicos en las bibliotecas es inconsistente en la parcela de distribución, así como en el tiempo. En resumen, las diferencias entre los datos de existencias de libros impresos y electrónicos son amplias, lo que las convierte en métricas distintas, y sugiere que es necesario seguir investigando para comprender sus implicaciones en la evaluación del impacto de los libros.
Altmetric hace un seguimiento de la investigación en todos sus formatos: libros, artículos, conjuntos de datos, ensayos clínicos, capítulos de libros, noticias, sitios web, entradas de blog, informes, libros blancos y prácticamente cualquier otro formato en el que se pueda compartir la investigación en línea.
Diversos resultados requieren diversos identificadores persistentes
En los 23,2 millones de resultados de investigación que rastrea Altmetric, se utilizan 13 identificadores persistentes diferentes (DOI, PubMed, RI, ISBN, Handle, ADS bibcode, ArXiv, Harvard Library Open Metadata, HOLLIS, SSRN, National Clinical Trial ID, RePEc URN) para verificar que cualquier enlace compartido en una fuente. Aunque los identificadores de objetos digitales (DOI) se asignan a la gran mayoría de los productos que se rastrean, también utiliza otros tipos de identificadores como los ISBN para rastrear los libros o los Handles para rastrear el contenido de los repositorios.
Altmetric puede hacer un seguimiento de las noticias como resultados
Altmetric hace un seguimiento de la atención a las noticias que se publican en las revistas, lo que le diferencia de otros proveedores de datos altmétricos. El 62,6% de estas noticias (70.226 de un total de 113.866) proceden del medio de comunicación científica The Conversation; las noticias de la AAAS y de la familia de revistas Nature constituyen la mayor parte del resto.
Altmetric rastrea la investigación antes de que se publique técnicamente a través de los registros de ensayos clínicos
Desde 2015, Altmetric tiene atención así para los registros de ensayos clínicos rastreados como este de ClinicalTrials.gov, un índice que incluye ensayos clínicos de más de 170 países. Altmetric ha capturado datos de atención para 45.062 registros de ensayos clínicos hasta ahora -alrededor de 206.000 menciones en total. La mención más antigua del registro de ensayos clínicos es de 2003; la mayoría de las menciones se producen a partir de 2013.
Altmetric rastrea el intercambio en Reddit
Reddit es un sitio de agregación de noticias sociales y de debate en línea, organizado en tableros temáticos llamados «subreddits». Se estima que en Reddit se publican 11 millones de posts al mes, lo que significa que el número de resultados de investigación publicados en Reddit desde 2005 (179.274 menciones, o el 1,4% de todas las menciones de Altmetric) son una gota de agua en comparación con los otros tipos de contenidos compartidos en la plataforma. Surgen tendencias interesantes cuando se observa la investigación que se ha compartido en Reddit. La gran mayoría de los contenidos compartidos en Reddit (77,4%) son artículos de revistas, seguidos de noticias (21,1%), principalmente de Nature News y The Conversation. Los libros representan algo más del 1% de los contenidos compartidos en Reddit.
Altmetric rastrea el impacto educativo a través de las menciones de los planes de estudio
Altmetric rastrea el impacto educativo de los libros a través de la minería de datos del Open Syllabus Project. El Open Syllabus Project es «un esfuerzo por hacer que el impacto intelectual incluido en los programas de estudio sea relevante para exploraciones más amplias de la enseñanza, la publicación y la historia intelectual». El equipo del OSP ha recopilado más de un millón de programas de estudios de universidades de todo el mundo. Recientemente han recibido una beca Digital Science Catalyst para ampliar su trabajo.
Teresa Schultz; All the Research That’s Fit to Print: Open Access and the News Media. Quantitative Science Studies 2021; doi: https://doi.org/10.1162/qss_a_00139
El objetivo del movimiento de acceso abierto OA es ayudar a todos a acceder a la investigación académica, no solo a aquellos que pueden permitírselo. Sin embargo, la mayoría de los estudios que analizan si el movimiento OA ha cumplido con este objetivo se han centrado en si otros académicos están haciendo uso de la investigación de OA. Pocos han considerado cómo el público en general, incluidos los medios de comunicación, utiliza la investigación de OA.
Este estudio buscó responder si los medios de comunicación mencionan los artículos de OA más o menos que los artículos de pago mediante el análisis de los artículos publicados desde 2010 hasta 2018 en revistas de los cuatro cuartiles del factor de impacto de la revista utilizando datos obtenidos a través de Altmetric.com y la Web of Science.
Los artículos de OA de la ruta oro, verde e híbrido tuvieron una correlación positiva con el número de menciones de noticias recibidas. Las menciones de noticias para artículos de OA vieron una caída en 2018
De Oliveira TMoreira, Barata G, Uribe-Tirado A. Ten Years of Altmetrics: A Review of Latin America Contributions. Journal of Scientometric Research. 2021;10(1s):s102-s114. doi:10.5530/jscires.10.1s.26.BibTex
Los estudios Altmetrics surgieron hace diez años en el contexto del Norte Global y al cabo de unos años se extendieron por todo el mundo. El trabajo investiga quiénes son los investigadores latinoamericanos, qué temas se cubren y la relación entre el Sur y el Norte en los estudios Altmetrics. Este estudio combina el mapeo global, el análisis de redes sociales y el análisis de contenido, utilizando Dimensions, VOSviewer e Iramuteq para medir la coautoría, el acoplamiento bibliográfico y el análisis de cocitación y el análisis de contenido para identificar los temas y tipos de producción en los resultados de América Latina en métricas alternativas. Los resultados (n=172) muestran el protagonismo de Brasil, Colombia y México en la investigación altmétrica en América Latina.
Existe una coautoría nacional interna, con una gran influencia del Norte como referencia para los estudios altmétricos latinoamericanos, pero con un reconocimiento gradual de México y Brasil como principales exponentes en la región. Se identifican los principales temas relacionados con las cuestiones locales y los impactos regionales y las discusiones sobre el papel social de la universidad. Concluimos que el panorama de la producción científica en altmetría se está volviendo multipolar. América Latina surgió como un centro alternativo de estudios altmétricos, pero aún depende de las referencias y la colaboración con los países centrales. También se observa una discusión emergente sobre las críticas a la baja cobertura de los datos regionales y un desarrollo innovador de metodologías y tecnologías como alternativas a las plataformas comerciales que proporcionan datos para evaluar el impacto social de las universidades. La comunidad altmétrica de América Latina debería invertir en recursos para fortalecer la colaboración regional.
Figura 2. Las 12 fuentes de datos más utilizadas por los encuestados
Nicolas Robinson-Garcia. Results from the 2020 Responsible Metrics State of the Art Survey, april 2021
Texto completo
Resultados de la encuesta sobre el estado de las métricas responsables de 2020. Siendo 2020 un año difícil para todos, observamos un descenso en la participación con respecto a los resultados de 2019, pasando de 218 encuestados a un total de 139. Aun así, la diversidad de países de los que proceden los encuestados, ya observada el año pasado, sigue siendo evidente (Figura 1). En este sentido, es destacable la diligencia e importancia que muchos profesionales dan a la encuesta y el tiempo que dedican a ello. De hecho, nos alegramos de ver comentarios en las redes sociales y de recibir correos electrónicos que reflejan los debates internos que se producen entre los colegas mientras preparan sus respuestas.
La encuesta de este año incluye algunos cambios notables con respecto a otras ediciones. Junto con las preguntas periódicas relacionadas con la integración de prácticas de métrica de investigación responsable en su institución, ampliamos el número de preguntas en dos direcciones. En primer lugar, queríamos conocer la organización y el departamento del encuestado para contextualizar mejor sus respuestas. En segundo lugar, formulamos preguntas específicas sobre las herramientas que utilizaban al producir métricas de investigación para sus instituciones.
El 76,3% de los encuestados trabajan en universidades, seguidos por el 14,4% que trabajan en institutos públicos de investigación. El resto se encuentra disperso en otras organizaciones, como empresas privadas (N=4), editoriales (N=3) u hospitales (N=1), entre otras. De los que trabajan en el ámbito académico, casi la mitad (45,3%) lo hace en la Biblioteca Universitaria, mientras que el 34,9% lo hace en la Oficina de Investigación. El número de personas que trabajan en la evaluación de la investigación varía mucho de unas instituciones a otras, con una mediana de 4 personas en las bibliotecas a 10 en las Oficinas de Planificación o 5 en las Oficinas de Investigación y con grandes diferencias dentro de los tipos de departamentos.
En cuanto a las fuentes y herramientas que utilizan en su trabajo diario, incluimos las suites bibliométricas y las bases de datos más conocidas, así como una opción de «otros» en la que los encuestados podían añadir otras herramientas que utilizaban para producir métricas de investigación. Web of Science y Scopus son las fuentes de datos más comunes, seguidas de los repositorios institucionales, Google Scholar y los sistemas institucionales CRIS. Sin embargo, es raro que se utilice una sola fuente de datos, y los encuestados indican que utilizan una media de más de tres fuentes de datos diferentes.
La variedad de herramientas y niveles de sofisticación muestra también una gran diversidad. Las respuestas van desde la indicación de la falta de uso de herramientas bibliométricas (N=11), pasando por el uso de herramientas comerciales (Scival, InCites), hasta la combinación de herramientas ad hoc con lenguajes de programación, herramientas de visualización y herramientas bibliométricas como Bibibliometrix o BibExcel.
Figura 4. Las 12 herramientas más utilizadas por los encuestados
Una vez más, las respuestas reflejan una gran versatilidad, ya que las herramientas rara vez se utilizan de forma aislada, sino que siempre se combinan para proporcionar análisis bibliométricos más precisos. Esto refleja el nivel de profesionalidad presente en el campo.
Firmantes del DORA
En comparación con los resultados del año pasado, el porcentaje de encuestados que han firmado la Declaración de San Francisco DORA es mayor que el de los que no lo han hecho. Esto puede ser el resultado de una mayor atención al DORA por parte del Plan S, y de un requisito del financiador de la COAlición S, el Wellcome Trust, de que los beneficiarios demuestren un compromiso público con los principios del DORA. Entre otros comentarios, encontramos un encuestado que afirmó que su institución había considerado esta decisión como algo que los individuos, departamentos y facultades eran libres de hacer, pero que no harían en conjunto. También encontramos que el DORA todavía no ha llegado a todo el mundo, y 11 encuestados indicaron que nunca habían oído hablar de él. 10 encuestados indicaron que su institución había decidido no firmarlo, mientras que 4 afirmaron respaldarlo pero habían decidido no firmarlo. En este sentido, está por ver si acciones públicas como la emprendida recientemente contra la Universidad de Liverpool por los autores del Manifiesto de Leiden y los principios de Hong Kong, que es firmante del DORA pero no reflejó prácticas de métrica de investigación responsables, podrían tener una consecuencia en estas decisiones.
Desarrollo de principios institucionales
Casi el 70% de los encuestados ha considerado al menos el desarrollo de un conjunto de principios sobre el uso responsable de las métricas de investigación, un aumento en comparación con el 52% informado en la encuesta de 2019. De ellos, solo un encuestado indicó que su institución había decidido no hacerlo. Los encuestados dieron algunas nociones sobre cómo se están diseñando estos principios. En algunos casos, utilizarían o adaptarían los principios establecidos en el Manifiesto de Leiden a su contexto institucional; en otros casos, participarían activamente en el desarrollo de los principios nacionales. En un caso, un encuestado indicó que estaba trabajando con el INORMS para aplicar SCOPE a su marco de publicación responsable.
Las instituciones en las que los indicadores basados en la publicación pueden no aplicarse, no están exentas del uso de prácticas de métrica responsable. Una institución de Arte y Diseño informó de que «no utiliza la bibliometría, pero está considerando otras métricas que se relacionan más con el rendimiento de la investigación departamental que con el rendimiento individual». Otros indicaron que, a pesar de no tener un conjunto oficial de principios, «consideran activamente la ética de lo que hacemos».
Conclusiones
Siguiendo la tendencia del año pasado, observamos cómo parece que hemos superado la fase de reconocimiento y concienciación de la necesidad de un uso responsable de las métricas. Las respuestas son cada vez más críticas con la forma en que se implementa dicho uso e incluso las opiniones negativas están motivadas y bien argumentadas, y no se limitan a reconocer la ignorancia. La adopción del DORA sigue aumentando, pero los profesionales indican una respuesta ambivalente de las comunidades académicas a estas políticas. Muchas de las malas prácticas que rodean el uso de las métricas parecen estar bastante arraigadas en la cultura académica.
En cuanto a la introducción de nuevas preguntas, observamos que el desarrollo de las métricas requiere una serie de herramientas cada vez más complejas, tanto de propósito general como las diseñadas específicamente para producir métricas de investigación. Es interesante observar que se ha generalizado el uso de fuentes de datos, incluidas muchas de las nuevas bases de datos que han surgido en los últimos años (por ejemplo, Lens, Dimensions), lo que demuestra que los días en que la comunidad profesional estaba vinculadas únicamente a la Web of Science han quedado atrás.
En opinión del autor, el mensaje más relevante es el hecho de que estamos pasando a un debate más complejo sobre cómo se aplican en la práctica las métricas responsables (o cualquier otro tipo de enfoque de seguimiento o evaluación) y qué entendemos realmente por un uso responsable. En este sentido, temas como la personalización y la contextualización de los informes, la difusión y la visibilidad, así como la alfabetización en materia de métricas, parecen adquirir una gran importancia, haciendo que la conversación vaya más allá de la producción real de métricas y se centre en cómo se comunican, a quién y con qué propósito.
El número de artículos académicos que se publican anualmente no deja de crecer, al igual que el número de indicadores con los que se mide el impacto de las publicaciones. Se sabe poco sobre cómo la creciente variedad de indicadores disponibles afecta a los procesos de selección de la literatura que leen los investigadores.
Se realizaron experimentos de clasificación integrados en una encuesta en línea con 247 investigadores participantes, la mayoría de ellos de ciencias sociales. Los participantes completaron una serie de tareas en las que se les pedía que clasificaran publicaciones ficticias en función de su relevancia esperada, basándose en sus puntuaciones respecto a seis métricas prototípicas. Mediante la aplicación de la regresión logística, el análisis de conglomerados y la codificación manual de las respuestas a la encuesta, se obtuvieron datos detallados sobre el modo en que las métricas destacadas del impacto de la investigación influyeron en los participantes a la hora de decidir qué artículos científicos leer.
Las respuestas a la encuesta revelaron una combinación de características cualitativas y cuantitativas que los investigadores consultan a la hora de seleccionar la bibliografía, mientras que el análisis de regresión mostró que, entre las métricas cuantitativas, el recuento de citas tiende a ser el que más preocupa, seguido de los factores de impacto de las revistas.
Los resultados sugieren una opinión comparativamente favorable de muchos investigadores sobre la bibliometría y un escepticismo generalizado hacia la altmetría. Los resultados subrayan la importancia de dotar a los investigadores de conocimientos sólidos sobre las limitaciones de las métricas específicas, ya que parecen desempeñar un papel importante en la evaluación diaria de la relevancia por parte de los investigadores.
Universo Abierto 