Archivo de la etiqueta: Bibliometría

¿Por qué fluctúan las métricas? Directrices para hablar con los gestotres

 

screen-shot-2020-06-20-at-20.42.48

 

Why Do Measures Fluctuate? Metrics Report – Guidelines for Talking to Management. LIBER, 2020

Texto completo

 

Este informe es para quienes desde las bibliotecas están tratando de abordar los desafíos de las métricas en relación con la investigación. Asume una familiaridad con las métricas y sus fluctuaciones, y su objetivo es facilitar las discusiones con la administración.

El informe destaca las dificultades comunes cuando se discuten las métricas, así como los nuevos enfoques: DORA, el Manifiesto de Leiden, la marea métrica, que están siendo adoptados por ciertas instituciones. Con esta base establecida, se presentan pautas para participar y aumentar la comprensión entre la gerencia cuando se discuten indicadores de investigación responsables, junto con recursos adicionales.

Sobre la base de las experiencias del grupo de trabajo y las instituciones al abordar la cuestión de las métricas responsables con la administración, las recomendaciones en este informe están destinadas a ayudar a los bibliotecarios a explicar a la administración por qué fluctúan las medidas, un tema que los asistentes al taller en las conferencias LIBER destacaron como importante para abordar .

Bibliominería, datos y el proceso de toma de decisiones

 

2019-10-31-news-image-nicolas-kourtellis700x400

Fernandez Morales, Mynor and Bonilla Carrión, Roger Bibliominería, datos y el proceso de toma de decisiones. Revista Interamericana de Bibliotecología, 2020, vol. 43, n. 2, pp. 1-12

Texto completo

 

Este artículo trata sobre bibliominería de datos, que es minería de datos aplicada a grandes volúmenes de datos disponibles en las bibliotecas, como resultado de la ope-ración de los principales sistemas transaccionales, tales como préstamos, referencia, adquisiciones, entre otros. Así, la bibliominería de datos es el proceso que tiene como propósito descubrir, extraer y almacenar información relevante de grandes bases de datos existentes en las bibliotecas, mediante la utilización de programas de búsqueda e identificación de patrones y relaciones globales, tendencias, desviaciones y otros indicadores que pueden extraerse mediante distintas técnicas de minería de datos. Es importante señalar que para el análisis bibliométrico se requiere de la participación de equipos interdisciplinarios formados por ingenieros de sistemas, estadísticos y bibliotecólogos.

Scite: más que un índice de citas

 

scite-classification-screenshot-edited-2-e1591642365317

 

Josh Nicholson. scite: more than just a citation index. LIS bibliometrics, 2020

Ver completo

Scite

 

Josh Nicholson escribe sobre cómo usar Scite, una plataforma para descubrir y evaluar artículos científicos a través de Smart Citations. Smart Citations permite a los usuarios ver cómo se ha citado un artículo científico proporcionando el contexto de la cita y una clasificación que describe si proporciona pruebas que apoyen o contradigan la afirmación citada.

 

 

En diciembre de 2018, publiqué un artículo de opinión titulado “Resolviendo el problema de las noticias falsas en la ciencia”. No me refería a COVID-19, obviamente, sino a la ciencia en general y a cómo podemos saber qué es una investigación fiable. Esa pregunta es especialmente pronunciada hoy en día con una avalancha de investigaciones sobre COVID-19 que se están publicando, la mayoría de ellas sin revisión por pares, y la mayoría de ellas ampliándose directamente al público.

Este problema ha existido durante años, pero siempre se ha sentido como abstracto o como un problema académico. ¿No se puede reproducir un hallazgo en la investigación del cáncer? Eso es malo, pero no me afecta directamente. Ahora, cualquier informe científico sobre COVID-19 puede influir en lo que hace el mundo entero. Cada día tenemos conversaciones con nuestras familias y amigos sobre nuevos hallazgos científicos, discutiendo los méritos y defectos de los estudios como si fuéramos profesores titulares discutiendo la propuesta de un estudiante de doctorado. De la noche a la mañana todos nos hemos convertido en científicos de sillón.

Es sorprendente que la ciencia esté ahora en la vanguardia de la mente de todos, pero también puede tener consecuencias peligrosas. El Presidente de los Estados Unidos dijo recientemente, “HIDROXICLOROQUINA Y AZITROMICINA, en conjunto, tienen una oportunidad real de ser uno de los mayores cambios en la historia de la medicina”. Poco después, una pareja ingirió limpiador de peceras en un intento de evitar el COVID-19, porque contenía una forma de cloroquina; uno de ellos murió y el otro fue hospitalizado.

Ivan Oransky y Adam Marcus, fundadores de Retraction Watch, un sitio web de vigilancia del fraude científico, han escrito que “gran parte de las investigaciones que surjan en las próximas semanas resultarán ser poco fiables, incluso erróneas”. Estaremos bien si recordamos eso”.

¿Pero lo recordaremos? ¿Seremos capaces de identificar lo que resultó correcto y lo que resultó incorrecto? ¿Podemos hacer eso ahora?

Esto es algo con lo que trato diariamente como co-fundador y CEO de scite. scite probablemente se describe mejor a los no científicos y no bibliometristas como Rotten Tomatoes pero para artículos científicos. Usamos la inteligencia artificial para que cualquiera pueda ver si la afirmación hecha en un artículo científico ha sido apoyada o contradicha por una investigación posterior. Para un bibliómetra, somos un índice de citas, y aunque compartimos muchas similitudes con otros índices de citas, como Web of Science, Scopus o Dimensions, hacemos las cosas de forma bastante diferente. Específicamente, mostramos el contexto de la citación o “citación” que rodea a las citaciones recibidas por un resultado de investigación individual; utilizamos el aprendizaje profundo para clasificar las declaraciones de citación por la función retórica. Por ejemplo, ¿la citación del artículo original apoya o contradice la conclusión o recomendación del artículo original? En otras palabras, ¿la investigación anterior es confirmada o refutada por la nueva investigación? Nuestro objetivo es ayudar a avanzar en los indicadores de citación más allá de los datos y métricas cuantitativos, para proporcionar más datos cualitativos y contextuales a la comunidad de bibliométricos, y ofrecer específicamente una orientación útil a los no científicos.

scite no es una solución perfecta y no hay una solución perfecta, pero la innovación de nuevas herramientas, como scite, PubPeer y Get The Research, ofrecen a los científicos y a los no científicos la posibilidad de consumir, digerir y evaluar los resultados de la investigación por su cuenta; sostenemos que puede ser sumamente útil para determinar la veracidad de los artículos de investigación, incluidos los artículos recientes sobre COVID-19. Por ejemplo, este artículo, publicado el 22 de febrero concluye: “Tanto los niveles de IL-6 como de IL-10 mostraron aumentos sostenidos en el grupo grave en comparación con el grupo leve”, lo que sugiere que dos moléculas de señalización específicas son más prevalentes en la enfermedad COVID-19 grave que en la leve. ¿Podemos confiar en ese hallazgo? ¿Lo han probado otros? Mirándolo no se puede saber. Con scite, puedes ver que sólo cinco días después, aparece otra preimpresión con pruebas de apoyo para esta afirmación. Los autores afirman: “De acuerdo con el estudio de Wan S [7] y Liu J [8], este estudio también encontró que los niveles de IL-6 e IL-10 estaban asociados con la severidad de la neumonía COVID-19”.

Hasta la fecha, hemos analizado más de 16 millones de artículos científicos, 60k relacionados con el coronavirus, produciendo más de 600 millones de declaraciones de citas clasificadas como las frases citadas anteriormente, y actualmente añadiendo ~10M por día. Sin embargo, para identificar realmente qué investigación es confiable o no, necesitamos acceder a cada artículo científico que se haya escrito. Esto ha sido un reto dado que la mayoría de las investigaciones están encerradas detrás de los muros de pago. Afortunadamente, los principales editores académicos como Wiley, The British Medical Journal, Karger, Rockefeller University Press, y otros han comenzado a compartir estos con scite. Algunos incluso han empezado a mostrar información de scite directamente en sus artículos.

Estamos entusiasmados con las posibilidades que ofrece la bibliometría para ayudar a los científicos y a los no científicos a comprender mejor la ciencia y nos gustaría invitar a los investigadores a utilizar nuestros datos (de forma gratuita) para realizar sus propios estudios.

 

 La cascada de citas y la evolución de la relevancia del tema

 

an-example-of-cascade-and-ph-values-in-a-citation-network

 

Min, CChen, QYan, EBu, YSun, J. Citation cascade and the evolution of topic relevanceJ Assoc Inf Sci Technol20201– 18https://doi.org/10.1002/asi.24370

Preprint ArXiv

 

El análisis de citas, como instrumento para los estudios cuantitativos de la ciencia, ha hecho hincapié durante mucho tiempo en las relaciones directas de citas, dejando de lado las citas indirectas o de alto orden. Sin embargo, una serie de estudios tempranos y recientes demuestran la existencia de un impacto indirecto y continuo de las citaciones a lo largo de generaciones. Añadiendo a la literatura sobre las citas de alto orden, Se introduce el concepto de cascada de citas: la constitución de una serie de eventos de citas posteriores iniciados por una determinada publicación. Se investigó esta estructura de citas analizando más de 450.000 artículos y más de 6 millones de relaciones de citas. Se muestra que el impacto de las citas existe no sólo en las tres generaciones documentadas en la investigación anterior, sino también en muchas generaciones posteriores. Aún así, estos resultados experimentales indican que de dos a cuatro generaciones son generalmente adecuadas para rastrear el impacto científico de un trabajo. También se analizan las propiedades estructurales específicas, como la profundidad, anchura, viralidad estructural y tamaño, que explican las diferencias entre las cascadas de citaciones individuales. Por último, se encontraron pruebas de que es más importante para una obra científica inspirar obras de dominio transitorio (o de dominio indirectamente relacionado) que recibir sólo reconocimiento intradominio para lograr un alto impacto. Nuestros métodos y hallazgos pueden servir como una nueva herramienta para la evaluación científica y la modelización de la historia científica.

 

El índice de citas abiertas COCI supera los 700 millones de citas

opencitations-logo-50-with-words-greybg

 

Crossref Open Citation Index (COCI)

Noticia

 

COCI, el Índice de OpenCitations de Crossref, citas abiertas de DOI a DOI, se amplió el 12 de mayo de 2020 con más de 47 millones de citas adicionales, y ha alcanzado un número total de más de 702 millones de DOI-to- DOI cita enlaces entre más de 58 millones de entidades bibliográficas.

Las citas agregadas en esta quinta versión de COCI provienen del volcado Crossref más reciente descargado el 22 de abril de 2020, que incluye las referencias de los artículos depositados en Crossref entre el 4 de octubre de 2019 y el 4 de abril de 2020. Dichas actualizaciones de COCI ahora ocurrirán regularmente a intervalos bimensuales.

Como consecuencia, COCI ahora contiene 702.772.530 citas, y también incluye publicaciones sobre la pandemia de COVID-19. El índice utilizará esta nueva versión de COCI para actualizar el  conjunto de datos de citas abiertas de Coronavirus , la segunda versión incluirá detalles sobre estas referencias y publicaciones adicionales.

Comparando la cobertura de Google Scholar, Microsoft Academic, Dimensions, COCI de CrossRef, Web of Science y Scopus

 

1b3b556695916ac503a49761571d4a3c

 

Alberto Martín-Martín, Mike Thelwall, Enrique Orduna-Malea, Emilio Delgado López-Cózar. Google Scholar, Microsoft Academic, Scopus, Dimensions, Web of Science, and OpenCitations’ COCI: a multidisciplinary comparison of coverage via citations. ArXiv, 2020. https://arxiv.org/abs/2004.14329

Descargar artículo

 

El estudio que compara la cobertura en citas de Google Scholar, Microsoft Academic, Dimensions, COCI de CrossRef, Web of Science y Scopus. Se analiza no solo la extensión sino el grado de solapamiento entre ellas, con lo cual os puede orientar a los bibliotecarios y, en general, a los científicos sobre qué fuente es las más adecuada para encontrar información científica exhaustiva y relevante. Es la primera vez que se comparan simultáneamente estas seis fuentes de datos, entre ellas por primera vez Microsoft Academic, Dimensions y Crossref y se hace a gran escala (3.073.353 citas)

 Se ha diseñado una aplicación que os permite comparar entre sí las bases de datos que deseéis y, sobre todo, como rinde cada una de ellas en 252 categorías temáticas. De esta manera podéis conocer con precisión las fortalezas y debilidades de cada base de datos en disciplinas y especialidades de todos los ámbitos de conocimiento. La aplicación se encuentra en: https://cutt.ly/Jyksa9M

 

BIP! Buscador de preprints sobre COVID-19 con medidas de impacto

 

2020-04-12_11-39-10

BIP! Finder

BIP! Buscador para COVID-19

 

Esta versión de BIP! Finder tiene como objetivo facilitar la exploración de la literatura relacionada con COVID-19 al permitir la clasificación de artículos basados ​​en varias métricas de impacto .

Proporcionó medidas de impacto:

  • La popularidad: Medida basada en citas que refleja el impacto actual.
  • Influencia: Medida basada en citas que refleja el impacto total.
  • Atención al lector: El número actual de lectores de Mendeley.
  • Atención de los medios de comunicación social: El número de tweets relacionados con este artículo.

 

Desde el comienzo de la pandemia de coronavirus 2019-20, se ha publicado una gran cantidad de artículos relevantes o están disponibles en servidores de preprints. Estos artículos, junto con la literatura relacionada anterior, componen una valiosa base de conocimiento que afecta los estudios de investigación contemporáneos o, incluso, las acciones gubernamentales para limitar la propagación de la enfermedad y las decisiones de tratamiento tomadas por los médicos. Sin embargo, el número de tales artículos está aumentando a un ritmo intenso, lo que dificulta la exploración de la literatura relevante y la identificación de conocimientos útiles. BIP4COVID19, es un conjunto de datos abiertos compilados para facilitar la exploración de literatura relacionada con el coronavirus, al proporcionar varios indicadores de impacto científico para los artículos relevantes.

La estabilidad de las métricas de Twitter: un estudio sobre las menciones de publicaciones científicas en Twitter no disponibles

 

blogposts-1

 

Fang, Zhichao ; Dudek, Jonathan ; Costas, Rodrigo. The Stability of Twitter Metrics: A Study on Unavailable Twitter Mentions of Scientific Publications. Journal of the Association of Information Science and Technology (JASIST). https://doi.org/10.1002/asi.24344

Texto completo

 

Este estudio investigó la estabilidad de los recuentos de publicaciones científicas en Twitter a lo largo del tiempo. Para esto, se realizó un análisis de los estados de disponibilidad de más de 2.6 millones de menciones en Twitter recibidas por las 1.154 publicaciones científicas más tuiteadas registradas por  Altmetric.com  hasta octubre de 2017.

Los resultados muestran que las menciones en Twitter para estas publicaciones altamente tuiteadas, sobre el 14.3% no estaba disponible para abril de 2019. La eliminación de los tweets por parte de los usuarios es la razón principal de la falta de disponibilidad, seguida de la suspensión y protección de las cuentas de usuario de Twitter.

Este estudio propone dos medidas para describir las estructuras de difusión de publicaciones en Twitter:  grado de originalidad  (es decir, la proporción de tweets originales recibidos por un artículo) y  grado de concentración (es decir, el grado en que los retweets se concentran en un solo tweet original). 

Se observó que las métricas de Twitter de publicaciones con un Grado de originalidad relativamente bajo y un Grado de concentración relativamente alto corren un mayor riesgo de volverse inestables debido a la posible desaparición de sus menciones en Twitter. 

A la luz de estos resultados, se destaca la importancia de prestar atención al riesgo potencial de conteos inestables de Twitter, y la importancia de identificar las diferentes estructuras de difusión de Twitter cuando se estudian las métricas de Twitter de publicaciones científicas.

 

Dimensiones & VOSViewer Bibliometría y redes de citaciones

 

vosviewer-clustering-visualization-ppwm

Williams, Brett. Dimensions & VOSViewer Bibliometrics in the Reference Interview. Code4Lib, Issue 47, 2020-02-17

Texto completo

 

El software VOSviewer proporciona un fácil acceso a la cartografía bibliométrica utilizando datos de Dimensions, Scopus y Web of Science. Los datos de citaciones debidamente formateados y estructurados y la facilidad con que pueden exportarse abren nuevas vías de utilización durante las búsquedas de citaciones y las entrevistas de referencia. En este documento se detallan técnicas específicas para utilizar búsquedas avanzadas en Dimensiones, exportar los datos de las citas y obtener información de los mapas producidos en VOS Viewer. Estas técnicas de búsqueda y prácticas de exportación de datos son lo suficientemente rápidas y precisas como para incorporarse a las entrevistas de referencia para estudiantes de postgrado, profesores e investigadores post-PhD. Los resultados de búsqueda que se derivan de ellas son precisos y permiten una visión más completa de las redes de citaciones incorporadas en las complejas búsquedas booleanas ordinarias.

Jugando las métricas Mala conducta y manipulación en la investigación académica

 

3fcollid3dbooks_covers_026isbn3d978026253793326type3d

 

Mario Biagioli and Alexandra Lippman. Gaming the Metrics Misconduct and Manipulation in Academic Research. MIT, 2020

Texto completo

 

Cómo la creciente dependencia de las métricas para evaluar las publicaciones académicas ha producido nuevas formas de fraude académico y mala conducta.

El imperativo académico tradicional de “publicar o perecer” está cada vez más unido a la nueva necesidad de “impactar o perecer”: el requisito de que una publicación tenga “impacto”, medido por una variedad de métricas, incluidas citas, vistas y descargas.

Gaming the Metrics examina cómo la creciente dependencia de las métricas para evaluar publicaciones académicas ha producido formas radicalmente nuevas de fraude académico y mala conducta. Los contribuyentes muestran que la “cultura de auditoría” basada en métricas ha cambiado el entorno de la investigación, fomentando el juego y la manipulación de indicadores cuantitativos, lo que condujo a la invención de formas novedosas de mala conducta, como los anillos de citas y las revisiones de pares manipuladas. Los capítulos, escritos por académicos y oteas partes interesadas en la publicación académica, proporcionan un mapa de fraude académico y mala conducta en la actualidad.