Winter, Joost de. «Can ChatGPT Be Used to Predict Citation Counts, Readership, and Social Media Interaction? An Exploration among 2222 Scientific Abstracts». Scientometrics, 15 de febrero de 2024. https://doi.org/10.1007/s11192-024-04939-y.
Este estudio explora el potencial de ChatGPT, un modelo de lenguaje avanzado, en la cientometría al evaluar su capacidad para predecir el número de citas, lectores en Mendeley y engagement en redes sociales. En este estudio, se analizaron 2222 resúmenes de artículos de PLOS ONE publicados durante los primeros meses de 2022 utilizando ChatGPT-4, el cual empleó un conjunto de 60 criterios para evaluar cada resumen. Mediante un análisis de componentes principales, se identificaron tres componentes: Calidad y Confiabilidad, Accesibilidad y Comprensibilidad, y Novedad y Compromiso. La Accesibilidad y Comprensibilidad de los resúmenes se correlacionaron con una mayor lectura en Mendeley, mientras que la Novedad y Compromiso y la Accesibilidad y Comprensibilidad estuvieron vinculadas con el número de citas (Dimensiones, Scopus, Google Scholar) y la atención en redes sociales. La Calidad y Confiabilidad mostró una correlación mínima con los resultados de citas y altmétricos. Finalmente, se encontró que las correlaciones predictivas de las evaluaciones basadas en ChatGPT superaron a las métricas de legibilidad tradicionales. Los hallazgos resaltan el potencial de los modelos de lenguaje avanzados en la cientometría y posiblemente abren el camino para la revisión por pares asistida por inteligencia artificial.
Ibrahim, Hazem, Fengyuan Liu, Yasir Zaki, y Talal Rahwan. «Google Scholar is manipulatable». arXiv, 7 de febrero de 2024. https://doi.org/10.48550/arXiv.2402.04607.
El documento proporciona evidencia de fraude en la compra de citas en Google Scholar. A través de un análisis de perfiles en Google Scholar y encuestas a profesores de universidades de alto prestigio, se descubre la amplia utilización de esta plataforma en la evaluación de científicos. Los investigadores también revelan la existencia de un servicio para aumentar citas y demuestran que es posible comprar citas en grandes cantidades. Este hallazgo subraya la importancia de no depender exclusivamente de los recuentos de citas en la evaluación académica.
En este estudio, se compiló un conjunto de datos de aproximadamente 1.6 millones de perfiles en Google Scholar para examinar casos de fraude de citas en la plataforma. Se encuestó a profesores de universidades altamente clasificadas, confirmando que Google Scholar se utiliza ampliamente en la evaluación de los científicos. Intrigados por un servicio de aumento de citas descubierto durante la investigación, los investigadores contactaron con el servicio encubiertos como autores ficticios y lograron comprar 50 citas. Estos hallazgos proporcionan evidencia concluyente de que las citas pueden ser compradas en grandes cantidades, resaltando la necesidad de ir más allá de los recuentos de citas.
Hanson, Mark A., Pablo Gómez Barreiro, Paolo Crosetto, y Dan Brockington. 2023. «The strain on scientific publishing». arXiv. https://doi.org/10.48550/arXiv.2309.15884.
La presión sobre la publicación científica, escrita por Mark A. Hanson, Pablo Gómez Barreiro, Paolo Crosetto y Dan Brockington, aborda el creciente desafío que enfrentan los científicos debido al volumen creciente de artículos. Se destaca que el total de artículos indexados en Scopus y Web of Science ha experimentado un crecimiento exponencial en los últimos años, con un aumento del 47% en 2022 en comparación con 2016. Este aumento ha superado el crecimiento limitado, o incluso inexistente, en el número de científicos en ejercicio.
El gráfico que compara el aumento en el número de doctorados con la proliferación de publicaciones muestra claramente una tensión en la publicación científica. La carga de trabajo asociada con la publicación, que incluye la redacción, revisión y edición de artículos, se ha incrementado drásticamente, y los autores definen este problema como la «presión sobre la publicación científica». Para analizar este fenómeno, se presentan cinco métricas basadas en datos que revelan el crecimiento de los editores, los tiempos de procesamiento y los comportamientos de citación. Estos datos se obtuvieron mediante scrapes web, solicitudes de datos a editores y material disponible de forma gratuita a través de sitios web de editores.
Los hallazgos del estudio se basan en millones de documentos producidos por destacados editores académicos. Se destaca que ciertos grupos específicos han experimentado un crecimiento desproporcionado en la cantidad de artículos publicados por año, contribuyendo a la presión observada. Algunos editores facilitaron este aumento al adoptar la estrategia de organizar números especiales que publican artículos con tiempos de respuesta reducidos.
Dado el contexto en el que los investigadores enfrentan presiones para publicar y competir por financiamiento, se sugiere que estas ofertas para publicar más artículos podrían haber exacerbado la presión sobre la publicación científica. Además, se observó una inflación generalizada año tras año de los factores de impacto de las revistas, lo que plantea el riesgo de confundir las señales de calidad. En última instancia, los autores argumentan que un crecimiento exponencial de esta magnitud no puede ser sostenible a largo plazo y proponen métricas que podrían contribuir a encontrar soluciones prácticas para abordar este desafío en la publicación científica.
Se plantea la pregunta de si la causa de este problema debe atribuirse a los propios investigadores o si los editores y sus modelos comerciales están impulsando el aumento en la producción de artículos. Un nuevo preprint examina la situación, destacando cinco tendencias a partir del análisis de millones de documentos en el archivo Scimago y web scraping:
El crecimiento de artículos proviene de diversos editores, ya sea aquellos que venden revistas mediante suscripción o aquellos que aplican cargos por procesamiento de artículos en el modelo de acceso abierto dorado.
Algunos editores han reducido significativamente sus tiempos de respuesta, homogeneizándolos, a pesar de las diferencias en las necesidades de los documentos.
La disminución de las tasas de rechazo puede generar más artículos, pero no hay tendencias claras en las tasas de rechazo en todo el sector.
Las «Special Issues» son impulsoras del crecimiento en algunos editores de acceso abierto dorado, asociándose con tasas de rechazo más bajas y tiempos de respuesta más homogéneos.
Se observa una inflación generalizada de los factores de impacto, lo que plantea interrogantes sobre la calidad de las publicaciones.
La proliferación de «autores extremadamente productivos» no indica una época dorada de la ciencia, sino más bien una inclinación hacia la sobrevaloración del volumen de publicaciones.
European Commission, Directorate-General for Research and Innovation, Arranz, D., Bianchini, S., Di Girolamo, V., et al.,Trends in the use of AI in science : a bibliometric analysis, Publications Office of the European Union, 2023, https://data.europa.eu/doi/10.2777/418191
Este artículo ofrece nuevas perspectivas sobre el papel de la Inteligencia Artificial en la investigación científica en diversos campos de la ciencia. Es evidente que la IA aplicada a la ciencia y la investigación ha crecido a un ritmo considerable en los últimos años, con China a la cabeza, seguida de la UE y Estados Unidos. De hecho, los resultados de la UE son muy heterogéneos entre sus Estados miembros. Si las tendencias actuales persisten, la probabilidad de que los futuros descubrimientos científicos sean impulsados principalmente por aplicaciones y herramientas de IA aumentará significativamente. El fracaso a la hora de seguir el ritmo del desarrollo y la adopción de la IA en la ciencia plantea importantes retos para la UE, incluida la necesidad de abordar las preocupaciones sobre la autonomía estratégica, las tendencias en el trabajo científico y el mercado laboral y, en términos más generales, la productividad y el crecimiento.
Matos Uribe, Fausto Francisco and Contreras Contreras, Fortunato and Olaya Guerrero, Julio César . Introducción a la Bibliometría Práctica.[Book], Asociación de Bibliotecólogos del Perú, 2023.
El presente libro, es producto de las experiencias en la enseñanza del curso de Bibliometria, que tiene como prerrequisito los cursos de matemática básica, estadística descriptiva y estadística inferencial, esperando que este material sirva de ayuda al estudiante y profesional de la carrera de bibliotecología y ciencia de la información, el cual tiene por objetivo realizar un análisis bibliométrico de la literatura científica. El libro se divide en 4 capítulos, acompañado de teoría y práctica para su mejor compresión.
Los términos bibliometría y cienciometría fueron introducidos casi simultáneamente por Pritchard y por Nalimov y Mulchenko en 1969. Mientras que Pritchard explicó el término bibliometría como “la aplicación de métodos matemáticos y estadísticos a libros y otros medios de comunicación”, Nalimov y Mulchenko definieron la cienciometría como “la aplicación de aquellos métodos cuantitativos que se ocupan del análisis de la ciencia vista como un proceso de información”. De acuerdo con estas interpretaciones, la especialidad de la cienciometría se restringe a la medición de la comunicación científica, mientras que la bibliometría está diseñada para tratar con procesos de información más generales. Los límites de alguna manera difusos entre las dos especialidades casi se desvanecieron durante las últimas tres décadas, y hoy en día ambos términos se usan casi como sinónimos. En cambio, la informetría de campo tomó el lugar de la bibliometría especializada originalmente más amplia. El término informetría fue adoptado por VINITI (Gorkova, 1988) y representa un subcampo más general de las ciencias de la información que se ocupa del análisis estadístico matemático de los procesos de comunicación en la ciencia. En contraste con la definición original de bibliometría, la informetría también se ocupa de los medios electrónicos y, por lo tanto, incluye temas como el análisis estadístico del texto (científico) y los sistemas de hipertexto, las circulaciones de las bibliotecas, las medidas de información en las bibliotecas electrónicas, los modelos para los procesos de producción de información y los análisis cuantitativos. aspectos de la recuperación de información también (Glanzel, 2003: 6)
Ya están aquí los resultados de la séptima encuesta anual sobre el estado de la métrica responsable. Con un poco de retraso sobre nuestro calendario habitual de publicación, a continuación encontrará el resumen de los resultados de la encuesta de 2021 y algunas reflexiones sobre las tendencias desde que la comunidad de Bibliometría LIS inició la encuesta en 2015. Los resultados de las encuestas de años anteriores también están disponibles.
Se recibieron un total de 91 respuestas a la encuesta de 2021. Esta cifra es inferior a la recibida en 2020 (139 respuestas), que a su vez supuso un descenso sustancial con respecto a 2019 (218 respuestas). Aunque desconocemos la razón de este descenso (¿carga de trabajo por la pandemia? ¿Fatiga por las encuestas?), estamos muy agradecidos a los que respondieron y espero que muchos encuentren útil esta información.
La variedad de países representados en las respuestas muestra que el 73% de los encuestados trabajan fuera del Reino Unido.
DORA
La proporción de encuestados que informan que ya han firmado o es probable que firmen DORA sigue aumentando año tras año, del 30% en 2019; 32% en 2020 al 40% en 2021. Los factores contextuales en torno a esto podrían incluir el Wellcome Trust nombrando explícitamente a DORA como una ruta para que las organizaciones de financiación cumplan con su política de acceso abierto en 2018 y el nombramiento explícito de DORA por cOAlition S. Del 17% de los encuestados que informaron estar considerando activamente pero aún no decididos, los comentarios sobre la consideración de «perspectiva(s) disciplinaria(s)» y la firma potencial de DORA a un «‘nivel de unidad’ en lugar de un nivel universitario» indican perspectivas potencialmente diferentes sobre DORA a través de las líneas de la facultad o escuela.
Desarrollo de principios institucionales
Las organizaciones también pueden desarrollar su propio conjunto de principios de métrica responsable, y el porcentaje de encuestados que afirman haber creado o estar desarrollando sus propios principios ha aumentado de forma constante, llegando al 44% de los encuestados en 2021. Las organizaciones también pueden ser signatarias de DORA y desarrollar sus propios principios.
Fuentes de datos y herramientas
Las fuentes de datos que las instituciones encuestadas podían seleccionar para indicar que las utilizan para obtener informes de métricas muestran una popularidad sostenida de Scopus (23%) y Web of Science (20%) con respecto a los informes del año anterior, así como las plataformas institucionales (el CRIS y el Repositorio Institucional) y Google Scholar como fuentes. (Fig.8)
También se preguntó a los encuestados qué herramientas utilizan, lo que muestra la gran variedad de tipos de herramientas y estilos de análisis utilizados en el sector. La popularidad de herramientas como SciVal, Altmetric e InCites muestra la preferencia por herramientas que no necesitan conocimientos de codificación para recuperar datos y pueden crear indicadores con una construcción y un mantenimiento mínimos. SQL, VOSViewer y Bibliometrix/Biblioshiny demuestran la experiencia y los recursos del sector bibliométrico en materia de ciencia de datos y conocimientos de programación para crear soluciones personalizadas. La presencia de Google Big Query y PowerBI es especialmente interesante, ya que ninguno de los dos aparecía en los resultados de la encuesta de 2020, pero su uso cada vez mayor sugiere que, junto con Tableau, las instituciones están cada vez más interesadas en crear sus propios cuadros de mando de inteligencia empresarial y análisis, quizás para el acceso autoservicio a los datos de los usuarios que pueden conectarse a los almacenes de datos institucionales y fusionar múltiple (Fig. 9)
Figura 9 Herramientas utilizadas para construir métricas
Conclusiones
Dos tendencias continuas realmente positivas de 2015 a 2021 son el aumento del porcentaje de encuestados que afirman que su institución ha creado su propia política de métricas responsables (40% de los encuestados en 2021) y que ya se han comprometido o se comprometerán con DORA (40% de los encuestados en 2021). Esto, en mi interpretación, sugiere que hay un impulso en las instituciones para construir de manera significativa sus propios enfoques de evaluación basados en valores, así como para comprometerse con el programa global DORA y buscar su fortaleza. La intersección con otros marcos, como el Manifiesto de Leiden, y la adaptación de las políticas de otras instituciones también sugieren una cultura de flexibilidad e intercambio.
Algunas de las repercusiones citadas por los encuestados de sus políticas de métrica responsable en sus procesos institucionales son bastante notables, y algunas personas describen cambios positivos y tangibles que afectan a los procedimientos de RRHH y de evaluación. Algunos, por supuesto, también admitieron la lentitud de estos cambios y cierto apego persistente al Factor de Impacto en la evaluación. Entre las áreas en las que quizás todavía no se han tomado medidas para informar, o no se está dispuesto a hacerlo, se encuentran los mecanismos de cumplimiento. Esto puede estar relacionado con el 25% de los encuestados que afirmaron que la respuesta académica a las políticas de métricas responsables era «neutral», lo que sugiere que, en realidad, esto es difícil de captar y categorizar.
El número cada vez menor de encuestados que se someten a esta encuesta de 2019 a 2021 es una causa para que los autores contemplen si esto sigue siendo un recurso útil creado a partir del tiempo voluntario del Comité LIS-Bibliometrics. Si usted es lector y opina lo contrario, ¡háganoslo saber! Los comentarios, como siempre, están abiertos, al igual que el listserv y nuestra cuenta de Twitter.
Contribuciones: Encuesta de 2021 elaborada y distribuida por Nicolas Robinson Garcia, basada en encuestas históricas elaboradas por Lizzie Gadd; con análisis y redacción de 2021 por Robyn Price.
La plataforma SCImagoIBER basada en el índice Scopus permite recuperar la evolución del desarrollo de la investigación y la innovación y su impacto social en Iberoamérica, en periodos quinquenales, entre 2012 y 2021, con filtros por país, región institución, sector, área temática, idioma de publicación y publicación en revistas SciELO. En el seminario se presentarán las funcionalidades de la plataforma destinadas a fundamentar estudios de investigación y bibliométricos y procesos de evaluación y toma de decisiones en materia de producción científica, innovación e impacto social.
SCImago LAB lanzó en abril de 2023 el portal SCImago IBER que es la versión online actualizada y ampliada de las sucesivas ediciones de documentos publicados desde 2005 con rankings del desarrollo de las instituciones en investigación, innovación e impacto social, caracterizándolas en función de su contribución científica, económica y social.
Los datos e indicadores de SCImago IBER se sistematizan a partir de los índices y sistemas Scopus, Unpaywall, Patstat, PlumX y Mendeley. Los 16 indicadores SCImago IBER reflejan la actividad científica en 3 áreas diferentes: investigación, innovación e impacto social, que constituyen una visión exhaustiva del rendimiento de la actividad investigadora de una institución, una región o un país. Los indicadores también pueden seleccionarse por áreas temáticas, idioma de publicación y publicación en revistas SciELO.
SCIMAGOIBER es una herramienta especialmente útil para aquellas instituciones con baja capacidad de producción o que están iniciando sus actividades de #investigación, teniendo en cuenta que el umbral de producción considerado.
Scheidsteger, Thomas, y Robin Haunschild. «Which of the metadata with relevance for bibliometrics are the same and which are different when switching from Microsoft Academic Graph to OpenAlex?» Profesional de La Información 32, n.o 2 (4 de marzo de 2023). https://doi.org/10.3145/epi.2023.mar.09.
Con el anuncio de la retirada de Microsoft Academic Graph (MAG), la organización sin ánimo de lucro OurResearch anunció que proporcionaría un recurso similar bajo el nombre de OpenAlex. Así pues, se compararon los metadatos relevantes para los análisis bibliométricos de la última instantánea de MAG con una de las primeras de OpenAlex. Prácticamente todas las obras de MAG se transfirieron a OpenAlex conservando sus datos bibliográficos año de publicación, volumen, primera y última página, DOI, así como el número de referencias que son ingredientes importantes del análisis de citas. Más del 90% de los documentos MAG tienen tipos de documento equivalentes en OpenAlex. De los restantes, especialmente las reclasificaciones a los tipos documentales journal-article y book-chapter de OpenAlex parecen ser correctas y ascienden a más del 7%, por lo que las especificaciones de los tipos documentales han mejorado significativamente de MAG a OpenAlex. Como otro elemento de metadatos de relevancia bibliométrica, examinamos la clasificación temática de los documentos en MAG y en OpenAlex. Encontramos un número significativamente mayor de documentos con una asignación de clasificación temática en OpenAlex que en MAG. En el primer y segundo nivel, la estructura de clasificación es casi idéntica. Presentamos datos sobre las reclasificaciones de materias en ambos niveles en forma de tabla y gráfico. La evaluación de las consecuencias de las abundantes reclasificaciones de materias en las evaluaciones bibliométricas normalizadas por campos no entra dentro del ámbito del presente artículo. Aparte de esta cuestión abierta, OpenAlex parece ser en general al menos tan adecuado para los análisis bibliométricos como MAG para los años de publicación anteriores a 2021 o quizás incluso mejor debido a la cobertura más amplia de las asignaciones de tipos de documentos.
Elsevier revisó totalmente la fórmula de Citescore. Un cambio relativamente menor que hicieron fue endurecer los tipos de documentos que podían usarse en el numerador y el denominador, antes era cualquier tipo pero ahora se restringe sólo a los siguientes tipos de publicación: artículos, revisiones, documentos de conferencias, documentos de datos y capítulos de libros.
Pero el mayor cambio ha sido este. No sólo se ha abierto la ventana de citas a 4 (en lugar de 3 años), sino que ahora también cuentan las citas de 4 años (no de 1). En otras palabras, para obtener el citescore de 2021, se cuentan todas las citas de los documentos publicados en 2018-2021.
Además, Clarivate, recientemente en 2021, aumentó la confusión al publicar otra métrica de revistas: Journal Citation Indicator (JCI), también utiliza efectivamente 4 años de citas.
Diagrama de caja de las citas de colaboración locales, nacionales e internacionales.
Velez-Estevez, A., P. García-Sánchez, J. A. Moral-Munoz, y M. J. Cobo. «Why Do Papers from International Collaborations Get More Citations? A Bibliometric Analysis of Library and Information Science Papers». Scientometrics, 22 de agosto de 2022. https://doi.org/10.1007/s11192-022-04486-4.
La actividad científica se ha vuelto cada vez más compleja en los últimos años. Por ello, la necesidad de colaboración internacional en materia de investigación se ha convertido en una pauta común en la ciencia. En este panorama actual, los países se enfrentan al problema de mantener su competitividad y, al mismo tiempo, cooperar con otros países para conseguir resultados de investigación relevantes. En este contexto internacional, las publicaciones procedentes de colaboraciones internacionales tienden a lograr un mayor impacto científico que las nacionales. Para diseñar políticas que mejoren la competitividad de los países y organizaciones, se hace necesario, por tanto, comprender los factores y mecanismos que influyen en los beneficios y el impacto de la investigación internacional. En este sentido, el objetivo de este estudio es confirmar si las diferencias de impacto entre las colaboraciones internacionales y domésticas se ven afectadas por sus temas y estructura.
Para realizar este estudio, examinamos la categoría Library and Information Science de la base de datos Web of Science entre 2015 y 2019. Se utilizó un enfoque de análisis de mapas científicos para extraer los temas y su estructura según el tipo de colaboración y en toda la categoría (2015-2019). También se buscaron diferencias en estos aspectos temáticos en los países principales y en las comunidades de países colaboradores. Los resultados mostraron que el factor temático influye en el impacto de la investigación internacional, ya que los temas de este tipo de colaboración se encuentran en la vanguardia de la categoría de Biblioteconomía y Documentación (por ejemplo, tecnologías como la inteligencia artificial y los medios sociales se encuentran en la categoría), mientras que las colaboraciones nacionales se han centrado en temas más consolidados (por ejemplo, bibliotecas académicas y bibliometría). Por tanto, las organizaciones, los países y las comunidades de países deben tener en cuenta este factor temático a la hora de diseñar estrategias para mejorar su competitividad y colaborar.
Universo Abierto 