Archivo de la etiqueta: Investigación

Los editores están vendiendo artículos para entrenar IA y generando millones de dólares

Kwon, Diana. «Publishers Are Selling Papers to Train AIs — and Making Millions of Dollars.» Nature, December 9, 2024. https://www.nature.com/articles/d41586-024-04018-5.

Con el aumento de la popularidad de la inteligencia artificial generativa (IA), varios editores académicos han establecido acuerdos con empresas tecnológicas que buscan utilizar contenido académico para entrenar los grandes modelos de lenguaje (LLMs) que sustentan sus herramientas de IA. Estos acuerdos han resultado altamente lucrativos, generando millones de dólares para los editores involucrados.

Roger Schonfeld, co-creador de un nuevo rastreador de acuerdos y vicepresidente de bibliotecas, comunicación académica y museos en Ithaka S+R, una firma de consultoría en educación superior con sede en Nueva York, comenta: “Estábamos observando anuncios de estos acuerdos y comenzamos a pensar que esto está empezando a convertirse en un patrón”. Schonfeld y su equipo lanzaron en octubre Generative AI Licensing Agreement Tracker, una herramienta destinada a recoger los acuerdos que se están realizando entre editores y compañías de tecnología.

El rastreador tiene como objetivo no solo documentar cada acuerdo individual, sino también identificar y analizar las tendencias generales que emergen de estos acuerdos. Al proporcionar una fuente centralizada de información, el tracker facilita que la comunidad académica y tecnológica comprendan mejor cómo se está utilizando el contenido académico para el desarrollo de IA generativa.

Este fenómeno refleja una creciente intersección entre la publicación académica y el desarrollo de tecnologías avanzadas de IA. Los editores, al vender derechos de uso de sus artículos para entrenar modelos de lenguaje, están aprovechando nuevas oportunidades de ingresos, mientras que las empresas de tecnología aseguran el acceso a vastas cantidades de datos necesarios para mejorar la precisión y capacidad de sus sistemas de IA.

El seguimiento de estos acuerdos es crucial para mantener la transparencia en cómo se utiliza el contenido académico y para asegurar que se respeten los derechos de los autores y las instituciones educativas. Además, este rastreador puede ayudar a identificar posibles implicaciones éticas y legales relacionadas con el uso de investigaciones académicas en el entrenamiento de inteligencias artificiales.

Principales acuerdos:

  • Taylor & Francis firmó un acuerdo de 10 millones de dólares con Microsoft
  • Wiley generó 23 millones de dólares en un acuerdo con una empresa no revelada y espera otros 21 millones este año.
  • Otros grandes editores, como Elsevier y Springer Nature, no han comentado sobre acuerdos similares.

También los editores están creando nuevas posiciones y programas, como el «Wiley AI Partnerships», para formalizar colaboraciones con empresas de tecnología. Esto refleja que estos acuerdos no son excepcionales, sino parte de una estrategia a largo plazo.

Los acuerdos entre editores académicos y empresas de IA están transformando la publicación científica, generando ingresos sustanciales y redefiniendo la relación entre autores, editores y tecnología. Sin embargo, el debate sobre la transparencia y las implicaciones éticas de estas prácticas sigue abierto.

Algunos académicos han mostrado preocupación por el uso de su contenido sin su conocimiento.

  • De Gruyter Brill creó una página informativa para explicar los acuerdos y abordar las inquietudes de los autores.
  • Cambridge University Press & Assessment adoptó un enfoque de participación voluntaria, contactando a 20.000 autores para obtener su consentimiento explícito.

Informe especial sobre el estado de los datos abiertos 2024: uniendo políticas y prácticas en el intercambio de datos

Hahnel, Mark; Smith, Graham; Campbell, Ann (2024). The State of Open Data 2024: Special Report Bridging policy and practice in data sharing. Digital Science. Report. https://doi.org/10.6084/m9.figshare.27337476.v2

Aunque el intercambio de datos abiertos está avanzando hacia convertirse en un estándar globalmente reconocido, es necesario abordar las desigualdades, fortalecer las infraestructuras y cerrar la brecha entre las políticas y las prácticas para alcanzar su pleno potencial.

El informe especial elaborado por Digital Science, Figshare y Springer Nature, analiza el estado actual de las prácticas de datos abiertos en el ámbito académico. Este documento destaca avances importantes, desafíos persistentes y recomendaciones para superar la brecha entre las políticas diseñadas y su implementación en la práctica. Basado en un análisis detallado a nivel de países, instituciones y fondos de investigación, el informe proporciona una visión global sobre las tendencias y motivaciones detrás del intercambio de datos.

Un hallazgo clave es el crecimiento de las políticas de intercambio de datos en las universidades. Cada vez más instituciones incorporan estas políticas como parte de sus esfuerzos por promover la ciencia abierta y la transparencia en la investigación. Desde 2010, ha aumentado significativamente la proporción de artículos que vinculan sus datos, aunque aún persisten diferencias regionales. Estas variaciones, de apenas un 5-10% en políticas entre regiones, contrastan con un dato alarmante: más del 85% de los artículos previamente no vinculaban datos.

Sin embargo, el informe subraya que las políticas por sí solas no son suficientes para generar un cambio significativo. Aunque han contribuido a una disminución en el intercambio de datos “bajo solicitud” (entre un 1% y un 9%), no siempre se traduce en un aumento en el uso de repositorios. Factores como la geolocalización, el tipo de investigación y las prioridades de los fondos de financiamiento son determinantes en la adopción de prácticas de datos abiertos.

Las motivaciones para compartir datos varían considerablemente según el país. En Estados Unidos, el cumplimiento con los requisitos de financiamiento es la principal razón (10.23%), mientras que en Etiopía y Japón, la citación de datos tiene mayor importancia (9.3% y 14.8%, respectivamente). Estas diferencias reflejan la influencia de las políticas locales y las prioridades culturales en la adopción de prácticas de datos abiertos.

A pesar del progreso, persisten desigualdades importantes. Países como Brasil, Etiopía e India enfrentan barreras como conectividad limitada, falta de apoyo institucional y escasa conciencia sobre las políticas de datos abiertos. Por otro lado, regiones como Estados Unidos, Reino Unido, Alemania y Francia presentan tasas más altas de uso de repositorios, con un promedio del 25%. Estas disparidades subrayan la necesidad de recursos más equitativos para impulsar la adopción global.

Otro desafío señalado es la cobertura desigual en distintas áreas de investigación. Aunque cada vez más disciplinas adoptan declaraciones de disponibilidad de datos (DAS), muchas carecen de prácticas comunitarias establecidas, repositorios adecuados o soluciones para compartir datos sensibles. Estos vacíos afectan especialmente a áreas con requisitos complejos de manejo de datos.

Finalmente, el informe utiliza datos de fuentes como Dimensions, Springer Nature y el Chan Zuckerberg Initiative-funded Data Citation Corpus para analizar patrones en cómo los investigadores comparten datos y los estándares que siguen. Este enfoque permite entender mejor las motivaciones detrás del intercambio de datos y facilita la elaboración de estrategias para fomentar cambios positivos en la comunidad científica global.

Inteligencia artificial e investigación universitaria: retos y desafíos

Martha Elena Cuevas Gómez, Doris Laury Beatriz (eds) Inteligencia artificial e investigación universitaria: retos y desafíos. México: Editorial Transdigital, 2024.

Texto completo

Este libro nace de una reflexión sobre cómo la IA está transformando la educación
superior, no solo desde un enfoque teórico, sino también desde una perspectiva
práctica. Nos invita a reflexionar sobre el futuro de la enseñanza y el aprendizaje
en un mundo donde la tecnología desempeña un papel cada vez más relevante.

Retos de la  investigación universitaria: una mirada multidisciplinar.

Cuevas Gómez, M. E., Rojas León, P. del R., & Eslava Gómez, H. O. (2024) (Coordinadoras). Retos de la  investigación universitaria: una mirada multidisciplinar. Editorial Transdigital.  

Descargar

Este libro no solo documenta la investigación, sino que también invita a una reflexión crítica sobre cómo las disciplinas pueden converger para enriquecer el aprendizaje y la enseñanza. Al sumergirse en estas páginas, el lector encontrará conocimientos valiosos y un llamado a colaborar y desafiar las fronteras del conocimiento. A medida que avanzamos hacia un futuro educativo incierto, es esencial que académicos, educadores y estudiantes se unan en un diálogo constructivo que trascienda las barreras tradicionales. Esperamos que “Retos de la investigación universitaria: una mirada multidisciplinaria” inspire nuevas ideas, fomente el intercambio interdisciplinario y contribuya a la construcción de una educación más integral y dinámica.

¿Navegar con IA o hundirse con IA? Análisis de verbos de títulos de artículos de investigación sospechosos de contener contenidos generados/asistidos por IA

Comas-Forgas, Ruben, Alexandros Koulouris, y Dimitris Kouis. «‘AI-Navigating’ or ‘AI-Sinking’? An Analysis of Verbs in Research Articles Titles Suspicious of Containing AI-Generated/Assisted Content.» Learned Publishing, publicado por primera vez el 1 de diciembre de 2024. https://doi.org/10.1002/leap.1647.



El estudio examina cómo la inteligencia artificial generativa (IA), como ChatGPT, puede estar influyendo en el lenguaje de los títulos de artículos académicos. Analizando 15 verbos seleccionados en títulos extraídos de SCOPUS (2015-2024), se detectó un incremento notable de ciertos términos asociados con IA. Los hallazgos sugieren que estas herramientas afectan la escritura científica, especialmente en disciplinas específicas. Se subraya la importancia de establecer estándares para el uso de IA en publicaciones académicas y se plantea la necesidad de más investigaciones para ampliar el análisis lingüístico.

Se analizaron cómo la aparición frecuente del verbo «navigating» en títulos académicos revisados en 2023 despertando sospechas sobre la influencia de herramientas de inteligencia artificial generativa (IA). Lo cual motivó una investigación que conecta los avances en modelos de lenguaje como ChatGPT con cambios en la redacción científica, particularmente en los títulos. Los resultados de la misma sugieren que la IA está transformando los métodos de escritura académica, aunque la detección de su uso sigue siendo un desafío. Los títulos, clave en la visibilidad y selección editorial, se examinan como indicadores de esta influencia emergente.

El estudio buscaba entender cómo la IA está transformando la comunicación científica, para ello se analizaron los verbos de acción en títulos de artículos científicos para identificar patrones que sugieran contenido generado o asistido por IA, especialmente ChatGPT. Sus objetivos incluyen:

  1. Identificar verbos recurrentes indicativos de IA generativa.
  2. Analizar tendencias en el uso de estos verbos durante la última década.
  3. Examinar características de documentos con títulos sospechosos.
  4. Cuantificar manuscritos asistidos por IA, estimando su impacto en la redacción académica.

La metodología del estudio se desarrolló en dos pasos principales:

  1. Identificación de verbos sospechosos: Se analizaron verbos presentes en títulos generados por ChatGPT usando resúmenes de artículos recientes en cuatro disciplinas. Esto resultó en una lista de 25 verbos potencialmente indicativos de contenido asistido por IA, basándose en aumentos significativos en su uso desde 2023 en títulos indexados en SCOPUS.
  2. Análisis bibliométrico: Se examinaron tendencias de uso y características de manuscritos con estos verbos en bases como SCOPUS y DOAJ, proyectando datos de 2024 para evaluar patrones lingüísticos relacionados con la IA.

El estudio identificó 15 verbos con un notable aumento de uso en títulos de manuscritos entre 2023 y 2024, lo que sugiere una posible influencia de herramientas de IA como ChatGPT. Verbos como revolutionizing y unleashing mostraron tasas de crecimiento anual (YoYG) superiores al 100%, mientras que otros como exploring y bridging presentaron incrementos más moderados. Estos datos, obtenidos de SCOPUS, revelan un patrón de crecimiento en el uso de términos asociados con innovación y descubrimiento, correlacionado con la creciente adopción de tecnologías de IA.

El análisis de títulos en SCOPUS mostró un aumento significativo en el uso de verbos asociados con IA, con 165.087 documentos estimados para 2024 que contienen al menos uno de los 15 verbos analizados. Este incremento es más notable en categorías como ‘Letters’ y ‘Review’, lo que sugiere una creciente dependencia de herramientas de IA para redactar comunicaciones rápidas y revisiones literarias. Además, se observó un aumento del 144.5% en el uso de IA en países no anglófonos, mientras que en los países de habla inglesa fue del 59.8%.



Para estimar el número de títulos generados o asistidos por IA, se siguieron tres pasos: calcular el crecimiento interanual (YoYG) promedio de 2016 a 2022, estimar el YoYG para 2023-2024 según esa media, y calcular la diferencia entre esta estimación y los datos reales para determinar los títulos potencialmente generados por IA. Se observó un aumento notable de títulos sospechosos de ser asistidos por IA en SCOPUS, con un total de 63.780 títulos en dos años, destacando verbos como “Enhancing” y “Exploring” en el lenguaje académico.

El uso no declarado de herramientas de inteligencia artificial (IA) generativa en la redacción de literatura científica



Glynn, Alex. “Suspected Undeclared Use of Artificial Intelligence in the Academic Literature: An Analysis of the Academ-AI Dataset.” arXiv, November 30, 2024. https://arxiv.org/abs/2411.15218.

El artículo aborda un problema creciente en el ámbito académico: el uso no declarado de herramientas de inteligencia artificial (IA) generativa en la redacción de literatura científica. Estas herramientas, como ChatGPT de OpenAI, han ganado popularidad en los últimos años, permitiendo a los investigadores utilizarlas para tareas como la generación de texto y la edición de manuscritos. Sin embargo, el uso de estas tecnologías plantea serias preocupaciones éticas cuando no se revela explícitamente en los trabajos publicados, a pesar de que las normativas de las editoriales lo exigen.

El estudio utiliza el conjunto de datos Academ-AI, diseñado para documentar ejemplos de uso sospechoso de IA en la literatura académica. Según Glynn, estos casos pueden identificarse gracias a patrones lingüísticos idiosincráticos que son característicos de los modelos de lenguaje generativo, como frases repetitivas o construcciones poco naturales que no encajan con el estilo habitual de los autores. De los primeros 500 casos analizados, el autor concluye que el uso no declarado de IA está ampliamente extendido, incluso en revistas científicas de prestigio y congresos relevantes. Sorprendentemente, estas prácticas se detectaron con mayor frecuencia en publicaciones con altos índices de citación y elevados costos de procesamiento de artículos (Article Processing Charges, APCs), lo que sugiere que incluso las editoriales con mayores recursos no están logrando prevenir este tipo de irregularidades.

Uno de los problemas más graves que destaca el análisis es la limitada capacidad de detección y corrección de estas irregularidades. Glynn señala que, aunque en algunos casos se han identificado textos sospechosos, las correcciones post-publicación son extremadamente escasas y, en la mayoría de las ocasiones, insuficientes para solucionar el problema de fondo. Esto deja en evidencia la falta de un sistema robusto que permita identificar y rectificar el uso indebido de IA en la etapa de revisión o tras la publicación.

Además, el autor subraya que muchos casos de uso no declarado de IA probablemente sean indetectables. Esto se debe a la creciente sofisticación de las herramientas de IA generativa, que permiten a los usuarios generar contenido que resulta más difícil de distinguir del texto escrito por humanos. Este fenómeno plantea un desafío significativo para las editoriales académicas, que deben encontrar formas de garantizar la transparencia sin depender exclusivamente de sistemas automatizados de detección.

El uso no declarado de IA en la literatura académica tiene profundas implicaciones para la ética y la integridad científica. Glynn advierte que estas prácticas no solo comprometen la credibilidad de los artículos afectados, sino que también amenazan la confianza en el sistema de publicación académica en su conjunto. El hecho de que los casos detectados sean más frecuentes en publicaciones de alto impacto amplifica la gravedad del problema, ya que estos trabajos suelen ser citados más ampliamente y, por lo tanto, tienen un impacto desproporcionado en la comunidad científica.

El estudio también pone de relieve las desigualdades que podrían surgir de esta situación. Mientras que algunos investigadores y editoriales tienen acceso a herramientas y recursos avanzados para verificar la autenticidad de los textos, otros carecen de estas capacidades, lo que podría generar un terreno desigual en la producción y evaluación de conocimiento académico.

Para mitigar este fenómeno, Glynn enfatiza la necesidad de que las editoriales refuercen sus políticas contra el uso no declarado de IA, especialmente en los casos que sean detectables. Esto implica no solo mejorar los procesos de revisión para identificar patrones sospechosos, sino también implementar sanciones claras y medidas correctivas efectivas. El autor sugiere que la transparencia y la rendición de cuentas deben convertirse en pilares fundamentales del proceso de publicación académica en la era digital.

En última instancia, el artículo concluye que abordar este problema de manera proactiva es esencial para preservar la calidad y la credibilidad de la literatura científica. En un contexto donde la inteligencia artificial desempeña un papel cada vez más importante, la comunidad académica debe establecer normas claras y efectivas para garantizar que el uso de estas herramientas sea transparente y ético. Esto no solo protegerá la integridad de las publicaciones científicas, sino que también fomentará un entorno de investigación más equitativo y confiable.

El valor de los datos para la toma de decisiones. Paloma Marín Arraiza

.

PALOMA MARÍN ARRAIZA. El valor de los datos para la toma de decisiones

VER VIDEO

VER PRESENTACIÓN


Paloma Marín Arraiza, en su comunicación en línea a través de ORCID Open Researcher and Contributor ID, analiza el valor de los datos en la toma de decisiones. Destaca cómo el acceso y análisis de datos precisos y relevantes son fundamentales para fundamentar decisiones informadas en diversos campos, desde la investigación hasta la gestión pública y empresarial. Marín Arraiza subraya que la correcta interpretación y uso de los datos no solo mejora la efectividad de las decisiones, sino que también permite optimizar recursos y prever resultados con mayor precisión.

Sobre Paloma: 

Paloma Marín-Arraiza es licenciada en Física y máster en Información y Comunicación Científica, ambos por la Universidad de Granada (España). Obtuvo su doctorado en Ciencias de la Información en la Universidad Estatal de São Paulo (Brasil), con una tesis centrada en el modelado de datos para publicaciones mejoradas. Antes de unirse a ORCID, trabajó en bibliotecas de investigación en Alemania (TIB Hannover) y Austria (Biblioteca universitaria de la TU Wien), ocupándose de productos de investigación no textuales e identificadores persistentes, respectivamente. Desde marzo de 2020, forma parte del equipo de ORCID, donde actualmente es Directora Asociada de Engagement. Aparte de eso, es profesora invitada en cursos de Gestión de Datos de Investigación y Data Stewardship en España y Austria, y es miembro del consejo editorial y del comité de revisores de cuatro revistas diamante de acceso abierto en el campo de las ciencias de la información.

Efectividad de las guías de investigación de las bibliotecas universitarias para fomentar las habilidades de alfabetización informacional en los estudiantes universitarios

DeFrain, Erica, Leslie Sult, and Nicole F. Pagowsky. «Effectiveness of Academic Library Research Guides for Building College Students’ Information Literacy Skills: A Scoping Review.» College and Research Libraries (September 2025). https://digitalcommons.unl.edu/libraryscience/446/.

El artículo Effectiveness of Academic Library Research Guides for Building College Students’ Information Literacy Skills: A Scoping Review, escrito por Erica DeFrain, Leslie Sult y Nicole F. Pagowsky, realiza una revisión sobre la efectividad de las guías de investigación de las bibliotecas universitarias para fomentar las habilidades de alfabetización informacional en los estudiantes universitarios. Las guías de investigación son herramientas comunes para la enseñanza de estas habilidades, pero existe una falta de evidencia sólida sobre su efectividad.

En su revisión, los autores analizaron 1.724 publicaciones y seleccionaron 61 estudios que cumplían con los criterios de inclusión. Los estudios revisados fueron en su mayoría individuales, exploratorios y correlacionales, con un enfoque predominante en el uso de métodos mixtos que combinaban encuestas a estudiantes y análisis de datos provenientes de fuentes como el tráfico web. La mayoría de los estudios se centraron en la satisfacción de los estudiantes o la usabilidad de las guías como indicadores de la efectividad del aprendizaje, mientras que pocos se centraron en evaluar la adquisición de habilidades.

La revisión tiene como objetivo ayudar a los profesionales a desarrollar herramientas de aprendizaje más impactantes y prácticas para la creación y evaluación de estas guías. En resumen, el artículo destaca la necesidad de una evaluación más profunda y específica en cuanto a la efectividad real de las guías en el desarrollo de habilidades de alfabetización informacional.

Las conclusiones de los autores sobre la efectividad de las guías para el aprendizaje variaron, clasificándose en cuatro categorías: positivas, neutrales, negativas o mixtas. Sin embargo, interpretar su noción de «efectividad» fue complicado debido al amplio alcance de la mayoría de las investigaciones. Pocos estudios establecieron explícitamente expectativas sobre cómo las guías podrían influir en el aprendizaje de los estudiantes o los beneficios que podrían ofrecer. Solo seis estudios (9.8%) emplearon hipótesis previas para guiar su investigación, mientras que el resto no contó con referencias claras para evaluar el impacto.

De los 23 estudios con resultados positivos, 17 se basaron parcialmente en medidas afectivas obtenidas a través de encuestas a los estudiantes. Estos estudios encontraron una alta satisfacción por parte de los estudiantes, quienes indicaron que las guías eran útiles, relevantes o valiosas para sus necesidades académicas. Sin embargo, no todos los estudios reportaron resultados positivos. Por ejemplo, algunos estudiantes mostraron insatisfacción o neutralidad hacia las guías, especialmente en campos como STEM, donde se valoraron menos.

En varios estudios, aunque los estudiantes expresaron satisfacción con las guías, también indicaron que no sentían la necesidad de usarlas o se comprometían poco con su contenido. Algunos investigadores reconsideraron la efectividad de las guías tras reportar bajos niveles de uso. Además, se destacó que las guías de tipo «pathfinder», que simplemente direccionan a los estudiantes a recursos, no eran tan valoradas como las guías más instructivas que explican cómo usar esos recursos.

A pesar de la baja evidencia de uso, algunos autores continuaron desarrollando y manteniendo grandes cantidades de guías con la esperanza de que en el futuro los estudiantes se interesaran más por su contenido. Sin embargo, varios estudios documentaron la dificultad o resistencia de los estudiantes para utilizar de manera efectiva el contenido basado en guías, como en casos donde los estudiantes, a pesar de recibir formación, preferían utilizar recursos de la web libre o no recomendados por los bibliotecarios.

Enfoque innovador para evaluar la calidad de las revistas académicas utilizando inteligencia artificial

Thelwall, Mike, y Kayvan Kousha. 2024. «Journal Quality Factors from ChatGPT: More meaningful than Impact Factors?» arXiv. https://doi.org/10.48550/arXiv.2411.09984.

Este estudio representa el primer intento de utilizar un modelo de lenguaje avanzado como ChatGPT para evaluar la calidad de las revistas académicas. Aunque no busca reemplazar las métricas tradicionales, aporta una dimensión adicional que podría transformar la manera en que se mide la calidad en el ámbito académico, destacando el potencial de la inteligencia artificial en la investigación.

Un reciente artículo publicado en arXiv propone un enfoque innovador para evaluar la calidad de las revistas académicas utilizando inteligencia artificial, específicamente a través de ChatGPT. El estudio, titulado «Journal Quality Factors From ChatGPT: More Meaningful Than Impact Factors?», fue realizado por Mike Thelwall (Universidad de Sheffield) y Kayvan Kousha (Universidad de Wolverhampton). Este trabajo plantea una alternativa a las métricas tradicionales como el Journal Impact Factor (JIF), centrándose en aspectos más amplios de la calidad académica.

Journal Impact Factor, ampliamente utilizado para medir el impacto académico, se basa principalmente en la cantidad de citas recibidas. Sin embargo, esta métrica no evalúa otros aspectos clave, como el impacto social, la originalidad de los artículos o el rigor metodológico. Para abordar esta limitación, los investigadores definieron el Journal Quality Factors (JQFs), como puntuaciones promedio asignadas por ChatGPT para valorar los artículos de una revista considerando una perspectiva más holística.

El análisis incluyó 1.300 revistas que publicaron 130.000 artículos en 2021, cubriendo 25 de los 27 campos principales de investigación definidos por Scopus. El JQF fue comparados con clasificaciones nacionales de revistas de Polonia, Noruega y Finlandia, así como con las tasas de citación de las publicaciones. Además, se examinaron casos atípicos en los que Factor de Impacto no coincidían con las clasificaciones tradicionales, para explorar posibles sesgos o influencias externas.

Principales hallazgos

Correlación con clasificaciones existentes: El JQFs mostraron una correlación positiva y sólida (mediana de 0.641) con los rankings nacionales de revistas en 24 de los 25 campos analizados. Esto sugiere que ChatGPT puede estimar la calidad de las revistas de manera consistente en la mayoría de las disciplinas.

Comparación con las tasas de citación: Las tasas de citación también mostraron correlaciones altas con los rankings nacionales, lo que indica que los JQFs no son necesariamente superiores, pero ofrecen una alternativa igualmente válida.

Influencia del estilo de los resúmenes: Los investigadores encontraron que ciertos estilos de redacción, como la mención de contextos sociales en los resúmenes, pueden influir en las puntuaciones del JQF, destacando la sensibilidad del modelo a los matices de presentación.

El artículo reconoce que los resultados podrían variar si se usaran diferentes sistemas de clasificación, ya que no existe un consenso universal sobre qué define la calidad de una revista. Además, los JQFs, aunque prometedores, no deben reemplazar a las métricas tradicionales en todos los contextos, ya que su utilidad depende del propósito específico de la evaluación.

¿Puede la inteligencia artificial revisar la literatura científica y descifrar su significado?

Pearson, Helen. «Can AI Review the Scientific Literature — and Figure out What It All Means?» Nature 635, n.o 8038 (13 de noviembre de 2024): 276-78. https://doi.org/10.1038/d41586-024-03676-9.


La inteligencia artificial (IA) está revolucionando la revisión de la literatura científica al ofrecer herramientas que pueden resumir grandes volúmenes de información de manera rápida. Sin embargo, esta innovación plantea tanto beneficios como riesgos.

La IA en la ciencia no es un tema nuevo. Los investigadores han utilizado herramientas de software durante décadas para buscar y analizar la literatura científica. Sin embargo, los recientes modelos de lenguaje de gran escala (LLM), como ChatGPT, han generado entusiasmo por la automatización de la síntesis de información. Estos modelos no solo encuentran y resumen artículos, sino que ahora pueden, en teoría, generar revisiones narrativas de literatura científica, aunque todavía no alcanzan el nivel de rigor de las revisiones sistemáticas.

Este campo está en auge debido a la dificultad de los investigadores para mantenerse al día con la creciente cantidad de publicaciones científicas. Tal es el caso de Sam Rodriques, quien, junto a su equipo de la startup FutureHouse, ha creado un sistema de IA llamado PaperQA2, diseñado para sintetizar información científica. Con él, lograron producir artículos sobre 17.000 genes humanos, muchos de los cuales carecían de una página en Wikipedia.

Los motores de búsqueda de IA en ciencia

Algunos motores de búsqueda con IA, como Consensus y Elicit, se han diseñado específicamente para facilitar la revisión de literatura académica. Estos motores primero realizan una búsqueda en bases de datos científicas como Semantic Scholar y PubMed, y luego utilizan un LLM para resumir los estudios encontrados y generar respuestas sintetizadas. El usuario puede ver referencias y filtros para ajustar los resultados. Estas herramientas pueden hacer que el proceso de revisión y redacción sea más eficiente al encargarse de las tareas más laboriosas, aunque la calidad de sus resúmenes no es comparable aún a la de una revisión realizada por expertos.

Desafíos y limitaciones

Los expertos advierten que pedirle a una IA como ChatGPT que redacte revisiones completas desde cero sería poco fiable. Los LLM entrenan con grandes volúmenes de texto y generan respuestas basadas en probabilidad, sin evaluar la credibilidad de las fuentes. Esto significa que pueden combinar información académica válida con fuentes menos confiables, sin dar prioridad a la literatura de mayor calidad. Además, pueden generar errores o «alucinaciones», es decir, referencias o afirmaciones inexistentes.

Para evitar estos problemas, algunos investigadores emplean un método llamado “generación aumentada por recuperación”, que consiste en cargar en el modelo únicamente artículos seleccionados previamente. Esta técnica reduce los errores, pero no los elimina por completo.

Revisión sistemática y el papel de la IA

Mientras las revisiones narrativas son confiables, la revisión sistemática presenta mayores obstáculos. Este tipo de revisión requiere pasos estrictos, como búsqueda exhaustiva, evaluación de la calidad de los estudios, síntesis de datos y, a menudo, un meta-análisis. Cada paso es revisado por al menos dos investigadores para garantizar precisión y transparencia. En 2019, un equipo de investigadores, incluido Paul Glasziou, estableció un récord al completar una revisión sistemática en solo dos semanas, empleando herramientas como RobotSearch y RobotReviewer, que usan IA para identificar estudios y evaluar riesgos de sesgo. Sin embargo, aunque estas herramientas reducen el tiempo de revisión, la IA aún no puede completar una revisión sistemática de forma autónoma.

Elicit y otros sistemas afirman ayudar en la revisión sistemática, pero no la automatizan completamente. En su lugar, permiten a los investigadores acelerar pasos específicos, como la clasificación de artículos y la extracción de datos, mientras que otros procesos siguen dependiendo del juicio humano. La limitación de estos sistemas es que solo pueden buscar en artículos de acceso abierto y abstracts, dejando fuera gran parte de la literatura científica, que suele estar bajo pago.

Riesgos y futuro de la IA en revisiones científicas

Aunque la IA puede ayudar a mejorar la velocidad y eficiencia de las revisiones, también podría dar lugar a revisiones menos rigurosas y de menor calidad. La tentación de utilizar herramientas de IA para realizar revisiones rápidamente podría resultar en artículos poco precisos, contaminando la literatura científica. Sin embargo, hay quienes creen que la IA también podría elevar los estándares en la revisión de literatura al hacer que más científicos consulten la literatura existente antes de lanzar nuevos estudios.

Algunos expertos sugieren que el desarrollo de herramientas de IA para la ciencia debería estar en manos de organizaciones sin fines de lucro que promuevan la transparencia y la evaluación rigurosa. Recientemente, en el Reino Unido se ha anunciado una inversión significativa en herramientas de síntesis de evidencia, lo que refleja el creciente interés en abordar estos desafíos. La clave para el futuro parece estar en equilibrar la eficiencia que la IA puede aportar con la necesidad de mantener estándares rigurosos en la investigación científica.