Archivo de la categoría: Investigación

ChatGPT para tareas complejas de evaluación de textos

Thelwall, M. (2024). ChatGPT for complex text evaluation tasks. Journal of the Association for Information Science and Technology, 1–4. https://doi.org/10.1002/asi.24966

ChatGPT y otros modelos de lenguaje a gran escala (LLMs) han demostrado ser efectivos en tareas de procesamiento de lenguaje natural y computacional con diversos niveles de complejidad. Este documento resume las lecciones aprendidas de una serie de investigaciones sobre su uso en la evaluación de calidad de investigaciones, una tarea compleja de análisis de textos.

En términos generales, ChatGPT destaca por su capacidad para comprender y ejecutar tareas complejas de procesamiento de textos, produciendo respuestas plausibles con un mínimo de intervención por parte del investigador. Sin embargo, los resultados deben ser evaluados sistemáticamente, ya que pueden ser engañosos. A diferencia de las tareas simples, los resultados en tareas complejas son muy variables, y se pueden obtener mejores resultados repitiendo los comandos en sesiones diferentes y promediando las respuestas obtenidas. Modificar los parámetros de configuración de ChatGPT respecto a sus valores predeterminados no parece ser útil, excepto en lo relacionado con la extensión del texto solicitado en las respuestas.

Capacidad de Procesamiento Complejo: ChatGPT es muy hábil para realizar tareas de análisis textual complejo, generando respuestas plausibles con instrucciones detalladas. Sin embargo, sus resultados no siempre son precisos y requieren validación sistemática.

Variabilidad en Tareas Complejas: A diferencia de tareas simples (como análisis de sentimiento), los resultados en evaluaciones complejas varían significativamente. Mejores resultados se obtienen al repetir los comandos múltiples veces y promediando las respuestas.

Configuración del Modelo: Cambiar parámetros predeterminados no suele mejorar los resultados, salvo ajustes en la longitud de la salida. Modelos más avanzados (como GPT-4o frente a 4o-mini) ofrecen mejor desempeño, pero versiones económicas pueden ser una opción práctica.

Estructura de las Instrucciones: Instrucciones complejas y detalladas, adaptadas del formato usado por evaluadores humanos, producen mejores resultados. Sin embargo, instrucciones más breves y simplificadas tienden a disminuir la precisión.

Evaluación y Limitaciones: ChatGPT puede producir salidas plausibles, pero estas no siempre reflejan una evaluación significativa. Por ejemplo, al evaluar artículos basándose en títulos y resúmenes en lugar del texto completo, ChatGPT ofrece mejores resultados, probablemente debido a la concisión de la información.

Uso de Información Condensada: Aunque puede manejar textos extensos, ChatGPT parece ser más efectivo al trabajar con entradas resumidas, como títulos y resúmenes, en lugar de textos completos, evitando sobrecarga de información irrelevante.

Financiación y Costos: Realizar evaluaciones sistemáticas con múltiples iteraciones implica altos costos en el uso de la API. Por ello, las versiones más económicas de los modelos, aunque menos precisas, pueden ser adecuadas para ciertos proyectos.

Fine-Tuning: La personalización del modelo mediante fine-tuning es efectiva en tareas simples, pero no parece prometedora para evaluaciones complejas debido a la diversidad de salidas posibles y la falta de patrones consistentes en evaluaciones humanas.

Como conclusión puede decirse que ChatGPT muestra un gran potencial en la evaluación académica, pero sus limitaciones subrayan la necesidad de realizar validaciones exhaustivas. Los investigadores deben considerar enfoques sistemáticos, como repetir comandos y ajustar configuraciones, para optimizar resultados. Aunque aún quedan cuestiones abiertas, como el papel del fine-tuning en estas tareas, los resultados sugieren que LLMs pueden complementar, pero no reemplazar, las evaluaciones humanas en tareas complejas.

Clarivate retira el Índice de Impacto a la revista eLife debido a su nuevo modelo de publicación

«Web of Science Index Plans to End eLife’s Journal Impact Factor». Accedido 14 de noviembre de 2024. https://www.science.org/content/article/web-science-index-plans-end-elife-s-journal-impact-factor.

Clarivate anunció que el journal eLife dejará de recibir el índice de impacto, una métrica controvertida considerada por muchos como un indicador de calidad. La razón detrás de esta decisión es que el modelo de publicación adoptado por eLife en enero de 2023 no cumple con los estándares de revisión por pares establecidos por Clarivate. Este modelo incluye una revisión por pares pública, pero no una decisión final sobre si un manuscrito es aceptado o rechazado.

El fundador de eLife, Randy Schekman, expresó su preocupación de que la eliminación del índice de impacto podría afectar negativamente la viabilidad financiera de la revista, ya que el índice de impacto influye en el número de envíos. eLife cobra 2500$ por cada manuscrito que revisa, lo que constituye una fuente clave de ingresos. Sin embargo, el director ejecutivo de eLife, Damian Pattinson, ha defendido el modelo, argumentando que la decisión de Clarivate es un exceso y que el índice de impacto es una métrica corrosiva que nunca han apoyado.

Clarivate ha explicado que su decisión se basa en la falta de una validación clara por parte de la revisión por pares, dado que eLife publica todos los manuscritos que envía para revisión, sin importar si los comentarios de los revisores son positivos o negativos. Los artículos se publican con las revisiones adjuntas, lo que genera controversia sobre la calidad de la revisión.

El modelo de eLife ha sido apoyado por el Instituto Médico Howard Hughes (HHMI), que considera que este enfoque más transparente de la revisión por pares favorece la innovación en la publicación. No obstante, la decisión de Clarivate podría alimentar el debate sobre las debilidades y fortalezas del modelo de publicación de eLife. Críticos como Schekman argumentan que el nuevo modelo ha producido resultados negativos, incluidos casos de artículos subóptimos publicados por la revista.

A pesar de la pérdida del índice de impacto, eLife ha mantenido que su modelo, basado en la transparencia y la participación de los lectores en la evaluación de los trabajos, es beneficioso para la ciencia. Sin embargo, la controversia sigue abierta, ya que algunos consideran que la ausencia de una decisión final por parte de los editores puede dificultar la evaluación adecuada de los artículos.

¿Puede la inteligencia artificial revisar la literatura científica y descifrar su significado?

Pearson, Helen. «Can AI Review the Scientific Literature — and Figure out What It All Means?» Nature 635, n.o 8038 (13 de noviembre de 2024): 276-78. https://doi.org/10.1038/d41586-024-03676-9.


La inteligencia artificial (IA) está revolucionando la revisión de la literatura científica al ofrecer herramientas que pueden resumir grandes volúmenes de información de manera rápida. Sin embargo, esta innovación plantea tanto beneficios como riesgos.

La IA en la ciencia no es un tema nuevo. Los investigadores han utilizado herramientas de software durante décadas para buscar y analizar la literatura científica. Sin embargo, los recientes modelos de lenguaje de gran escala (LLM), como ChatGPT, han generado entusiasmo por la automatización de la síntesis de información. Estos modelos no solo encuentran y resumen artículos, sino que ahora pueden, en teoría, generar revisiones narrativas de literatura científica, aunque todavía no alcanzan el nivel de rigor de las revisiones sistemáticas.

Este campo está en auge debido a la dificultad de los investigadores para mantenerse al día con la creciente cantidad de publicaciones científicas. Tal es el caso de Sam Rodriques, quien, junto a su equipo de la startup FutureHouse, ha creado un sistema de IA llamado PaperQA2, diseñado para sintetizar información científica. Con él, lograron producir artículos sobre 17.000 genes humanos, muchos de los cuales carecían de una página en Wikipedia.

Los motores de búsqueda de IA en ciencia

Algunos motores de búsqueda con IA, como Consensus y Elicit, se han diseñado específicamente para facilitar la revisión de literatura académica. Estos motores primero realizan una búsqueda en bases de datos científicas como Semantic Scholar y PubMed, y luego utilizan un LLM para resumir los estudios encontrados y generar respuestas sintetizadas. El usuario puede ver referencias y filtros para ajustar los resultados. Estas herramientas pueden hacer que el proceso de revisión y redacción sea más eficiente al encargarse de las tareas más laboriosas, aunque la calidad de sus resúmenes no es comparable aún a la de una revisión realizada por expertos.

Desafíos y limitaciones

Los expertos advierten que pedirle a una IA como ChatGPT que redacte revisiones completas desde cero sería poco fiable. Los LLM entrenan con grandes volúmenes de texto y generan respuestas basadas en probabilidad, sin evaluar la credibilidad de las fuentes. Esto significa que pueden combinar información académica válida con fuentes menos confiables, sin dar prioridad a la literatura de mayor calidad. Además, pueden generar errores o «alucinaciones», es decir, referencias o afirmaciones inexistentes.

Para evitar estos problemas, algunos investigadores emplean un método llamado “generación aumentada por recuperación”, que consiste en cargar en el modelo únicamente artículos seleccionados previamente. Esta técnica reduce los errores, pero no los elimina por completo.

Revisión sistemática y el papel de la IA

Mientras las revisiones narrativas son confiables, la revisión sistemática presenta mayores obstáculos. Este tipo de revisión requiere pasos estrictos, como búsqueda exhaustiva, evaluación de la calidad de los estudios, síntesis de datos y, a menudo, un meta-análisis. Cada paso es revisado por al menos dos investigadores para garantizar precisión y transparencia. En 2019, un equipo de investigadores, incluido Paul Glasziou, estableció un récord al completar una revisión sistemática en solo dos semanas, empleando herramientas como RobotSearch y RobotReviewer, que usan IA para identificar estudios y evaluar riesgos de sesgo. Sin embargo, aunque estas herramientas reducen el tiempo de revisión, la IA aún no puede completar una revisión sistemática de forma autónoma.

Elicit y otros sistemas afirman ayudar en la revisión sistemática, pero no la automatizan completamente. En su lugar, permiten a los investigadores acelerar pasos específicos, como la clasificación de artículos y la extracción de datos, mientras que otros procesos siguen dependiendo del juicio humano. La limitación de estos sistemas es que solo pueden buscar en artículos de acceso abierto y abstracts, dejando fuera gran parte de la literatura científica, que suele estar bajo pago.

Riesgos y futuro de la IA en revisiones científicas

Aunque la IA puede ayudar a mejorar la velocidad y eficiencia de las revisiones, también podría dar lugar a revisiones menos rigurosas y de menor calidad. La tentación de utilizar herramientas de IA para realizar revisiones rápidamente podría resultar en artículos poco precisos, contaminando la literatura científica. Sin embargo, hay quienes creen que la IA también podría elevar los estándares en la revisión de literatura al hacer que más científicos consulten la literatura existente antes de lanzar nuevos estudios.

Algunos expertos sugieren que el desarrollo de herramientas de IA para la ciencia debería estar en manos de organizaciones sin fines de lucro que promuevan la transparencia y la evaluación rigurosa. Recientemente, en el Reino Unido se ha anunciado una inversión significativa en herramientas de síntesis de evidencia, lo que refleja el creciente interés en abordar estos desafíos. La clave para el futuro parece estar en equilibrar la eficiencia que la IA puede aportar con la necesidad de mantener estándares rigurosos en la investigación científica.

Informe de la Conferencia de París sobre Información Abierta para la Investigación

Information, Barcelona Declaration on Open Research. «Report of the Paris Conference on  Open Research Information». Zenodo, 8 de noviembre de 2024. https://doi.org/10.5281/zenodo.14054244.

Texto completo

Report of the Paris Conference on Open Research Information, describe los resultados de una conferencia celebrada en septiembre de 2024 en la Universidad de la Sorbona en París, donde se discutieron los próximos pasos para avanzar en la agenda de la Declaración de Barcelona sobre Información de Investigación Abierta. Durante el evento, que fue híbrido (presencial y en línea), participaron alrededor de 140 personas que compartieron avances y desafíos en la producción, gestión y uso de información de investigación abierta, y colaboraron en la elaboración de un plan de acción para los próximos años.

El primer día estuvo centrado en el intercambio de experiencias, mientras que el segundo se enfocó en la formulación de acciones concretas. En total, se presentaron 21 charlas, abarcando temas como las políticas universitarias y su implementación práctica, el papel de los financiadores y las organizaciones gubernamentales, las colaboraciones internacionales y las infraestructuras necesarias para respaldar la investigación abierta.

Entre las acciones prioritarias destacaron:

  1. Metadatos de artículos de revistas: Mejora en la estructuración y el intercambio de datos relacionados con los artículos de investigación.
  2. Metadatos de salidas de investigación en repositorios institucionales: Incluyendo preprints y repositorios de datos.
  3. Metadatos sobre la financiación: Establecer sistemas claros y abiertos para seguir el rastro del financiamiento de investigaciones.
  4. Sustitución de sistemas cerrados: Migrar de plataformas privadas a sistemas abiertos para gestionar la información de la investigación.
  5. Sostenibilidad de infraestructuras: Asegurar que las infraestructuras que soportan la investigación abierta sean viables a largo plazo.
  6. Evaluación de los datos abiertos: Crear marcos para medir los beneficios de los datos abiertos en la investigación.

Al final de la conferencia, se implementó un marco de teoría del cambio para clasificar las acciones en cuatro categorías: recolección de información, marcos y análisis, principios y directrices, y implementación y monitoreo. Esto permitirá construir una hoja de ruta concreta para coordinar las actividades de los próximos años.

Las organizaciones están invitadas a participar en los grupos de trabajo que llevarán adelante estas acciones a partir de 2025, con un enfoque en la colaboración y la coordinación global para fortalecer la investigación abierta. Se ha solicitado a las organizaciones interesadas que se inscriban antes del 30 de noviembre de 2024.

Inteligencia artificial y su impacto en la escritura académica

Alonso Arévalo, Julio. «Inteligencia artificial y su impacto en la escritura académica.» INVESCOL II JORNADA DE INVESTIGACIÓN EN ENFERMERÍA: INTELIGENCIA ARTIFICIAL Y ENFERMERÍA Salamanca, 25 de octubre de 2024 Salamanca (2024).

La inteligencia artificial (IA) está transformando la escritura académica al proporcionar herramientas que simplifican la investigación, redacción y edición de documentos. A través de algoritmos avanzados, la IA puede analizar grandes volúmenes de información, identificar patrones y sugerir ideas, lo cual facilita el desarrollo de textos académicos. Estas herramientas apoyan a estudiantes y docentes al ofrecer recomendaciones sobre vocabulario, estructura y citas bibliográficas, además de mejorar la calidad de los escritos al detectar errores gramaticales y de estilo. No obstante, la IA debe ser vista como una ayuda que complementa, sin reemplazar, el pensamiento crítico y la creatividad esenciales en la escritura académica.

El papel central de la identidad digital en la integridad de la investigación

Member, Holly STM. 2024. «STM Report: Trusted Identity in Academic Publishing». STM Association. 31 de octubre de 2024.

Texto completo

El informe Trusted Identity in Academic Publishing: The Central Role of Digital Identity in Research Integrity, publicado por STM Solutions, aborda los desafíos emergentes en la confianza en la publicación académica debido al aumento de fraudes de identidad y violaciones de la integridad.

Tradicionalmente, el modelo de publicación académica se basa en una verificación mínima, lo que ha resultado inadecuado ante la proliferación de actividades fraudulentas, como los paper mills y la manipulación de identidades.

Durante siglos, la publicación académica se ha basado en la confianza, asumiendo implícitamente que los individuos que interactúan con una revista académica lo hacen de buena fe y dentro de las normas establecidas. Esta alta confianza significa que los investigadores generalmente no necesitan demostrar su identidad o buenas intenciones al presentar un artículo, actuar como revisores o unirse a un consejo editorial. De hecho, la mayoría de los editores solo requieren una dirección de correo electrónico funcional para participar en el proceso de envío y revisión.

Sin embargo, casos recientes de retiradas masivas de artículos debido a fraudes y un aumento de problemas de integridad en la investigación ilustran que esta confianza es cada vez más vulnerable a la explotación. Las paper mills y personas deshonestas han podido socavar estos procesos para obtener beneficios financieros o de reputación, contaminando el registro académico y llevando a un aumento considerable en las retiradas. Como resultado, hay una brecha entre el nivel de confianza que necesitan los sistemas editoriales y el nivel que los investigadores pueden proporcionar fácilmente.

Una solución instintiva es aumentar la seguridad en los accesos a las plataformas editoriales, insistiendo en controles de identidad similares a los requeridos para reservar un vuelo o alquilar un coche. Sin embargo, implementar estas medidas no es una tarea sencilla. Existen preocupaciones legítimas sobre aumentar la fricción para los investigadores honestos, el riesgo de excluir a aquellos que no pueden cumplir con estos controles y la privacidad del usuario.

Si bien los editores que mejoren sus controles de integridad pueden obtener una ventaja estratégica al proteger su reputación, es posible que algunos investigadores opten por revistas con medidas menos estrictas simplemente porque presentan menos obstáculos. Además, las inconsistencias entre los enfoques de los editores añaden complejidad al proceso de envío. Cualquier intento de encontrar una solución deberá bloquear o disuadir el fraude de manera efectiva mientras minimiza las cargas para los investigadores mediante un enfoque considerado y proporcional.

Este documento tiene como objetivo explicar el contexto de este tema y preparar el terreno para trabajos futuros que exploren posibles soluciones. También establece la dirección para investigar las formas más adecuadas de hacer realidad estas soluciones y proporcionar una manera de medir su efectividad.

El informe enfatiza la necesidad urgente de fortalecer la verificación de identidades sin crear obstáculos para los investigadores legítimos. Hylke Koers, CIO de STM Solutions, subraya que es esencial encontrar un equilibrio entre la integridad científica y la protección de los derechos de privacidad de los investigadores.

Además, el informe llama a la colaboración para desarrollar directrices y recomendaciones que permitan a editores y proveedores de sistemas editoriales combatir el fraude mientras mantienen la inclusividad en la investigación académica. La comunidad está invitada a revisar el informe hasta el 30 de noviembre y proporcionar comentarios sobre cómo las soluciones de identidad digital pueden apoyar la confianza en la investigación en un panorama en constante cambio.

Coste y precio del acceso público a las publicaciones científicas

Steinhart, Gail, y Katherine Skinner. 2024. «The Cost and Price of Public Access to Research Data: A Synthesis», febrero. https://zenodo.org/records/10729575?ref=investinopen.org.

El nuevo informe de Invest in Open Infrastructure (IOI), titulado The Cost and Price of Public Access to Scholarly Publications: A Synthesis, analiza el ecosistema de publicaciones académicas de acceso público en EE. UU., especialmente en el contexto de investigaciones financiadas con fondos federales.

El informe, elaborado por Jennifer Kemp y Katherine Skinner, examina la evolución histórica, los principales actores financieros y los modelos que han surgido para fomentar el acceso abierto, impulsado en gran medida por la directiva Nelson Memo.

Principales Observaciones y Conclusiones:

  1. Ecosistema en Evolución: La comunicación académica se encuentra en una fase de experimentación adaptativa, donde varios modelos financieros adaptan o reutilizan el sistema de suscripción tradicional. Este desarrollo dinámico está influido por la incertidumbre en el contexto político y regulatorio.
  2. Definiciones Emergentes: Conceptos clave como «editor» y las variantes de acceso abierto siguen sin consenso en la comunidad. El informe intenta clarificar términos de precio y costo en el contexto de publicaciones académicas, anticipando que estas definiciones pueden seguir evolucionando.
  3. Mayor Transparencia de Costos y Precios: Mandatos como el Nelson Memo de la OSTP han alentado a los editores a ofrecer información más clara sobre los costos. Sin embargo, aún falta información coherente y práctica que cubra costos y pagos reales para respaldar mejor a todos los actores del ecosistema.
  4. Interdependencias en Publicaciones: Los precios, establecidos para formatos específicos como los cargos de procesamiento de artículos (APC), se ven afectados por interdependencias entre recursos, flujos de trabajo y otros resultados, complicando la determinación de costos razonables a nivel de sistema.
  5. Escenarios de Stakeholders para Comprender Costos: El informe subraya la diversidad de los actores en el ecosistema, que van desde editores y financiadores hasta instituciones académicas. Comprender lo que se considera “razonable” implica analizar cómo afecta a cada uno de estos actores.

Este informe complementa un análisis anterior de febrero de 2024 sobre los costos de acceso a datos de investigación, y busca ofrecer una base para que los actores del sector académico puedan tomar decisiones colaborativas y equitativas en torno a los costos del acceso abierto.

¿Por qué se siguen citando algunos artículos retractados?

Schmidt, Marion. «Why Do Some Retracted Articles Continue to Get Cited?» Scientometrics, 4 de noviembre de 2024. https://doi.org/10.1007/s11192-024-05147-4.

El artículo de Marion Schmidt explora por qué algunos artículos retractados continúan recibiendo citas incluso después de su retractación. A pesar de la retracción, estos estudios siguen siendo citados, y se sabe poco sobre las causas de este fenómeno y el posible riesgo o daño epistemológico asociado. Este estudio de caso examina cómo las comunidades académicas manejan la incertidumbre en la recepción de publicaciones retractadas y analiza el impacto de las citas continuas o decrecientes de estas publicaciones.

Para llevar a cabo este análisis, el estudio utiliza varias técnicas de procesamiento de lenguaje natural y lectura cualitativa detallada. En particular, se identifica el apoyo y la disensión en las publicaciones que citan o co-citan los artículos retractados; además, se rastrean los términos conceptuales y su contexto de uso, y se analizan las funciones retóricas en los contextos de citación.

Los resultados muestran que en los casos con citas continuas, se encuentran tanto apoyo empírico como disputas no resueltas. Los autores tienden a destacar ciertos valores informativos en artículos que siguen siendo citados tras la retractación, mientras que en otros prevalecen argumentos metodológicos o afirmaciones generales. Esto sugiere que el impacto continuo de una cita no necesariamente perpetúa un daño epistemológico, sino que refleja una valoración entre el riesgo epistemológico y el valor informativo.

La IA generativa y la publicación científica. ¿Una tercera transformación?

Bergstrom, Tracy, y Dylan Ruediger. «A Third Transformation? Generative AI and Scholarly Publishing.» Ithaka S+R, 30 de octubre de 2024. https://sr.ithaka.org/publications/a-third-transformation/.

El informe A Third Transformation? Generative AI and Scholarly Publishing, publicado por Ithaka S+R y escrito por Tracy Bergstrom y Dylan Ruediger, examina el impacto potencial de la inteligencia artificial generativa en la industria de publicaciones académicas. A raíz de un informe anterior sobre la «segunda transformación digital» de la publicación académica, el nuevo informe explora cómo la IA generativa podría ser una «tercera transformación», cambiando la manera en que se realiza y comunica la investigación académica.

En 2023, aproximadamente el 1% de la literatura académica ya mostraba signos de haber sido creada parcialmente con IA generativa. Grandes editoriales han lanzado herramientas de búsqueda y descubrimiento potenciadas por IA, y también experimentan con su uso en procesos internos. El informe se basa en entrevistas con 12 líderes del sector, quienes ven la IA como una herramienta que mejorará la eficiencia en la redacción, revisión, edición y descubrimiento, acelerando así la investigación y la publicación académica.

El informe describe dos posibles futuros. En el primero, la IA generativa mejora la eficiencia sin cambiar fundamentalmente la industria. En el segundo, más transformador, la IA podría reconfigurar profundamente el sector, generando cambios que superen los de las transformaciones digitales previas. Aunque estos escenarios no se excluyen mutuamente, el informe sugiere que algunos aspectos de la publicación académica podrían experimentar cambios incrementales, mientras que otros serían profundamente alterados.

Contexto estratégico La publicación académica enfrenta oportunidades y desafíos debido a la IA generativa. Esta tecnología ofrece nuevas posibilidades, pero también genera incertidumbres y enfoques diversos entre las organizaciones.

Transición hacia la provisión de servicios El sector está evolucionando de un modelo centrado en la edición hacia uno basado en plataformas y servicios. La IA generativa acelera esta tendencia, promoviendo la integración de herramientas de descubrimiento, interpretación y escritura. Las plataformas ahora pueden ofrecer servicios completos para autores, investigadores y editores, como el asistente de Digital Science y el de Web of Science, que permiten búsqueda y resumen avanzados. También existen herramientas de IA como Paperpal y Writefull que mejoran la calidad de la escritura académica. La combinación de estas capacidades podría transformar a las editoriales en proveedores de infraestructura de investigación integral.

Revisión por pares La revisión por pares es un área clave donde la IA generativa puede ayudar a reducir la carga de trabajo al identificar revisores y revisar aspectos básicos de los manuscritos. Sin embargo, su implementación conlleva riesgos debido a posibles inexactitudes de la IA y la pérdida de la revisión experta y humana. Las editoriales exploran límites seguros para que la IA participe sin reemplazar la revisión humana. Además, deben abordarse preocupaciones de confidencialidad y de seguridad para su adopción.

Competencia y consolidación La IA generativa impacta la consolidación en el sector editorial. Las grandes editoriales están experimentando con la concesión de licencias de contenido para su uso en LLM comerciales, pero esto plantea riesgos estratégicos como la disminución de suscripciones. Las herramientas avanzadas de búsqueda, como Scopus AI, están cambiando la interacción de los investigadores con el contenido. La apertura del acceso también crea competencia con empresas tecnológicas que podrían reemplazar a las editoriales como principal fuente de contenido académico.

Desafíos éticos y de atribución El uso de IA generativa en la creación y edición plantea preguntas éticas sobre la atribución, reproducción y transparencia en la investigación. Varias editoriales han implementado políticas para limitar el uso de IA en la autoría y edición de contenidos, enfatizando la importancia de roles humanos en la investigación. La comunidad científica debe establecer normas claras para el uso de la IA en el proceso académico.

Futuro de la publicación académica La implementación de IA generativa podría reducir la dependencia de la interpretación humana en el proceso de publicación y fomentar una producción orientada a la legibilidad por máquinas, afectando así el propósito comunicativo de la publicación académica.

Bien Público Global de Confianza

La idea de que la investigación sea considerada un bien público global de confianza se ha visto desafiada en la última década por el fraude, la mala conducta y actividades maliciosas. La inteligencia artificial generativa ha intensificado las conversaciones sobre cómo mantener la confianza en la publicación académica. A pesar de los riesgos que plantea, muchos expertos ven en ella una oportunidad para hacer la publicación científica más accesible y útil como bien público.

Se considera que la inteligencia artificial generativa nivela el terreno de juego para autores y lectores. Los investigadores no angloparlantes están utilizando esta tecnología para mejorar la calidad de su escritura académica, lo que ha impactado negativamente a los proveedores de servicios de corrección de textos. Esto se percibe como un avance hacia la equidad y el acceso a revistas en inglés, facilitando la comunicación científica.

Además, hay interés en la posibilidad de automatizar la traducción, lo que permitiría que todo el registro académico sea accesible para hablantes de varios idiomas, ampliando así el mercado global de publicaciones.

Cálculo del Impacto

La segunda transformación digital ha establecido nuevos estándares, como los índices de citas, que podrían verse profundamente alterados por la inteligencia artificial generativa. Si los investigadores empiezan a utilizarla como un método intermedio para acceder al registro académico, esto podría afectar cómo se evalúa el impacto de la investigación.

Se identificó una necesidad urgente de desarrollar métricas que complementen los métricas COUNTER, las cuales son esenciales para las bibliotecas y las editoriales en relación con el valor de sus colecciones. Se plantearon dos desafíos principales:

  1. Limitaciones de las métricas tradicionales: Estas solo cuentan el compromiso con elementos que tienen un Identificador Único de Recurso (URI). La IA generativa promueve la creación de contenido personalizado, que es efímero y no deja un registro formal, lo que dificulta su conteo en las métricas tradicionales.
  2. Falta de medición del compromiso: Las métricas COUNTER no evalúan el nivel de compromiso con un recurso específico. Aunque permiten diferenciar entre investigaciones y solicitudes, no miden el compromiso prolongado. Con la inteligencia artificial generativa, será posible realizar múltiples consultas adaptativas a un mismo recurso, lo que sugiere la necesidad de desarrollar métricas que capturen la profundidad del compromiso de los investigadores con los recursos individuales.

Nuevas Oportunidades para la Infraestructura Compartida

Esta sección explora oportunidades para crear nuevas categorías de infraestructura compartida en el contexto del desarrollo de la inteligencia artificial generativa y su impacto en la publicación académica. A medida que la transformación digital avanza, es crucial establecer estándares y estructuras que aseguren la organización y mantenimiento del registro académico.

Eje del Registro Académico

El «eje del registro académico» se refiere a la necesidad de una infraestructura que vincule de manera persistente componentes atomizados de investigación, como preprints y conjuntos de datos. La llegada de modelos de lenguaje (LLMs) complica la citación y comprensión de la información, pues frecuentemente generan salidas que son difíciles de rastrear hasta su contexto original. A pesar de los beneficios de la automatización en la documentación de datos, existe el riesgo de que la publicación se vuelva más centrada en los datos, disminuyendo el valor de los editores.

Recomendaciones

  1. Colaboración y Estandarización: Se sugiere que las organizaciones de publicación colaboren en la creación de metadatos estandarizados que faciliten la citabilidad y transparencia de los contenidos generados por inteligencia artificial.
  2. Consenso en la Comunidad de Investigación: Las comunidades de investigación deben establecer acuerdos sobre cómo citar contenidos generados por IA y su valor histórico, priorizando la preservación.

Integridad de la Investigación

La falta de confiabilidad en el contenido subyacente a los LLMs plantea preocupaciones sobre la integridad del registro académico. A pesar de la disponibilidad de datos de alta calidad, los LLMs cometen errores y carecen de transparencia, lo que dificulta la confianza en los resultados de la investigación.

Se propone la necesidad de nuevos estándares que aseguren la consistencia y transparencia en el uso de herramientas de IA generativa. Además, las bibliotecas de investigación deben desempeñar un papel activo en garantizar la verificabilidad de la comunicación académica.

La tecnología de IA generativa también presenta desafíos para la detección de fraudes académicos, ya que puede facilitar la creación de contenido fraudulento. Sin embargo, también se sugiere que estas herramientas pueden fortalecer los metadatos y mejorar la calidad de los manuscritos.

Recomendaciones

  1. Fortalecimiento de la Calidad del Contenido: Las editoriales deben abogar por contenido de alta calidad y colaborar con proveedores de tecnología para establecer marcadores de confianza.
  2. Colaboración Interdisciplinaria: Se recomienda fomentar discusiones entre todos los actores del ciclo de investigación para garantizar la integridad de la investigación científica.

Generando Significado

El registro académico permite a diversas comunidades generar nuevo conocimiento. Sin embargo, con la llegada de LLMs, surge la pregunta sobre cómo afectará esto a la producción futura de investigación. Aunque la IA generativa democratiza el acceso a la información, también plantea interrogantes sobre el papel del investigador humano en la creación narrativa.

Las herramientas de IA generativa podrían transformar cómo se realiza la investigación, permitiendo la automatización de ideas y experimentos, lo que podría llevar a una transición hacia la investigación liderada por máquinas.

Recomendaciones

  1. Desarrollo de un Vocabulario Común: Se sugiere establecer un vocabulario común sobre el uso de trabajos generados por IA para facilitar la comprensión de los investigadores.
  2. Evolución de las Métricas de Impacto: Se recomienda financiar un estudio para investigar cómo deben evolucionar las métricas COUNTER para adaptarse a las nuevas realidades.

Modelos de Negocio Nuevos

La rápida innovación en el espacio de IA generativa requiere que las organizaciones de publicación adapten sus modelos de negocio. La falta de un entendimiento común sobre las oportunidades y riesgos de la IA generativa entre autores y editoriales ha generado la necesidad de un diálogo abierto.

Se observa que servicios como la corrección de textos y la traducción ya están experimentando disrupciones debido a la IA generativa, lo que plantea retos para las editoriales más pequeñas.

Recomendaciones

  1. Construcción de Comprensión Compartida: Las partes interesadas deben trabajar juntas para construir una comprensión compartida sobre el valor y los riesgos de la IA generativa en la comunicación académica.
  2. Servicios de Traducción de Calidad: Se recomienda que los servicios de traducción on-demand integrados en herramientas de IA generativa sean cuidadosamente evaluados para su uso en contextos académicos, considerando también los modelos de descuento para países no anglófonos.

Preprints revisados por pares y el modelo Publish-Review-Curate (PRC)

Bourguet, D. ; Guillemaud, T. «Peer-reviewed preprints and the Publish-Review-Curate model | Plan S». Accedido 29 de octubre de 2024. https://www.coalition-s.org/blog/peer-reviewed-preprints-and-the-publish-review-curate-model/.

El modelo tradicional de publicación científica enfrenta críticas crecientes por ser lento, poco transparente y controlado por un número limitado de editores y revisores. Este modelo, en el que los artículos pueden tardar meses o años en ser evaluados y aceptados para su publicación, ha sido señalado como ineficiente y, en algunos casos, obsoleto. En este contexto, han surgido alternativas como los preprints revisados por pares y el modelo Publish-Review-Curate (PRC), que buscan hacer el proceso de publicación más accesible, abierto y rápido.

Entre las alternativas emergentes se encuentran los preprints revisados por pares, en los que los autores suben versiones preliminares de sus artículos a servidores públicos antes de ser revisados formalmente. Esto permite que sus resultados estén disponibles de inmediato, acelerando la difusión del conocimiento. En la modalidad de preprints revisados, servicios especializados llevan a cabo la revisión formal de estos documentos y publican las evaluaciones de manera abierta. Ejemplos de estos servicios incluyen Review Commons, PREreview y Peer Community In (PCI), los cuales permiten que los lectores accedan tanto al artículo como a los comentarios de expertos en el campo, proporcionando una perspectiva crítica adicional.

El modelo Publish-Review-Curate (PRC) agrega una fase de curación que va más allá de la revisión. A diferencia del modelo de preprints revisados, el modelo PRC organiza los artículos en colecciones seleccionadas, que se presentan en revistas o plataformas específicas. La curación actúa como un filtro adicional que resalta aquellos artículos que cumplen con ciertos estándares de calidad, dándoles una mayor visibilidad. Sin embargo, esta curación no implica necesariamente una validación formal, sino que funciona como una recomendación de lectura para quienes estén interesados en el tema. Un ejemplo de este enfoque es el de eLife, donde los artículos se publican primero como preprints y, tras la revisión, no se les asigna una decisión de “aceptación” o “rechazo” tradicional, sino que se publican junto a revisiones y evaluaciones editoriales cualitativas.

Estos modelos alternativos, aunque ofrecen transparencia y accesibilidad, también introducen ambigüedades en torno a los conceptos de revisión y curación. Por un lado, la revisión por pares no siempre equivale a una validación; muchas veces, los lectores asumen que un artículo revisado por pares ha sido validado científicamente, cuando en realidad no siempre es así. Las revisiones brindan críticas constructivas, pero no necesariamente una evaluación concluyente, lo cual puede confundir a lectores menos familiarizados con el proceso. Por otro lado, la curación tampoco implica validación. Aunque se asocia con la selección de artículos destacados, no necesariamente significa que estos hayan pasado por una evaluación exhaustiva, lo cual puede inducir a error si el lector asume que todos los artículos curados son de alta calidad.

Para abordar estas ambigüedades, Peer Community In (PCI) propone un enfoque de validación binaria en el que cada artículo revisado recibe una decisión clara de «aceptación» o «rechazo». Este enfoque permite ofrecer a los lectores una señal inequívoca sobre la calidad y relevancia del artículo, lo que reduce el riesgo de malinterpretaciones sobre su nivel de validación. Dentro de este marco, PCI sugiere dos variantes del modelo PRC: en el primero, la curación implica validación (Publish-Review-Curate=Validate); en el segundo, la validación ocurre antes de la curación (Publish-Review=>Validate-Curate), lo que da al artículo ya validado una visibilidad adicional.

Comparado con el sistema tradicional, el modelo PRC con validación binaria ofrece diversas ventajas: elimina los largos retrasos al hacer los preprints públicos de inmediato; promueve la transparencia al hacer accesibles las revisiones; fomenta la equidad mediante criterios de evaluación abiertos; y permite una mayor diversidad de evaluadores, introduciendo múltiples perspectivas y reduciendo la centralización del proceso en un pequeño grupo de editores.

En conclusión, el modelo Publish-Review-Curate, especialmente cuando incorpora una validación binaria, se presenta como una alternativa robusta y transparente al modelo de publicación científica tradicional. A medida que estos modelos se ajusten y perfeccionen, es probable que ganen terreno dentro del ecosistema de investigación, proporcionando una respuesta a las limitaciones del sistema tradicional y ofreciendo mayor accesibilidad, rapidez y transparencia en la publicación científica.