Archivo por meses: octubre 2023

El Impacto de la Inteligencia Artificial Generativa en las Bibliotecas: salvaguardando la excelencia, abrazando la innovación

The Impact of Generative AI on Libraries. Clarivate, 2023

Texto completo

Existen preocupaciones y desafíos válidos en torno a la IA generativa, lo que ha llevado a un creciente debate sobre la regulación. Sin embargo, las bibliotecas académicas no pueden pasar por alto su potencial beneficio significativo. Con el objetivo de ofrecer un servicio óptimo a los usuarios, las bibliotecas están explorando cómo sus proveedores y suministradores de confianza pueden utilizar la IA generativa para ayudarles a lograr este objetivo.

Con avances en «descubrimiento conversacional», podemos permitir que las bibliotecas ofrezcan contenido y recomendaciones personalizados y autorizados a sus usuarios sin comprometer los valores fundamentales.

Descarga este informe técnico gratuito y aprenda:

  • Cómo mejorar el descubrimiento y los servicios de usuario enfatizando la transparencia, la acreditación adecuada y los derechos de propiedad intelectual.
  • Cómo mejorar los resultados de aprendizaje en un entorno de aprendizaje más inclusivo y holístico.
  • Cómo simplificar los flujos de trabajo de la biblioteca y potenciar las soluciones bibliotecarias.
  • Cómo mantenerse a la vanguardia de la transformación digital aprovechando los beneficios de la IA generativa en las bibliotecas académicas.

¿Podemos asegurarnos de que los sistemas de detección de la IA generativa sean precisos y justos?:

Statement on Principles for the Development and Use of Systems to Detect Generative AI Content. ACM, oct. 2023

Texto completo

Con el interés público centrado en tecnologías de IA generativa en constante aumento, algunos de los problemas más apremiantes giran en torno a preguntas como «¿Se está utilizando la IA generativa para crear imágenes y videos falsos?» y «¿Los estudiantes están utilizando la IA generativa para escribir trabajos y hacer trampa en los exámenes?» Por estas razones, hay una creciente demanda de sistemas que puedan detectar si una imagen, archivo de audio o trabajo escrito ha sido creado por un humano o un sistema de IA.

A pesar de que los sistemas de detección de IA están comenzando a proliferar, no existen estándares de la industria ni regulaciones gubernamentales que garanticen que estos sistemas sean precisos o justos. Debido a que el impacto de estos sistemas en las personas puede ser significativo, el Association for Computing Machinery’s US Technology Policy Committee (ACM USTPC) ha emitido una Declaración de Principios para el Desarrollo y Uso de Sistemas de Detección de Contenido de IA Generativa.

La introducción a la nueva Declaración de USTPC destaca diversos escenarios en los que sería deseable contar con sistemas para detectar contenido generado por IA. Por ejemplo, los empleadores que desean saber si se utilizó IA generativa para completar una solicitud de trabajo o las empresas de medios que intentan determinar si los comentarios publicados en plataformas fueron dejados por humanos o chatbots.

Al mismo tiempo, la Declaración señala que «la demanda de tales sistemas no es un indicador de su equidad o precisión». El comité continúa explicando que «ninguna tecnología de detección actualmente disponible es lo suficientemente confiable como para basar exclusivamente decisiones críticas, potencialmente alteradoras de la vida y la carrera…»

La declaración proporciona un contexto técnico sobre por qué no se puede garantizar la equidad y precisión de los sistemas de detección de IA generativa existentes y establece seis principios y recomendaciones específicos:

  1. Bajo riesgo de rechazos incorrectos y proceso de apelación impulsado por humanos: El uso de sistemas para detectar imágenes generadas por IA y otros medios que automáticamente marcan las presentaciones para su rechazo solo debe ser aceptable si estos sistemas de detección tienen un riesgo extremadamente bajo de rechazos incorrectos y si se proporciona un proceso de apelación impulsado por humanos.
  2. Presentaciones de alto riesgo: Generalmente no es apropiado rechazar automáticamente presentaciones de texto en circunstancias de alto riesgo que se clasifican como producidas por un sistema de IA generativa, incluso si se proporciona un proceso para apelar dichos rechazos. Ejemplos de presentaciones de alto riesgo incluyen (pero no se limitan a) tareas en el aula y solicitudes de admisión a una institución educativa, crédito o empleo.
  3. Códigos de conducta: Las entidades que utilizan sistemas de detección de IA generativa deben adoptar directrices, como códigos de conducta, manuales del empleado y códigos de honor ejecutables, que requieran que aquellos afiliados a la entidad cumplan con las políticas de IA de la organización.
  4. Impugnación de resultados: De acuerdo con declaraciones anteriores de USTPC, las personas deben tener la oportunidad de impugnar resultados siempre que se tome una decisión adversa sobre ellas, en su totalidad o en parte, basada en la salida de un sistema de IA.
  5. Formación adecuada: Los evaluadores de contenido humano deben recibir una formación adecuada de manera continua sobre los métodos y herramientas adecuados para validar el contenido presentado.
  6. Aumento de la financiación: Sería prudente y beneficioso aumentar la financiación del sector público y privado para la investigación sobre cómo desarrollar mecanismos de detección mejores, realizar análisis de impacto, realizar investigaciones de usuario y otros asuntos relacionados.

En palabras de Simson Garfinkel, autor principal de la declaración y presidente del Subcomité de Gobierno Digital de USTPC: «En principio, detectar texto e imágenes generados por la IA es un problema abierto. Aunque podría ser posible construir un sistema que pueda detectar el contenido generado por la IA de hoy, tal detector podría utilizarse para construir el sistema de generación de IA del mañana que evite dicha detección. Esta declaración se emite para agregar una voz de experiencia técnica al pánico moral sobre el uso de la IA generativa. Estamos diciendo que el texto e imágenes producidos por sistemas de IA generativa no pueden detectarse de manera confiable hoy. También alentamos a todas las instituciones a abstenerse de desplegar sistemas que pretendan detectar y descartar automáticamente materiales porque supuestamente fueron creados por un sistema de IA generativa».

Larry Medsker, presidente del Comité de Política Tecnológica de ACM de los Estados Unidos, agregó: «Esta nueva Declaración es parte de una serie continua que el Comité de Tecnología de ACM de los Estados Unidos publica para informar al público sobre las nuevas tecnologías y sus impactos en la sociedad. Recientemente, hemos estado especialmente activos en brindar aportes oportunos para abordar los nuevos desarrollos en IA». En esta línea, los miembros de USTPC han publicado “Principles for the Development, Deployment and Use of Generative AI” y “Statement on Principles for Responsible Algorithmic Systems.”

Además del autor principal Simson Garfinkel, los principales contribuyentes a la “Statement on Principles for the Development and Use of Systems to Detect Generative AI Content” incluyen a los miembros del comité Houssam Abbas, Andrew Appel, Harish Arunachalam, Ricardo Baeza-Yates, David Bauman, Ravi Jain, Carl Landwehr, Larry Medsker, Neeti Pokhriyal, Arnon Rosenthal y Marc Rotenberg.

Alfabetización informacional y normas técnicas: manual para bibliotecarios y educadores

Leachman, Chelsea; Rowley, Erin M.; Phillips, Margaret; and Solomon, Daniela, «Teaching and Collecting Technical Standards: A Handbook for Librarians and Educators» (2023). Purdue Information Literacy Handbooks. 5.

Texto completo

A pesar del papel crítico que desempeñan las normas en la academia y la fuerza laboral, hay poca información disponible sobre el desarrollo de la alfabetización en información sobre normas, que incluye la capacidad de comprender el proceso de estandarización; identificar tipos de normas; y localizar, evaluar y utilizarlas de manera efectiva. Junto con expertos de la Universidad Estatal de Washington, la Universidad de Buffalo y la Universidad Case Western Reserve, Phillips proporciona información de fondo para bibliotecarios y otros educadores sobre las normas técnicas, así como las mejores prácticas para el desarrollo de colecciones.

«Este libro ayudará a los bibliotecarios a navegar por las tareas complejas de construir un plan de estudios de alfabetización en información sobre normas y desarrollar una colección de biblioteca de normas. Estas áreas son especialmente importantes para los estudiantes de ingeniería y tecnología de la ingeniería, ya que las normas se incorporan en los requisitos de acreditación del programa ABET», dijo Phillips, quien se desempeña como enlace de las Bibliotecas con las escuelas de tecnología de la ingeniería, ingeniería industrial e ingeniería nuclear de Purdue, y se desempeña como bibliotecaria de normas.

El libro se publica a través de Purdue University Press como parte de los Manuales de Alfabetización en Información de Purdue. Las versiones en rústica y tapa dura están disponibles. «Como orgulloso partidario del acceso abierto, estamos comprometidos a liberar muchas de las versiones electrónicas de nuestros títulos de forma gratuita, incluida esta publicación reciente de Margaret Phillips y otros. Los Boilermakers pueden descargar la versión PDF completa a través de nuestro sitio web», dijo Justin Race, director de Purdue University Press. Recibe un 30% de descuento sobre el precio de venta al público cuando haces el pedido directamente a través de Purdue University Press utilizando el código de descuento PURDUE30.

Literacy Information Microsite: artículos de investigación de libre acceso sobre temas vitales como la alfabetización digital y la desinformación

Literacy Information Microsite 

Dado que cada vez se accede más a la comunicación y la información a través de las tecnologías digitales, la alfabetización digital es esencial para que las personas vivan, aprendan y trabajen en nuestra sociedad.

El recién inaugurado Micrositio de Información sobre Alfabetización está dedicado a abordar los problemas de la desinformación, la desinformación y la desinformación que prevalecen en el ámbito digital.

Esta plataforma ofrece artículos de investigación de libre acceso sobre temas vitales como la alfabetización digital, la censura, la propaganda, la sociedad digital, la ética de los medios de comunicación y los peligros de la desinformación. Para garantizar la pertinencia, los contenidos se actualizarán trimestralmente.

Valor y crecimiento del mercado de las revistas académicas de Acceso Abierto (OA) en 2023

Michael, Dan Pollock and Ann. «News & Views: Market Sizing Update 2023». Delta Think, 24 de octubre de 2023. https://deltathink.com/news-views-market-sizing-update-2023/.

Cada año, el Market Sizing de Delta Think analiza el valor del mercado de las revistas académicas de OA. Se trata de los ingresos generados por los proveedores o los costes incurridos por los compradores de contenidos.

Según estima la agencia el segmento de OA del mercado habrá crecido hasta algo más de 2.000 millones de dólares en 2022. Se trata de un fuerte crecimiento con respecto al año anterior, aunque es significativamente inferior al del año anterior. El mercado general de las revistas académicas apenas creció durante el mismo periodo.

Conclusiones principales

  • El mercado del OA creció hasta algo más de 2.000 millones de dólares en 2022.
    un crecimiento de algo más del 24% desde 2021. Esto supone aproximadamente dos tercios del crecimiento registrado en 2021.
  • El mercado total de revistas académicas creció un 0,4% en 2022, en comparación con su crecimiento a largo plazo de un solo dígito, entre el 2% y el 4%.
  • Dado el crecimiento excepcionalmente alto en 2020 y 2021, se esperaba una corrección en 2022.; sin embargo, el crecimiento de OA fue significativamente menor de lo que había sido anteriormente.

Tendencias

  • Se observa una ralentización del crecimiento en 2022, aunque los motores subyacentes del mercado siguen siendo fuertes.
  • El COVID-19 provocó un aumento significativo de la actividad editorial, mostrando volúmenes y tasas de crecimiento superiores a la media en 2020 y 2021.
  • El año pasado, los resultados de nuestra encuesta y los comentarios anecdóticos arrojaron mensajes contradictorios sobre las perspectivas para 2022. Muchos esperaban un crecimiento bajo en 2022, a medida que las cosas se corrigieran hacia las tendencias subyacentes. En efecto, 2022 registró un crecimiento notablemente inferior al del año anterior. Sin embargo, como el crecimiento subyacente de OA sigue siendo fuerte, las cifras de menor crecimiento de 2022 parecen elevadas si se toman de forma aislada.

La escandalosa censura en las prisiones de EE. UU. donde arrojan los libros considerados prohibidos a la basura

PEN America. «Reading Between the Bars», 25 de octubre de 2023. https://pen.org/report/reading-between-the-bars/.

Texto completo

Las cárceles censuran una cantidad asombrosa de libros y otros materiales de lectura, no solo por su contenido, sino por una amplia gama de razones caprichosas, que incluyen el tamaño de un libro o el color del papel de envoltura enviado por correo, según un nuevo informe de PEN America. «Leyendo Entre las Rejas: Un Análisis Profundo de la Censura en Prisiones» presenta un vistazo exhaustivo a las tácticas utilizadas por las prisiones para negar materiales de lectura a las personas encarceladas.

PEN America recomienda enérgicamente poner fin a la censura de libros en las prisiones y urge a los sistemas penitenciarios a ampliar el acceso a la literatura para todas las personas encarceladas. En respuesta a sus hallazgos, PEN America, en colaboración con otras organizaciones, está lanzando la Semana de Libros Prohibidos en Prisiones a partir de hoy hasta el próximo martes.

Este informe amplía el trabajo anterior de PEN America documentando la censura en las prisiones. En «Literatura Encerrada», publicado en 2019, PEN America definió por primera vez la «censura neutral al contenido» y documentó su uso en todo Estados Unidos. Estas restricciones se basan no en el contenido de ciertos libros, sino en todas las demás formas en que los funcionarios de prisiones censuran los materiales de lectura.

El nuevo informe se basa en solicitudes de libertad de información (FOIA) a los sistemas penitenciarios de cada estado de EE. UU., al Distrito de Columbia y al Buró Federal de Prisiones, así como en entrevistas con el personal de las salas de correo de las prisiones y narraciones de personas encarceladas. La investigación revela la censura llevada a cabo en prisiones donde los libros son literalmente arrojados a la basura por el personal. A pesar de la falta de un registro oficial en algunos estados, el informe documentó una amplia censura en prisiones de contenido, que incluye libros médicos, libros de arte, diccionarios y otros materiales de referencia. La razón más común citada para censurar el contenido fue «sexualmente explícito», que se utilizó para negar revistas populares, libros de dibujo, libros médicos y diccionarios.

Florida lidera en los 28 estados que recopilan información sobre títulos censurados con 22.825 libros prohibidos, seguida por Texas con 10.265 títulos y Kansas con 7.699 títulos hasta 2021, los últimos datos disponibles.

De estos 28 estados que registran títulos prohibidos en prisiones, un libro de cocina, «Prison Ramen», que es una colección de recetas para fideos ramen (algunas contribuidas por presos anónimos y otras de figuras reconocidas como Shia LaBeouf), es el más frecuentemente prohibido (en 19 estados). «Prison Ramen» fue escrito por el actor Clifton Collins Jr. y Gustavo «Goose» Alvarez, un ex recluso de California. El galardonado actor Samuel L. Jackson escribió el prólogo de la edición en rústica de 2015. «Las 48 Leyes del Poder» de Robert Greene, autor más vendido del New York Times de libros de autoayuda, le sigue como el segundo título más prohibido (en 18 estados). «El Arte de la Guerra», un texto militar del siglo V a.C., también es frecuentemente prohibido en las prisiones.

PEN America también descubrió que las prisiones están limitando cada vez más a los vendedores de libros autorizados para enviar libros a las prisiones a un puñado de «vendedores aprobados». Esta práctica es una especie de restricción neutral al contenido y ha aumentado exponencialmente desde 2015, cuando el 30 por ciento de las prisiones no permitían libros de organizaciones sin fines de lucro, librerías independientes, familiares y amigos. En 2023, PEN America descubrió que el 84 por ciento de las prisiones ahora requieren que los libros sean comprados a vendedores que el estado o prisiones específicas seleccionan de manera opaca sin publicar criterios para sus elecciones ni proporcionar pasos para que los vendedores de libros sean aprobados. La escala de esta censura es ampliamente desconocida debido a la falta de registros. Idaho es el único estado que realiza un seguimiento de la censura de vendedores aprobados y, en el primer año en que se implementó la política, el estado negó un libro por cada cuatro personas encarceladas.

Otros hallazgos importantes en la investigación revelaron:

La prohibición de vendedores aprobados está en aumento y supera a las prohibiciones de contenido en la limitación de la literatura para las personas encarceladas. La razón más común para la censura basada en el contenido es «sexualmente explícito», lo que en la práctica censura libros de arte, libros médicos y de dibujo, entre otros. La falta de documentación significa que la verdadera extensión de la censura carcelaria es probablemente exponencialmente mayor que los números presentados en el informe, que se encontraron que eran extremadamente altos.

El informe incluye varias recomendaciones de políticas centradas en reducir las barreras al acceso a la literatura en prisión, incluida la promoción de la Ley de Bibliotecas de Prisión federal (H.R. 2825), que insta a los legisladores estatales a redactar legislación de acuerdo con las normas actualizadas recientemente de la Asociación de Bibliotecas de América. Entre otros aspectos, la Ley de Bibliotecas de Prisión permite que las prisiones se asocien con bibliotecas públicas locales y requiere que las prisiones acepten libros donados, algo que muchas instalaciones actualmente rechazan.

Recomendaciones de COAR para promover buenas prácticas para los repositorios en la gestión de contenidos multilingües y en lengua no inglesa

Shearer, Kathleen. «Multilingual and Non-English Content». COAR. Accedido 31 de octubre de 2023. https://www.coar-repositories.org/news-updates/what-we-do/multilingual-and-non-english-content/.

El multilingüismo es fundamental para que el panorama de las comunicaciones de investigación sea sano, integrador y diverso. Tras décadas de políticas que han orientado a los investigadores a publicar en inglés, estamos empezando a ver una inversión de esta tendencia. La Recomendación de la UNESCO sobre la Ciencia Abierta, por ejemplo, pide a los Estados miembros que fomenten «el multilingüismo en la práctica de la ciencia, en las publicaciones científicas y en las comunicaciones académicas». En China, Europa y otras jurisdicciones, los responsables políticos están introduciendo nuevas medidas que animan a los investigadores a publicar en las lenguas locales.

En agosto de 2022, el COAR puso en marcha el Grupo de Trabajo COAR sobre Apoyo al Multilingüismo y a los Contenidos en Lengua No Inglesa en los Repositorios para desarrollar y promover buenas prácticas para los repositorios en la gestión de contenidos multilingües y en lengua no inglesa. Basándose en 17 casos de uso aportados por diferentes comunidades de interesados (gestores y usuarios de repositorios, autores y traductores, agregadores y sistemas de localización), el Grupo de Trabajo identificó tres áreas relevantes para su labor:

  • Mejora de la visibilidad de los contenidos en lengua no inglesa.
  • Conservación de contenidos multilingües en un repositorio
  • Apoyo a las traducciones


En junio de 2023, el Grupo de Trabajo publicó un primer borrador de recomendaciones para su revisión por parte de la comunidad. La consulta dio lugar a una amplia gama de aportaciones, que fueron revisadas por el Grupo de Trabajo e incorporadas al documento de recomendaciones. Este documento presenta las recomendaciones actualizadas basadas en las aportaciones de la comunidad. Las recomendaciones identifican buenas prácticas para los gestores de repositorios y los desarrolladores de software para repositorios, y se centran en los temas de metadatos, palabras clave multilingües, interfaces de usuario, formatos y licencias que mejorarán la visibilidad, el descubrimiento y la reutilización del contenido de los repositorios en una variedad de idiomas.

Resumen de recomendaciones

Las recomendaciones proporcionadas se refieren a la creación y curación de metadatos para repositorios, y también abordan sugerencias para desarrolladores de software/plataforma de repositorios. Aquí tienes un resumen de los puntos clave:

Creación y Curación de Metadatos:

  1. Declarar el idioma del recurso a nivel del elemento: Especificar claramente el idioma del recurso en los metadatos.
  2. Declarar el idioma de los metadatos (por ejemplo, atributo xml:lang): Indicar el idioma de los metadatos utilizando atributos apropiados.
  3. Utilizar códigos de idioma estándar: Utilizar códigos de idioma estándar de dos o tres letras (ISO 639) para mantener la consistencia.
  4. Habilitar el soporte UTF-8 y utilizar el alfabeto o sistema de escritura original: Asegurarse de que el repositorio admita la codificación UTF-8 y utilizar el sistema de escritura original siempre que sea posible. Si es necesario transliterar los metadatos, seguir estándares reconocidos (por ejemplo, ISO).
  5. Configurar múltiples idiomas de interfaz: Si el software del repositorio lo permite, proporcionar interfaces de usuario en el idioma nativo del público objetivo, además del inglés.
  6. Utilizar sistemas de escritura de los documentos depositados y proporcionar identificadores persistentes para nombres personales: Emplear el sistema de escritura utilizado en los documentos depositados para los nombres personales y ofrecer identificadores persistentes como ORCID para una identificación inequívoca.
  7. Incluir palabras clave en varios idiomas: Utilizar vocabularios y tesauros multilingües para enriquecer los metadatos con palabras clave en varios idiomas.
  8. Recomendaciones para gestores de repositorios sobre contenido traducido: Estas recomendaciones pueden contener orientación sobre cómo gestionar contenido traducido en el repositorio.

Para Desarrolladores de Software/Plataforma de Repositorios:

  1. Uso coherente de códigos de idioma: Asegurarse de que se apliquen de manera consistente los códigos de idioma en las colecciones del repositorio para metadatos estandarizados.
  2. Exponer el idioma de los metadatos a través de protocolos de intercambio: Garantizar que el idioma de los metadatos se exponga a través de protocolos de intercambio de metadatos como OAI-PMH, GraphQL API, etc.
  3. Mejorar el soporte de códigos de idioma ISO: Mejorar el soporte de códigos de idioma ISO, incluyendo códigos de tres letras para idiomas que los requieran.
  4. Exponer identificadores persistentes a través de OAI-PMH: Permitir la exposición de identificadores persistentes (por ejemplo, ORCID) a través de OAI-PMH según las recomendaciones del grupo de trabajo PIDs en Dublin Core™.
  5. Soportar palabras clave multilingües: Mejorar la capacidad de descubrimiento ofreciendo soporte para palabras clave en varios idiomas. Por ejemplo, habilitar la integración en tiempo real con Wikidata para sugerir términos relevantes cuando los usuarios introduzcan metadatos.
  6. Asignación automática de términos controlados: Implementar mecanismos para la asignación automática de términos controlados basados en los metadatos existentes, lo que puede facilitar el proceso de curación.

Estas recomendaciones tienen como objetivo mejorar la calidad y accesibilidad de los metadatos en los repositorios y facilitar la organización y recuperación de contenido multilingüe y estandarizado.

Investigadores de la Universidad de Stanford diseñan un modelo de revisión por pares utilizando ChatGPT-4 con resultados sorprendentes

Stanford HAI. «Researchers Use GPT-4 To Generate Feedback on Scientific Manuscripts». Accedido 31 de octubre de 2023. https://hai.stanford.edu/news/researchers-use-gpt-4-generate-feedback-scientific-manuscripts.

Combinando un amplio modelo lingüístico (LLM) y artículos científicos revisados por pares de código abierto, investigadores de Stanford han creado una herramienta basada en inteligencia Artificial que esperan pueda ayudar a otros investigadores a pulir y mejorar sus borradores.

La investigación científica tiene un problema con poder disponer de pares que analicen la validez de los artículos. No hay suficientes revisores cualificados para evaluar todos los estudios. Este problema afecta sobre todo a los investigadores jóvenes y a los de instituciones menos conocidas, que a menudo no tienen acceso a mentores experimentados que puedan dar su opinión a tiempo. Además, muchos estudios científicos son rechazados sumariamente sin revisión por pares.

Intuyendo una crisis creciente en una época de aumento de los estudios científicos, investigadores de IA de la Universidad de Stanford han utilizado el gran modelo lingüístico GPT-4 y un conjunto de datos de miles de artículos publicados anteriormente -repletos de los comentarios de sus revisores- para crear una herramienta que pueda «revisar previamente» los borradores de manuscritos.

«Esperamos que los investigadores puedan utilizar esta herramienta para mejorar sus borradores antes de presentarlos oficialmente a congresos y revistas», afirma James Zou, profesor adjunto de Ciencia de Datos Biomédicos en Stanford y miembro del Instituto de IA Centrada en el Ser Humano (HAI) de Stanford. Zou es el autor principal del estudio, publicado recientemente en arXiv.

Los investigadores empezaron comparando los comentarios realizados por un gran modelo lingüístico con los de revisores humanos. Afortunadamente, una de las revistas científicas más importantes, Nature, y sus quince subrevistas (Nature Medicine, etc.), no sólo publica cientos de estudios al año, sino que incluye los comentarios de los revisores de algunos de esos trabajos. Y Nature no es la única. La International Conference on Learning Representations (ICLR) hace lo mismo con todos los trabajos -tanto los aceptados como los rechazados- de su conferencia anual sobre aprendizaje automático.

«Entre los dos, curamos casi 5.000 estudios y comentarios revisados por pares para compararlos con los comentarios generados por GPT-4», dice Zou. «El modelo lo hizo sorprendentemente bien».

Las cifras se asemejan a un diagrama de Venn de comentarios superpuestos. Entre los cerca de 3.000 artículos de la familia Nature incluidos en el estudio, había una intersección entre GPT-4 y los comentarios humanos de casi el 31 por ciento. En el caso de ICLR, las cifras eran aún mayores: casi el 40% de los comentarios de GPT-4 y humanos coincidían. Es más, si se consideran únicamente los artículos rechazados del ICLR (es decir, los artículos menos maduros), el solapamiento de comentarios entre GPT-4 y humanos aumentó hasta casi el 44%: casi la mitad de todos los comentarios de GPT-4 y humanos coincidían.

La importancia de estas cifras se hace más patente si se tiene en cuenta que, incluso entre los humanos, existe una variación considerable entre los comentarios de los distintos revisores de un mismo artículo. El solapamiento entre humanos fue del 28% en las revistas Nature y del 35% en ICLR. Según estos parámetros, el rendimiento de GPT-4 es comparable al de los humanos.

Pero aunque las comparaciones entre ordenadores y humanos son instructivas, la verdadera prueba es si los autores de los artículos revisados valoran los comentarios aportados por uno u otro método de revisión. El equipo de Zou llevó a cabo un estudio de usuarios en el que investigadores de más de 100 instituciones enviaron sus artículos, incluidos muchos preprints, y recibieron los comentarios de GPT-4. La mitad de los investigadores participantes consideraron que GPT-4 era el método más eficaz. Más de la mitad de los investigadores participantes consideraron que los comentarios de GPT-4 eran «útiles/muy útiles» y el 82 por ciento los consideraron «más beneficiosos» que ciertos comentarios de algunos revisores humanos.

En el artículo, Zou se apresura a señalar que el método tiene sus limitaciones. En particular, los comentarios de GPT-4 pueden ser a veces más «genéricos» y no detectar los problemas técnicos más profundos del artículo. El GPT-4 también tiende a centrarse sólo en aspectos limitados de los comentarios científicos (por ejemplo, «añadir experimentos con más conjuntos de datos») y se queda corto a la hora de profundizar en los métodos de los autores.

Zou insistió en que el equipo no está sugiriendo que la GPT-4 elimine al «experto humano (par)» de la revisión por pares y sustituya a la revisión humana. La revisión por expertos humanos «es y debe seguir siendo» la base de la ciencia rigurosa, afirma.

«Pero creemos que la retroalimentación de la IA puede beneficiar a los investigadores en las primeras etapas de la redacción de sus artículos, sobre todo si se tienen en cuenta las crecientes dificultades para obtener a tiempo la opinión de los expertos sobre los borradores», concluye Zou. «Desde ese punto de vista, creemos que GPT-4 y la retroalimentación humana se complementan bastante bien».

Perspectivas de las Humanidades sobre la Inteligencia Artificial

Humanities Perspectives on Artificial Intelligence (AI), National Endowment For the Humanities (NEH), 2023

Acceder a la noticia

National Endowment For the Humanities (NEH) anuncia hoy una nueva e importante iniciativa de investigación, Humanities Perspectives on Artificial Intelligence (Perspectivas de las Humanidades sobre la Inteligencia Artificial). En el marco de esta iniciativa, la NEH apoyará proyectos de investigación que traten de comprender y abordar las implicaciones éticas, jurídicas y sociales de la inteligencia artificial (IA). El NEH está especialmente interesado en proyectos que exploren el impacto de las tecnologías relacionadas con la IA en la verdad, la confianza y la democracia; la seguridad y la protección; y la privacidad, los derechos civiles y las libertades civiles.

La IA es una de las tecnologías más potentes de nuestro tiempo. Las cuestiones sobre las implicaciones éticas, jurídicas y sociales de la IA están fundamentalmente enraizadas en las humanidades, que incluyen la ética, el derecho, la historia, la filosofía, la antropología, la sociología, el estudio de los medios de comunicación y los estudios culturales. De hecho, la legislación fundacional del NEH encomienda a la agencia hacer que el pueblo estadounidense sea «dueño de su tecnología y no su sirviente irreflexivo».

La iniciativa Perspectivas Humanas de la Inteligencia Artificial del NEH responde a la Executive Order on Safe, Secure, and Trustworthy Artificial Intelligence del Presidente Biden, que establece nuevas normas para la seguridad de la IA, protege la privacidad de los estadounidenses y fomenta la equidad y los derechos civiles. La inversión del NEH en la investigación de la IA también está en consonancia con las prioridades de la Administración Biden-Harris en materia de investigación y desarrollo (I+D) sobre IA, tal y como se recoge en el National AI R&D Strategic Plan de la Casa Blanca publicado a principios de este año.

«El rápido desarrollo de la inteligencia artificial tiene consecuencias de gran alcance para la sociedad, la cultura y la democracia estadounidenses», declaró la Presidenta del NEH, Shelly C. Lowe (Navajo). «Las humanidades proporcionan la brújula ética y el contexto histórico para ayudarnos a comprender todas las implicaciones de las tecnologías de IA, dando tanto a los creadores como a los usuarios de la IA las herramientas necesarias para navegar por sus riesgos y recompensas de manera responsable, crítica y deliberada.»

La iniciativa Humanities Perspectives on Artificial Intelligence del NEH apoyará numerosos proyectos de humanidades relacionados con la IA a través de las siguientes oportunidades de financiación:

  • Las universidades u organizaciones de investigación independientes que estén considerando establecer un centro de investigación centrado en la investigación humanística de la IA deberían considerar el programa de subvenciones más reciente del NEH,  Humanities Research Centers on Artificial Intelligence. Esta oportunidad de financiación ofrece hasta 750.000 dólares para apoyar la creación de centros de investigación en humanidades centrados en las implicaciones éticas, jurídicas o sociales de la inteligencia artificial.
  • Los académicos individuales o los equipos académicos con sede en una institución (por ejemplo, colegios y universidades) pueden considerar Peligros y oportunidades de la tecnología: Perspectivas desde las Humanidades. Los investigadores independientes o afiliados a una institución pueden solicitar becas, premios para profesores de HBCU, HSI y TCU, estipendios de verano o becas públicas.
  • Los equipos de colaboración interesados en planificar un proyecto internacional de investigación sobre IA o en organizar una reunión académica sobre IA deben considerar la investigación en colaboración.
  • Las instituciones interesadas en acoger programas de desarrollo profesional sobre las últimas investigaciones relacionadas con la IA humanística deben considerar los Institutos de Temas Avanzados en Humanidades Digitales.