Archivo de la etiqueta: Inteligencia artificial

Un informe de la Royal Society advierte que la dependencia excesiva de herramientas de IA «opacas» en la investigación podría afectar la fiabilidad de los hallazgos científicos

«Science in the age of AI : How artificial intelligence is changing the nature and method of scientific research». Royal Society, accedido 30 de mayo de 2024. https://royalsociety.org/news-resources/projects/science-in-the-age-of-ai/.

Informe

El informe «The Science in the Age of AI» de la academia nacional de ciencias del Reino Unido analiza las oportunidades y desafíos del aprendizaje automático y los modelos de lenguaje grande como herramientas transformadoras para la investigación del siglo XXI.

Desde la codificación y el análisis estadístico hasta la generación de nuevas perspectivas a partir de grandes conjuntos de datos, las herramientas de IA ya están transformando campos como el descubrimiento de fármacos y la modelización climática.

Sin embargo, el informe advierte que la complejidad y la naturaleza de «caja negra» de los modelos sofisticados de aprendizaje automático significa que los investigadores que los utilizan no siempre pueden explicar sus resultados.

Esto no impide que la IA genere conocimientos útiles. No obstante, un creciente número de estudios irreproducibles basados en IA y aprendizaje automático plantea dudas sobre la solidez de sus conclusiones.

En última instancia, el informe advierte que las tecnologías de IA poco fiables o no fidedignas suponen riesgos para la ciencia y la confianza de la sociedad en sus hallazgos.

Para mitigar estos desafíos y maximizar los beneficios que puede aportar la IA, el informe recomienda:

  • Establecer marcos de trabajo abiertos en ciencia, medio ambiente y ética para la investigación basada en IA, a fin de garantizar que los hallazgos sean precisos, reproducibles y apoyen el bien público. Esto podría incluir acuerdos para que los datos con los que se entrenan los modelos de IA estén disponibles para los investigadores, o ejercicios de «equipos rojos» para probar los límites de su uso.
  • Invertir en infraestructuras regionales y multisectoriales de IA al estilo del CERN, para garantizar que todas las disciplinas científicas puedan acceder a la potencia de cálculo y a los recursos de datos necesarios para llevar a cabo una investigación rigurosa y mantener la competitividad de los investigadores no pertenecientes a la industria.
  • Promover la alfabetización en IA entre los investigadores y la colaboración con los desarrolladores para garantizar su accesibilidad y facilidad de uso.

El informe revisado por pares fue dirigido por un grupo de trabajo de expertos formado por académicos y representantes de la industria, e incluyó revisiones de pruebas, entrevistas y talleres sobre las aplicaciones emergentes y las tendencias en materia de IA, los riesgos de seguridad y el panorama de las patentes.

Hacia una alfabetización en IA ‘Más allá de lo digital’

Jiang, Jialei, Matthew A. Vetter, y Brent Lucia. «Toward a ‘More-Than-Digital’ AI Literacy: Reimagining Agency and Authorship in the Postdigital Era with ChatGPT». Postdigital Science and Education, 24 de mayo de 2024. https://doi.org/10.1007/s42438-024-00477-1.

la alfabetización en IA «Más allá de lo digital» prepara a las personas para prosperar en un mundo moldeado por la IA. Se trata de ir más allá de los aspectos técnicos de la IA y comprender su impacto en todos los aspectos de la vida humana.

Este artículo explora el potencial de una perspectiva ‘más-que-digital’ sobre la agencia y la autoría en la era postdigital. Al examinar las narrativas de los estudiantes sobre sus interacciones con ChatGPT, esta investigación contribuye a la conversación académica en curso sobre la relación entre humanos e IA en contextos educativos. El estudio analiza las percepciones de los estudiantes universitarios sobre la agencia y la autoría a través de un proyecto de escritura asistido por IA. Empleando un análisis narrativo, el artículo argumenta que los estudiantes adoptan una posición justa hacia su uso de ChatGPT durante el proceso de escritura, una postura que permite abordar la tendencia de atribuir la influencia de objetos o máquinas únicamente a las percepciones humanas y el problema de otorgar excesiva autoridad a objetos o máquinas.

Concluye el artículo con implicaciones pedagógicas para fomentar un enfoque ‘más-que-digital’ hacia la alfabetización crítica en IA. Además, el artículo ofrece implicaciones para la futura investigación de proyectos de escritura asistidos por IA, con un enfoque en la integración reflexiva de tecnologías de IA para fomentar la alfabetización crítica entre los estudiantes universitarios.

El artículo propone un enfoque «postdigital» para la alfabetización crítica en inteligencia artificial (IA). Este enfoque se basa en la «posición justa» de Latour (2004), que reconoce la interacción compleja entre la tecnología y los procesos sociales.

Puntos clave del enfoque postdigital:

  • La alfabetización en IA va más allá del consumo pasivo de contenido generado por IA e implica la participación activa en procesos creativos impulsados por IA.
  • Herramientas como ChatGPT fomentan la co-creación entre humanos y máquinas, desafiando las nociones tradicionales de autoría individual.
  • Se adopta una «posición justa» sobre la autoría, reconociendo la colaboración entre humanos y máquinas en la creación de significado y expresión.
  • La alfabetización en IA implica dimensiones éticas y sociomateriales de la colaboración humano-máquina y su impacto en la escritura y la creatividad.

¿Cómo fomentar la alfabetización crítica en IA en el aula?

  • Comprensión de las dimensiones sociales y éticas: La IA no existe en el vacío. Tiene implicaciones sociales y éticas que deben considerarse. La alfabetización en IA «Más allá de lo digital» equipa a las personas para pensar críticamente sobre el sesgo en la IA, su impacto en el trabajo y la sociedad, y las cuestiones de privacidad y seguridad de los datos.
  • Habilidades para la navegación crítica: Más que simplemente aceptar la IA a su valor nominal, la alfabetización en IA «Más allá de lo digital» implica desarrollar habilidades para evaluar críticamente la información generada por IA y comprender las limitaciones de los sistemas de IA. Esto incluye ser capaz de identificar el sesgo, verificar la precisión y cuestionar las suposiciones subyacentes a los algoritmos de IA.
  • Conciencia de la co-evolución: La IA y la sociedad están en una relación evolutiva. A medida que la IA se vuelve más sofisticada, también lo deben hacer las habilidades de las personas para interactuar con ella de manera efectiva. La alfabetización en IA «Más allá de lo digital» es un proceso continuo de aprendizaje y adaptación.

Conclusión:

Los docentes deben involucrarse en diálogos significativos con los estudiantes sobre el uso de la IA en la escritura. Es necesario integrar debates críticos sobre autoría y agencia en las tareas, actividades y políticas de los cursos. La alfabetización crítica en IA exige de los educadores aprender a diferenciar las tecnologías de IA generativas según sus funciones pedagógicas, personales y prácticas.

Las investigaciones futuras podrían analizar el impacto a largo plazo de la integración de la IA en la educación, la evolución de la percepción de los estudiantes sobre la agencia y la autoría, y la efectividad de diferentes enfoques pedagógicos para fomentar la alfabetización crítica en IA. Estudiar las experiencias de estudiantes con diversos entornos lingüísticos y culturales también enriquecería la comprensión de la interacción entre escritores humanos y tecnologías de IA. Al abordar estas líneas de investigación, se puede avanzar en la comprensión de la alfabetización en IA en la era postdigital y promover prácticas educativas que ayuden a los estudiantes a navegar de manera más eficaz las complejidades de las interacciones humano-máquina.

Investigadores de Google afirman que la IA lidera ahora el vector de la desinformación

Maiberg ·, Emanuel. «Google Researchers Say AI Now Leading Disinformation Vector (and Are Severely Undercounting the Problem)». 404 Media, 28 de mayo de 2024. https://www.404media.co/google-says-ai-now-leading-disinformation-vector-and-is-severely-undercounting-the-problem/.

Una nueva investigación realizada por investigadores de Google y varias organizaciones de verificación de hechos ha revelado que la mayoría de la desinformación basada en imágenes es ahora generada por inteligencia artificial (IA). Sin embargo, la forma en que se recopiló la información sugiere que el problema podría ser aún peor de lo que se afirma.

Un estudio reciente, realizado principalmente por autores de Google, encontró que casi el 80% de las afirmaciones verificadas están relacionadas con algún tipo de medio, especialmente video. Este incremento en desinformación mediática se ha acelerado con la llegada de herramientas de IA como ChatGPT.

El estudio, identificado por primera vez por el boletín Faked Up, mide el aumento de la desinformación generada por IA al analizar las afirmaciones de desinformación basadas en imágenes verificadas por sitios como Snopes y Politifact. En total, el estudio revisa 135.838 verificaciones de hechos que datan de 1995, aunque la mayoría de las afirmaciones fueron creadas después de 2016, tras la introducción de ClaimReview. ClaimReview es un sistema de etiquetado que permite a los verificadores de hechos y editores marcar desinformación para plataformas como Google, Facebook, Bing, entre otras.

El flujo interminable de respuestas generadas por IA de Google, que son incorrectas y a veces peligrosas, se está volviendo viral en las redes sociales, exacerbando la propagación de desinformación. El gráfico más revelador del estudio muestra la “prevalencia de los tipos de manipulación de contenido como una función de las manipulaciones generales de contenido”. En otras palabras, muestra los diferentes tipos de desinformación basada en imágenes y cuán comunes son a lo largo del tiempo.

Como se puede ver en el gráfico, la desinformación basada en imágenes generadas por IA no era un problema hasta finales de 2023, cuando los generadores de imágenes por IA se volvieron ampliamente disponibles y populares, punto en el cual prácticamente reemplazaron todas las demás formas de desinformación basada en imágenes. El gráfico también muestra que hay un ligero aumento en el número total de muestras de desinformación basada en imágenes que corresponde con el aumento de las imágenes de IA, pero solo ligeramente.

«Curiosamente, el aumento de las imágenes de IA no produjo un incremento en la proporción general de reclamaciones de desinformación que dependen de imágenes durante este período, y la desinformación basada en imágenes continuó disminuyendo de manera relativa a medida que creció la desinformación basada en videos», dice el artículo.

Según el artículo, el problema de las imágenes generadas por IA podría ser aún peor porque la muestra de datos se basa en los datos públicos de los verificadores de hechos, que no seleccionan al azar la desinformación basada en imágenes generadas por IA. Sitios como Snopes y Politifact, que tienen recursos limitados, se centran en verificar imágenes que han alcanzado cierto grado de viralidad o cobertura de noticias, por lo que sus verificaciones de hechos cumplen un propósito o una audiencia. Históricamente, los verificadores de hechos también se enfocan en la desinformación en inglés, permitiendo que la desinformación en otros idiomas se convierta en un problema mayor. Esta muestra subestimaría la avalancha de imágenes generadas por IA que vemos en plataformas como Facebook a diario y que a veces no se informan.

El advenimiento de los generadores de imágenes por IA ha creado un problema no solo con la desinformación generada por IA, sino también con el spam generado por IA. Los sitios de verificación de hechos a menudo solo tienen capacidad para verificar imágenes que se vuelven virales o que se están difundiendo ampliamente. Pero hemos visto que los generadores de imágenes por IA permiten la creación masiva de muchas variaciones de una imagen dada, no todas las cuales se vuelven virales.

Otra forma en que el problema de la desinformación generada por IA podría ser incluso peor de lo que encontró el estudio es que las imágenes generadas por IA podrían estar incluidas en videos. “Históricamente, las imágenes eran la modalidad dominante asociada con las reclamaciones de desinformación; sin embargo, los videos se volvieron más comunes a partir de 2022 y ahora participan en más del 60% de las reclamaciones verificadas que incluyen medios”, dice el estudio. Pero el estudio no tiene en cuenta el hecho de que la desinformación en videos podría estar compuesta en parte o totalmente de imágenes generadas por IA. Incluso el Partido Republicano de los EE. UU. comenzó a usar videos compuestos enteramente por imágenes generadas por IA en videos oficiales de campaña desde el año pasado.

“Originalmente queríamos aplicar anotaciones similares a la desinformación basada en videos también, pero resultó demasiado complejo de manejar y la tarea se volvió demasiado elaborada y consume mucho tiempo, por lo que terminamos con un esfuerzo ligeramente más enfocado”, dijo Dufour.

Nuevamente, será difícil obtener una imagen completamente precisa de cuán grave es el problema de la desinformación generada por IA porque es mucho más laborioso encontrar y revisar estas imágenes que producirlas. Tampoco ayuda que Google esté promoviendo contenido generado por IA que no necesariamente es lo que consideramos desinformación política, pero que está simplemente incorrecto, ya sea libros generados por IA o resultados de búsqueda que dicen a los usuarios que coman pegamento.

Directrices para académicos buscan reducir los riesgos éticos en el uso de IA generativa

Drew, Liam. «Guidelines for Academics Aim to Lessen Ethical Pitfalls in Generative-AI Use». Nature, 22 de mayo de 2024. https://doi.org/10.1038/d41586-024-01543-1.

Investigadores del Reino Unido están desarrollando un nuevo conjunto de herramientas para ayudar a los académicos a utilizar la inteligencia artificial generativa (IA generativa) de manera más ética.

Wendy Moncur, investigadora en ciberseguridad de la Universidad de Strathclyde en Glasgow, lidera este proyecto. La falta de orientación en el uso de herramientas de IA generativa ha llevado a Moncur y su equipo a considerar la necesidad de un conjunto de directrices que aborden las fortalezas y amenazas de estas tecnologías.

El proyecto se centra en los problemas que pueden surgir cuando se utilizan herramientas de IA generativa, como ChatGPT de OpenAI y Gemini de Google, para analizar y procesar información personal de voluntarios en estudios. Moncur y su equipo están utilizando herramientas de IA generativa para crear materiales educativos basados en las historias de los participantes, pero se preocupan por el riesgo de que la información anonimizada pueda ser reidentificada y distorsionada por la IA.

Las inquietudes de Moncur la llevaron a colaborar con científicos informáticos y un académico en derecho para desarrollar soluciones. Financiado por el Centro Nacional de Investigación del Reino Unido sobre Privacidad, Reducción de Daños e Influencia Adversarial en Línea, el proyecto de diez meses busca crear directrices para investigadores y comités de ética universitarios, con fecha de finalización en agosto.

El proyecto tiene tres objetivos principales: abordar la falta de experiencia en la identificación de riesgos de privacidad, cumplir con los requisitos de gestión de datos en la investigación del Reino Unido y mitigar los riesgos legales para las instituciones que utilizan IA generativa para procesar datos de participantes.

El equipo está realizando una revisión de la literatura y planea entrevistar a académicos en comités de ética para desarrollar una herramienta que analice fortalezas, debilidades, oportunidades y amenazas, y que esté disponible en línea de forma gratuita.

Robert Davison, científico de sistemas de información en la Universidad de la Ciudad de Hong Kong, apoya estos esfuerzos y advierte contra la normalización del uso de IA generativa sin la debida atención ética. Moncur y sus colegas apuntan a los comités de ética universitarios como el primer paso para establecer normas éticas robustas en el uso de esta tecnología.

Plan de Acción EDUCAUSE 2024: Políticas y directrices de AI

EDUCAUSE. «2024 EDUCAUSE Action Plan: AI Policies and Guidelines». Accedido 26 de mayo de 2024. https://www.educause.edu/research/2024/2024-educause-action-plan-ai-policies-and-guidelines.

El Estudio del Panorama de la IA 2024 de EDUCAUSE, basado en una encuesta a más de 900 profesionales de tecnología en educación superior, reveló brechas significativas en las políticas y directrices relacionadas con la IA en la educación superior

«Solo el 23% de los encuestados indicó que su institución tiene políticas de uso aceptable relacionadas con la IA ya implementadas, y casi la mitad (48%) de los encuestados no estuvo de acuerdo o estuvo en desacuerdo en que su institución tiene políticas y directrices adecuadas para permitir una toma de decisiones ética y efectiva sobre el uso de la IA».

Más de un año después del «renacimiento de la IA» que revolucionó las expectativas dentro y fuera del aula, la mayoría de las instituciones aún están intentando ponerse al día y establecer políticas y directrices que ayuden a sus líderes, personal, profesores y estudiantes a utilizar estas nuevas y poderosas tecnologías de manera efectiva y segura.

Afortunadamente, las instituciones no necesitan empezar desde cero en el desarrollo de sus políticas y directrices de IA. Gracias al trabajo de Cecilia Ka Yuk Chan y WCET, las instituciones cuentan con una base sobre la cual construir, un marco de políticas que abarca la gobernanza institucional, las operaciones y la pedagogía. Este marco ayuda a garantizar que las políticas y directrices relacionadas con la IA aborden de manera integral aspectos críticos de la vida y el funcionamiento institucional:

Gobernanza incluye la gestión de datos, la evaluación del uso de la IA en toda la institución, la promoción y el monitoreo del uso de la IA por parte de profesores y personal (incluida la investigación), el acceso inclusivo y equitativo, la propiedad intelectual y el uso de la IA para prácticas de promoción, tenencia y recontratación.

Operaciones abarca el desarrollo profesional (capacitación y apoyo), el desarrollo y mantenimiento de la infraestructura para la IA, y la revisión y recomendación de la implementación de la IA para mejorar las prácticas operativas.

Pedagogía incluye la integridad académica, las prácticas de evaluación, la comunicación clara a los estudiantes sobre las expectativas de la IA, el desarrollo de competencias y habilidades en IA para la preparación laboral, la comprensión del sesgo algorítmico, la interacción regular y sustantiva, y la accesibilidad del aprendizaje.

Con este marco como telón de fondo, se desarrolló este plan de acción convocando a un panel de profesionales de tecnología en educación superior para proponer posibles acciones que las instituciones podrían tomar en los próximos dos años para comenzar a establecer políticas y directrices efectivas de IA. Se pidió a los panelistas que revisaran el contenido del Plan de Acción de Horizon 2023 de EDUCAUSE: IA Generativa, reflexionando específicamente sobre el «futuro preferido» descrito en este informe, y que enumeraran los posibles impactos de las políticas y directrices de IA en individuos, unidades, instituciones y colaboraciones entre instituciones. Luego se les pidió a los panelistas que consideraran las acciones que podrían ayudar a los interesados en la educación superior a navegar tanto las políticas y directrices de IA existentes como las nuevas.

En comparación con la línea de tiempo de diez años que normalmente se utiliza para el trabajo de previsión, la ventana de dos años permitió a los panelistas reflexionar sobre los desafíos y oportunidades mucho más inmediatos para la planificación y toma de decisiones del presente. Las capacidades y necesidades de la IA están evolucionando rápidamente, y los líderes de la educación superior deben tomar medidas ahora. Delineando acciones que pueden aprovechar las políticas y directrices existentes o ayudarnos a crear nuevas, el panel ha comenzado a trazar un camino a seguir para la práctica de la IA en la educación superior que esperamos encuentre perspicaz, relevante y accionable.

EDUCAUSE y la Cooperativa WICHE para Tecnologías Educativas (WCET) colaboraron en la planificación y recopilación de datos para este plan de acción.

Aprovechando Políticas y Directrices Existentes

Muchas instituciones ya tienen políticas, directrices y procesos que, aunque no específicos para la IA, podrían estar relacionados o ser aplicables a herramientas y prácticas de IA. En lugar de «reinventar la rueda» creando un conjunto completamente nuevo de políticas y directrices, los líderes de estas instituciones podrían centrarse en comprender cómo aprovechar mejor los recursos y apoyos existentes. Las siguientes acciones recomendadas pueden ayudar a los interesados institucionales a construir sobre lo que ya existe:

Acciones Individuales

  • Familiarizarse con herramientas comunes de IA.
  • Ser buenos administradores de los datos institucionales y las directrices existentes.
  • Desarrollar la alfabetización individual en IA.

Acciones Departamentales o de Unidad

  • Aclarar qué políticas departamentales o de unidad existentes se aplican a la IA y cuáles no.
  • Desarrollar un lenguaje estándar para múltiples tipos de uso de IA en los cursos.
  • Crear oportunidades de colaboración para descubrir qué funciona y qué no.

Acciones Institucionales

  • Formar comités interfuncionales y comunidades de práctica para evaluar y mejorar las prácticas de IA.
  • Ampliar la formación profesional existente para incluir capacitación en IA para todo el personal docente, administrativo y estudiantil.
  • Mapear las políticas y directrices de IA a la misión, valores y estrategias existentes de la institución.

Acciones Multiinstitucionales

  • Colaborar para crear un entendimiento común de las implicaciones potenciales de las regulaciones estatales/federales.
  • Desarrollar criterios de evaluación que puedan añadirse a los recursos existentes.
  • Colaborar con instituciones pares para revisar y comparar políticas y procedimientos de IA.

Creación de Nuevas Políticas y Directrices

Aunque los recursos y apoyos existentes pueden ayudar con algunas necesidades relacionadas con la IA, las tecnologías y prácticas de IA incipientes pueden presentar desafíos novedosos que las políticas y directrices existentes simplemente no abordan. En estos casos, las instituciones pueden necesitar crear nuevas políticas y directrices y establecer nuevas estructuras y apoyos para ayudar a los interesados a navegar estas aguas inexploradas. Las siguientes acciones recomendadas pueden ayudar a los interesados institucionales a saber por dónde empezar cuando tienen una hoja en blanco frente a ellos:

Acciones Individuales

  • Incorporar las voces y perspectivas de los estudiantes al desarrollar nuevas políticas y directrices.
  • Recomendar escenarios o problemas para los que se necesita orientación adicional sobre IA.
  • Ser transparentes y abiertos sobre el uso de IA para generar conversación, incluyendo la documentación de casos de uso nuevos y emergentes.

Acciones Departamentales o de Unidad

  • Revisar regularmente los programas académicos y cursos para determinar dónde debe mejorarse y apoyarse el uso de IA y/o la alfabetización.
  • Desarrollar nuevas colaboraciones para romper barreras.
  • Establecer políticas y procedimientos claros para temas relacionados con la tenencia y promoción de IA.

Acciones Institucionales

  • Garantizar el acceso equitativo a herramientas de IA en todo el campus.
  • Contratar líderes y/o personal específicamente encargado de dirigir la IA para la institución.
  • Crear una estructura de gobernanza de IA de alto nivel (fuera de TI), incluyendo auditorías regulares.

Acciones Multiinstitucionales

  • Construir marcos compartidos para evaluar productos y modelos de IA internos y de proveedores.
  • Aprovechar la comunidad de educación superior y los estándares de cumplimiento comunes para presionar a los proveedores de soluciones de IA para que satisfagan las necesidades de la educación superior.
  • Lanzar iniciativas interinstitucionales para avanzar en las políticas y estándares de IA.

Lanzamiento de la Plataforma de IA de Clarivate

Ben-Porat, Guy. «Introducing the Clarivate Academic AI Platform». Clarivate (blog), 21 de mayo de 2024. https://clarivate.com/blog/introducing-the-clarivate-academic-ai-platform/.

La Plataforma Académica de IA de Clarivate marca un hito significativo en su esfuerzo por empoderar a la comunidad académica con herramientas y tecnologías de IA innovadoras y servirá como una columna vertebral tecnológica, permitiendo la implementación acelerada y consistente de capacidades de IA en todo su portafolio de soluciones Académicas y Gubernamentales.

Esta iniciativa ha sido el resultado de varios proyectos de investigación en los que la empresa se ha involucrado durante el último año, trabajando estrechamente entre sus equipos de ciencia de datos, ingeniería, contenido y experiencia de usuario, y la comunidad de clientes para aprender de primera mano sobre el potencial y las limitaciones de la IA generativa (GenIA). Además, la experiencia acumulada durante años de uso de IA y aprendizaje automático en sus productos ha sido fundamental para dar forma a este avance.

Algunas de sus características son:

  • Asistente de Investigación de Web of Science: Ayudando a investigadores de todos los niveles a explorar el índice de citas más confiable del mundo, aprovechando más de un siglo de investigación, con descubrimiento en lenguaje natural, tareas guiadas y visualizaciones contextuales.
  • Asistente de Investigación de ProQuest: Permitiendo a los usuarios navegar por millones de trabajos académicos de texto completo dentro de ProQuest y obtener fácilmente nuevos conocimientos para la investigación y el aprendizaje.
  • Entrenador Académico Alethea: Fomentando las habilidades de aprendizaje y pensamiento crítico de los estudiantes al guiarlos hacia el núcleo de sus lecturas de curso, ayudándolos a destilar los puntos clave y prepararse para la discusión en clase.
  • Asistente de Investigación de Primo: Transformando el descubrimiento en bibliotecas, proporcionando a los usuarios una nueva forma de encontrar y explorar materiales a través de la búsqueda en lenguaje natural, referencias de artículos y consultas recomendadas para apoyar la investigación.

En el futuro, la plataforma ampliará sus capacidades para admitir la introducción de capacidades de IA en productos adicionales, incluidos Alma, Ebook Central, EndNote y Leganto, así como presentar eficiencias de backend como la creación y enriquecimiento de metadatos.

Las bibliotecas universitarias se preparan para un mundo de investigación y erudición influenciado por la Inteligencia Artificial

Ruttenberg, Judy. «Research Libraries Prepare for a World of AI-Influenced Research and Scholarship». Association of Research Libraries (blog), 23 de mayo de 2024. https://www.arl.org/blog/research-libraries-prepare-for-a-world-of-ai-influenced-research-and-scholarship/.

Las bibliotecas de investigación, responsables de preservar el pasado, el presente y el futuro del conocimiento, tienen una larga experiencia con tecnologías disruptivas. Ahora están utilizando el crecimiento de la inteligencia artificial (IA), especialmente la IA generativa, para mejorar sus servicios, crear oportunidades educativas y evaluar su impacto en las operaciones y colecciones. La Asociación de Bibliotecas de Investigación (ARL) se asegura de que sus miembros y las comunidades a las que sirven prosperen en medio de esta disrupción tecnológica. Esto implica equilibrar las oportunidades innovadoras de la IA generativa con las posibles amenazas al acceso equitativo, la libertad intelectual y la integridad de la información.

La ARL ha sido históricamente fuerte en la defensa de un régimen de derechos de autor equilibrado. A través de la Library Copyright Alliance (LCA), la Asociación emitió en 2023 un conjunto de principios para los derechos de autor y la inteligencia artificial. Estos principios fueron presentados a la Oficina de Derechos de Autor de EE. UU. y a la Oficina de Política de Ciencia y Tecnología de la Casa Blanca. Los principios destacan la diferencia crucial entre lo que un modelo de IA aprende y lo que produce en relación con las obras protegidas por derechos de autor. En resumen, para que la IA generativa pueda innovar, es necesario proteger el uso justo en el entrenamiento de modelos de IA, mientras que la ley actual puede abordar las posibles infracciones de derechos de autor en las producciones de IA.

Como líder en la creación de normas para bibliotecas de investigación, la ARL también ha formulado principios generales sobre la IA generativa. Estos principios buscan influir en las políticas y abogar por el desarrollo responsable de tecnologías de IA, promoviendo prácticas éticas y transparentes, y construyendo confianza entre todas las partes involucradas, tanto dentro de las bibliotecas como en el entorno de investigación en general.

Además, la ARL y la Coalición para la Información en Red (CNI) han publicado un conjunto de escenarios que anticipan el impacto del aprendizaje automático y la IA generativa en el ecosistema del conocimiento y la investigación para el año 2035. Estos escenarios no pretenden predecir el futuro, sino ayudar a imaginarlo y explorar las incertidumbres que el sector enfrentará. En una reciente reunión en Boston, la comunidad de la ARL utilizó estos escenarios para identificar y priorizar oportunidades.

Invertir en bibliotecas siempre ha beneficiado a las comunidades durante las disrupciones tecnológicas. La ARL y sus bibliotecas miembro colaboran con socios del sector de investigación y aprendizaje para preservar el patrimonio cultural, apoyar nuevas formas de investigación y publicación, y promover el éxito estudiantil. La Asociación invita a colaborar en el avance de sus principios de IA y en el uso de estos escenarios para asegurar un entorno informativo que promueva el progreso del conocimiento.

AI a juicio: los modelos de Inteligencia Artificial alucinan en 1 de cada 6 consultas en el ámbito legal

Magesh, Varun, Faiz Surani, Matthew Dahl, Mirac Suzgun, Christopher D. Manning, y Daniel E. Ho. «AI on Trial: Legal Models Hallucinate in 1 Out of 6 Queries.» Stanford HAI, May 23, 2024.

PDF

Los modelos de inteligencia artificial (IA) están transformando rápidamente la práctica del derecho, con casi tres cuartas partes de los abogados planeando usar IA generativa para su trabajo. Sin embargo, surgen dudas sobre su fiabilidad.

Los modelos de lenguaje grandes tienden a «alucinar» o inventar información falsa. Un caso notorio fue el de un abogado de Nueva York sancionado por citar casos ficticios creados por ChatGPT. Estudios previos encontraron que los chatbots generales alucinaban entre el 58% y el 82% del tiempo en consultas legales. El Presidente del Tribunal Supremo Roberts advirtió a los abogados sobre estas alucinaciones en su informe anual de 2023.

Para reducir las alucinaciones, se promueve la generación aumentada por recuperación (RAG), que integra un modelo de lenguaje con una base de datos de documentos legales. Los servicios de investigación legal afirman que sus productos basados en RAG «evitan» alucinaciones y garantizan citas legales «libres de alucinaciones». Sin embargo, no han proporcionado evidencia sólida de estas afirmaciones ni han definido claramente «alucinación».

Un estudio reciente de Stanford RegLab y HAI evaluó las afirmaciones de dos proveedores, LexisNexis y Thomson Reuters. Aunque sus herramientas reducen los errores en comparación con modelos de IA generales como GPT-4, aún producen información incorrecta en más del 17% de las consultas, es decir, una de cada seis consultas.

Los sistemas de IA pueden alucinar de dos maneras:

  1. Respuesta incorrecta: describe la ley incorrectamente o comete un error factual.
  2. Respuesta mal fundamentada: describe la ley correctamente pero cita una fuente que no respalda sus afirmaciones.

El estudio resalta la necesidad de evaluaciones rigurosas y transparentes de las herramientas de IA legal. La opacidad actual dificulta a los abogados cumplir con sus responsabilidades éticas y profesionales, y podría socavar los beneficios de eficiencia prometidos por estas herramientas. Se requiere transparencia para que los abogados puedan adoptar la IA de manera responsable y cumplir con las regulaciones emergentes sobre el uso de IA en la práctica legal.

En conclusión, las alucinaciones legales no han sido resueltas y la profesión legal debe enfocarse en establecer puntos de referencia públicos y evaluaciones rigurosas de las herramientas de IA.

Nuevas directrices sobre Inteligencia Artificial para bibliotecas universitarias y de investigación

Research Libraries Guiding Principles for Artificial
Intelligence Association of Research Libraries (ARL), abril 2024

Texto completo

La Asociación de Bibliotecas de Investigación (ARL) ha presentado un conjunto de siete principios guía dirigidos a los bibliotecarios universitarios, con el objetivo de orientar su labor ante el creciente uso de inteligencia artificial generativa.

En los dos años transcurridos desde el lanzamiento de ChatGPT, los bibliotecarios han sido solicitados frecuentemente para liderar la investigación y el desarrollo de la tecnología emergente de IA, abordando preguntas sobre derechos de autor y preocupaciones de citación. Algunos bibliotecarios han creado sus propias guías de IA o lanzado proyectos piloto para abordan algunas inquietudes académicas.

Los siete principios de la ARL se centran en el desarrollo y la implementación de la IA generativa, que generalmente se refiere a modelos de lenguaje grande como ChatGPT de OpenAI. La asociación afirma que los principios tienen como objetivo «promover prácticas éticas y transparentes, y generar confianza entre los interesados, tanto en las bibliotecas de investigación como en todo el entorno de investigación».

Principios Guía de la ARL

  1. Fomentar la alfabetización digital: Educar a los usuarios de la biblioteca y a los profesionales de TI sobre la IA.
  2. Entender y crear conciencia sobre el sesgo de la IA: Ayudar a los usuarios a navegar y evaluar la IA considerando posibles distorsiones en la información e imágenes generadas.
  3. Defender la apertura y la transparencia: Enfocarse en los algoritmos, datos de entrenamiento y metodologías utilizadas para crear la IA.
  4. Reconocer que no hay IA sin humanos: La participación humana es necesaria en consideraciones éticas, de accesibilidad y de fiabilidad al usar IA en entornos de investigación.
  5. La seguridad y la privacidad son clave: Abogar por leyes y regulaciones que prioricen la información personal de los usuarios de la biblioteca.
  6. Continuar la aplicación de la ley de derechos de autor: Preservar los derechos de las bibliotecas para fines de investigación y educación, y abordar la intersección de los derechos de autor con la IA.
  7. Equidad en la información digital: Asegurar que la ley de derechos de autor guíe los contratos con revistas académicas e instituciones de investigación, y promover el uso justo, la libertad intelectual y de información.

Desarrollo y Aplicación

Las discusiones sobre los principios comenzaron hace más de un año, aproximadamente seis meses después del debut de ChatGPT. Los principios fueron desarrollados a través de ARL Scholars and Scholarship Committee y ARL Advocacy and Public Policy Committee, definidos después de múltiples reuniones y un período de comentarios abiertos para todos los miembros.

Cynthia Hudson Vitale, directora de política científica y becas de la ARL, y Katherine Klosek, directora de política de información y relaciones federales, señalaron que, aunque no hay un plan fijo para revisar y cambiar los principios, están abiertos a la discusión a medida que evolucionan la IA y las preocupaciones relacionadas.

Jeanette Moss, bibliotecaria de apoyo curricular e instrucción en la Universidad Northwestern, afirmó: «Los bibliotecarios siempre han estado en la tarea de enseñar cómo evaluar la información, ya sea información escrita o fuentes de información, por lo que eso no ha cambiado desde que comenzó Internet. Pero ahora tenemos que reforzar aún más ese punto».

Futuros escenarios influidos por la IA en el entorno de la investigación en bibliotecas universitarias

Students using holographic AI interfaces for data analysis in a futuristic university library.
Students engage with AI-driven holographic interfaces for advanced research in a modern university library.

ARL, Xuemao Wang, Northwestern University; Dianne Babski, US National Library of Medicine; Christy Long, University of Oregon; Devin Savage, Illinois Institute of Technology; Catherine Steeves, Western University; and Cynthia Hudson Vitale. «AI and Libraries: Strengths in a Digital Tomorrow». Association of Research Libraries (blog), 22 de mayo de 2024. https://www.arl.org/blog/ai-and-libraries-strengths-in-a-digital-tomorrow/.

En la Reunión de Primavera de la Asociación de Bibliotecas de Investigación (ARL) en Boston, los líderes de bibliotecas y tecnología de la información examinaron los escenarios recientemente publicados por ARL/CNI para el año 2035, centrados en futuros influenciados por la inteligencia artificial (IA) en el entorno de investigación.

Enfoque en Escenarios para la Planificación Estratégica

Al utilizar escenarios para la planificación estratégica, es crucial no centrarse en un solo escenario, sino considerar un espectro de escenarios que destacan las incertidumbres clave dentro del ecosistema académico. Esta metodología reconoce que el futuro probablemente integrará aspectos de múltiples escenarios e incluirá desarrollos imprevistos. Un componente clave de la exploración fue identificar las fortalezas actuales de las bibliotecas de investigación, las cuales son beneficiosas en cada posible futuro. Esto ayuda a preparar a las bibliotecas para aprovechar sus capacidades a través de diversas condiciones futuras, fomentando una estrategia flexible.

Resultados de la Encuesta para Cada Escenario


Escenario 1: IA Democratizada e Integrada Socialmente

Fortalezas Identificadas:

  • Preservar contenido abierto y confiable (38.4% de los votos): Las bibliotecas son vistas como guardianes críticos de contenido confiable y abierto, crucial en un escenario de acceso libre al conocimiento.
  • Instituciones de confianza con historial ético en la gestión de datos (36.0%): La privacidad y la ética en la gestión de datos son altamente valoradas.
  • Apoyo a nuevos modos de investigación (18.6%): Adaptabilidad de las bibliotecas a las metodologías de investigación en evolución.
  • Espacio para la participación comunitaria (7.0%): A pesar de ser menos valorada, sigue siendo significativa para la colaboración interdisciplinaria.

Escenario 2: IA Orientada al Consumidor en Educación y Entretenimiento

Fortalezas Identificadas:

  • Democratizar el acceso a tecnologías y bases de datos (38.3%): Crucial para proporcionar acceso equitativo a tecnologías avanzadas.
  • Grandes cantidades de datos y colecciones (25.9%): Permite apoyar diversas actividades académicas y de investigación personal.
  • Defensores del acceso abierto (25.9%): Aseguran que el conocimiento siga siendo un bien público.
  • Capacidad organizativa para asociarse con empresas tecnológicas (8.6%): Facilita la integración de tecnologías avanzadas.
  • Experiencia en aprendizaje online y virtual (1.2%): Vista como la fortaleza menos destacada.

Escenario 3: IA de Laissez-Faire


Fortalezas Identificadas:

  • Preservar contenido abierto y confiable (29.3%): Crucial en un entorno lleno de desinformación.
  • Democratizar el acceso a tecnologías y bases de datos (29.3%): Equitativo acceso a recursos tecnológicos.
  • Zonas inclusivas para el acceso a la investigación global (17.1%): Garantiza que diversas comunidades puedan acceder a la información.
  • Compartir mejores prácticas para la gestión de crisis y riesgos (13.4%): Importante en un entorno de mal uso de IA.
  • Programas educativos y talleres para aumentar la alfabetización (11.0%): Necesario para mejorar la comprensión y mitigación de los desafíos de la IA.

Escenario 4: IA Autónoma

Fortalezas Identificadas:

  • Preservadores de la ética en datos y la integridad de la información (35.0%): Crucial para mantener la ética y la integridad en la investigación.
  • Preservar contenido abierto y confiable (28.8%): Mantener una base de conocimiento confiable.
  • Fomentar la comunidad y la colaboración (13.8%): Valioso para integrar diversas perspectivas.
  • Apoyar la enseñanza y el aprendizaje adaptativo (12.5%): Crucial en la transformación educativa impulsada por IA.
  • Proximidad a la empresa de investigación (10.0%): Facilita el acceso directo a herramientas y datos de investigación.

Conclusión

Los resultados de la encuesta del ARL/CNI 2035 revelan diversas fortalezas que las bibliotecas de investigación pueden aprovechar mientras navegan por futuros influenciados por la IA. Estas fortalezas subrayan el papel vital de las bibliotecas en mantener la integridad de la información y asegurar el acceso equitativo. Para las bibliotecas, estos conocimientos enfatizan la importancia de continuar construyendo sobre estas competencias básicas mientras se adaptan a las tendencias tecnológicas emergentes. Aprovechar estos escenarios y prestando atención al panorama estratégico más amplio permitirá a las bibliotecas ser proactivas y seguir siendo efectivas como custodios del conocimiento en un mundo cada vez más digital e impulsado por la IA.