Archivo de la etiqueta: Inteligencia artificial

Investigación sobre Inteligencia Artificial en Bibliotecas

Wang, Meiping, y Zongliang Xia. 2025. «Research on Artificial Intelligence in Libraries». En Proceedings of the 2025 3rd International Conference on Communication Networks and Machine Learning, 519-26. CNML ’25. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/3728199.3728285.

Se prevé que la inteligencia artificial (IA) desempeñe un papel cada vez más importante en los servicios bibliotecarios, lo que obliga a bibliotecas y bibliotecarios a mantenerse al día con sus avances, adoptarla y adaptarse en consecuencia. Para lograrlo, es fundamental que los responsables de bibliotecas y los propios bibliotecarios profundicen en su conocimiento de la IA y estén preparados para integrarla de forma eficaz en su labor.

La aparición de ChatGPT ha impulsado debates sobre los efectos de la inteligencia artificial (IA) y el papel de iniciativas de acceso abierto y ciencia abierta. Aplicaciones como ChatGPT, basadas en modelos de lenguaje extensos (LLM), se han popularizado rápidamente. Además de su uso generalizado, la IA está integrándose en la recuperación de información, la programación y herramientas académicas como Elicit o Semantic Scholar. Este fenómeno ha llevado a que profesores busquen apoyo en bibliotecarios para mejorar la alfabetización en IA y fomentar debates en el aula, especialmente sobre cómo la IA afecta la búsqueda bibliográfica y las prácticas de citación.

No obstante, el uso de la IA plantea desafíos: inexactitudes, sesgos, problemas éticos y ambientales. Algunas bibliotecas académicas han empezado a abordarlos mediante espacios de investigación, aplicaciones para clasificación de imágenes y mejora de metadatos. Al mismo tiempo, se impulsa la pedagogía abierta, animando a los estudiantes a crear recursos educativos abiertos (OER).

La IA se presenta como solución ante los retos presupuestarios y de personal que enfrentan las bibliotecas. Su implementación efectiva requiere colaboración entre investigadores, responsables políticos y bibliotecarios. Herramientas como Google Cloud Vision o Unpaywall demuestran cómo la IA ya está mejorando servicios bibliotecarios.

Sin embargo, existe una brecha entre países desarrollados y en vías de desarrollo en cuanto a adopción de IA. Mientras bibliotecas de países como India han comenzado a usar estanterías inteligentes o reconocimiento óptico de caracteres, otras, como las africanas o nigerianas, enfrentan barreras financieras, falta de formación y recursos.

La IA también revoluciona los servicios de circulación, referencia y catalogación. Aunque hay preocupación sobre la sustitución de empleos, muchos profesionales no lo ven como una amenaza. Se destaca la necesidad de que las bibliotecas promuevan la comprensión del valor de la IA y generen estrategias de sensibilización.

Además, la IA puede mejorar la experiencia del usuario mediante la personalización de búsquedas, sistemas de recomendación y la automatización de tareas tediosas. El aprendizaje profundo (deep learning) y la minería de datos permiten optimizar el uso de los recursos y entender mejor los patrones de uso.

La integración de la inteligencia artificial en los servicios bibliotecarios

Este apartado analiza aplicaciones concretas de la inteligencia artificial (IA) en el entorno de las bibliotecas universitarias.

1. Aplicación de la IA en los sistemas de recuperación de información

Los buscadores actuales han mejorado, pero muchos usuarios aún tienen dificultades para encontrar información relevante o acceder a bases de datos especializadas. En las bibliotecas universitarias, la incorporación de IA puede facilitar estas búsquedas. Sin embargo, aún existen desafíos técnicos, como la falta de comprensión del lenguaje natural, problemas en la adquisición del conocimiento y en su representación, lo que limita la efectividad de estos sistemas.

2. Servicios de referencia impulsados por IA

La IA puede optimizar los servicios de referencia, catalogación y organización de materiales. En países desarrollados, el uso de IA en estos servicios está creciendo, mientras que en África y Asia la adopción sigue siendo escasa. Los chatbots permiten responder consultas básicas, liberando al personal para enfocarse en necesidades más complejas. Sin embargo, existen obstáculos como la falta de recursos para formación y financiación, así como preocupaciones por la posible pérdida de empleos y fallos técnicos.

3. IA en la educación e investigación en bibliotecas universitarias

Herramientas como Yewno Discover, Grammarly y especialmente ChatGPT están revolucionando el apoyo a estudiantes e investigadores. ChatGPT facilita la búsqueda de información, asistencia en redacción, catalogación y navegación por recursos. No obstante, presenta desafíos: puede generar contenido sesgado o erróneo, errores de citas, y plantea preocupaciones éticas (como plagio, privacidad y desinformación). Además, su diseño centrado en el inglés genera barreras culturales y lingüísticas. Se destaca que IA debe ser vista como complemento, no sustituto del personal bibliotecario.

4. Algoritmos aplicados en la inteligencia artificial para bibliotecas

La IA en bibliotecas se basa en algoritmos complejos. Se destacan:

  • Modelos de recomendación personalizada, como el de Zhang Jing, que perfila a los lectores mediante minería de datos.
  • Sistemas de gestión bibliotecaria basados en clustering y big data, que mejoran las recomendaciones y la recuperación de información.

Estos modelos se construyen mediante fórmulas matemáticas específicas que definen similitudes entre usuarios, preferencias lectoras y distribución de recursos.

Finalmente, se presenta un análisis bibliométrico del uso de IA en bibliotecas, que muestra un crecimiento notable, especialmente en países como China. Se concluye que la IA puede transformar profundamente la biblioteconomía, siempre que se acompañe de políticas adecuadas y un enfoque ético y colaborativo.

Conclusiones

La IA ofrece oportunidades emocionantes para innovar y mejorar los servicios en las bibliotecas. No obstante, su integración efectiva y ética requiere estrategias proactivas en formación, elaboración de políticas y apoyo institucional. Sin embargo cuenta con algunos handicaps

  • Falta de formación y conciencia: Una encuesta a bibliotecarios académicos de Canadá y Estados Unidos mostró que, aunque muchos utilizan la IA en su vida personal, casi la mitad no sabe si se está aplicando en sus bibliotecas. Esto pone de manifiesto la necesidad urgente de programas de formación específicos que aborden tanto el potencial como los aspectos éticos de la IA en el ámbito bibliotecario.
  • Integridad académica y el papel del bibliotecario: Los bibliotecarios son figuras clave en la promoción de la integridad académica. Enseñan habilidades de alfabetización informacional, uso ético de la información, gestión de citas y utilización de herramientas antiplagio como Turnitin. Sin embargo, enfrentan retos importantes: falta de formación en IA, ausencia de políticas claras sobre el uso de contenido generado por IA, escasez de personal para controlar los trabajos entregados y escaso apoyo del profesorado. Además, los estudiantes ya están utilizando nuevas herramientas de IA para evitar la detección por Turnitin.

Una encuesta realizada en bibliotecas universitarias reveló que el 98% de los bibliotecarios son conscientes del uso de la IA en servicios bibliotecarios. Muchos creen que su implementación impulsará la innovación y mejorará el acceso a la información. Existe un consenso general sobre la necesidad de aplicar la IA en todas las áreas del trabajo bibliotecario, lo que refleja una visión optimista sobre su potencial transformador.

Dario Amodei, CEO de Anthropic, advierte: si no entendemos cómo “piensa” la IA, no podremos controlarla

Amodei, Dario. “The Urgency of Interpretability.” Dario Amodei (blog). 21 de mayo de 2024. https://www.darioamodei.com/post/the-urgency-of-interpretability

El ensayo “La urgencia de la interpretabilidad” de Dario Amodei, CEO de Anthropic, es una llamada de atención sobre la necesidad crítica y urgente de comprender el funcionamiento interno de los sistemas de inteligencia artificial (IA) avanzados. A medida que estos modelos, especialmente los generativos como los grandes modelos de lenguaje (LLM), se vuelven más poderosos y autónomos, su opacidad representa un riesgo significativo para la seguridad, la gobernanza y la alineación con los valores humanos.

En su texto, Amodei parte de una preocupación central: los sistemas de inteligencia artificial, especialmente los grandes modelos de lenguaje como Claude (de Anthropic) o GPT (de OpenAI), están creciendo a un ritmo acelerado en capacidad y sofisticación, pero no así en transparencia. Esto significa que, aunque estos modelos pueden generar textos altamente coherentes, resolver tareas complejas o incluso programar código, no sabemos realmente cómo lo hacen. Sus «razonamientos», sus objetivos internos y sus procesos de toma de decisiones permanecen en gran parte ocultos incluso para sus propios creadores. Esta característica —la opacidad estructural de las redes neuronales profundas— convierte a estos sistemas en cajas negras: modelos altamente potentes que no podemos auditar, ni predecir completamente.

«Las personas ajenas al sector suelen sorprenderse y alarmarse al descubrir que no comprendemos cómo funcionan nuestras propias creaciones de IA. Y tienen razón en estar preocupados: esta falta de comprensión no tiene precedentes en la historia de la tecnología»

La falta de interpretabilidad no es simplemente una limitación técnica, sino un riesgo existencial. En la medida en que confiamos cada vez más en estas IA para realizar funciones críticas (desde atención médica hasta procesos financieros, desde generación de conocimiento hasta decisiones de seguridad), no poder explicar su funcionamiento significa que tampoco podemos anticipar ni prevenir fallos. La IA podría comportarse de forma no alineada con los valores humanos, y al carecer de herramientas para “leer su mente”, esos errores podrían pasar inadvertidos hasta que sea demasiado tarde.

 «No podemos detener el autobús, pero podemos dirigirlo«

Amodei sostiene que una IA verdaderamente alineada no basta con estar bien entrenada o con tener filtros de seguridad externos. Debemos ser capaces de abrir sus “circuitos internos” y comprender cómo ha llegado a una conclusión determinada, qué objetivos está persiguiendo y si está desarrollando estrategias emergentes, como el engaño o la manipulación. La interpretación, por tanto, no es un lujo ni un ideal ético: es una condición esencial para el control, la supervisión y la gobernanza efectiva de estos sistemas. Para lograrlo, la investigación debe centrarse en métodos que permitan mapear las conexiones neuronales, desentrañar sus representaciones internas y ofrecer explicaciones comprensibles para humanos sobre el “por qué” de cada decisión.

«Los sistemas de IA generativa modernos son opacos de una manera que difiere fundamentalmente del software tradicional. Si un programa de software ordinario hace algo (por ejemplo, un personaje en un videojuego dice una línea de diálogo o mi aplicación de entrega de comida me permite dar propina a mi conductor), hace esas cosas porque un humano las programó específicamente. La IA generativa  no es así en absoluto . Cuando un sistema de IA generativa hace algo, como resumir un documento financiero, no tenemos idea, a un nivel específico o preciso, de por qué toma las decisiones que toma (por qué elige ciertas palabras sobre otras o por qué ocasionalmente comete un error a pesar de que generalmente es preciso)»

A modo de analogía, Amodei compara esta necesidad con los avances en medicina que nos permitieron visualizar el interior del cuerpo humano —por ejemplo, con resonancias magnéticas—. Sin esas herramientas, nuestros diagnósticos serían a ciegas. Algo similar ocurre con la IA: necesitamos instrumentos que nos permitan visualizar qué ocurre en las capas profundas del modelo, en sus pesos y patrones internos. Esa “resonancia magnética” de las redes neuronales es lo que está en juego con la interpretabilidad.

Uno de los aspectos más inquietantes del ensayo es el reconocimiento de que, actualmente, las capacidades de la IA avanzan más rápido que nuestra comprensión de ellas. Ya estamos desarrollando modelos capaces de comportamientos complejos, y sin embargo apenas comenzamos a entender su arquitectura interna. Esta brecha entre poder y entendimiento, según Amodei, es peligrosa: es como construir reactores nucleares sin comprender del todo la física que los gobierna. En algunos casos, la IA ha demostrado “comportamientos emergentes”, es decir, habilidades que no fueron programadas ni anticipadas por sus diseñadores. Estas capacidades surgen de la interacción entre millones de parámetros y datos de entrenamiento, y pueden incluir razonamientos complejos, generación de código, toma de decisiones estratégicas e incluso formas incipientes de “metacognición”. Si no podemos explicar cómo surgen estos comportamientos, tampoco podremos saber si en algún momento serán perjudiciales o si conducirán a formas de autonomía fuera de nuestro control.

Otro eje central del texto es el vínculo entre interpretabilidad y seguridad. Muchos investigadores en el campo de la inteligencia artificial alineada (AI alignment) consideran que el mayor desafío de largo plazo es evitar que una IA avanzada desarrolle objetivos propios que entren en conflicto con los intereses humanos. Pero sin interpretabilidad, no podemos saber si eso ya está ocurriendo. ¿Cómo detectar si una IA ha aprendido a mentir? ¿O si está desarrollando objetivos intermedios no explícitos, como obtener más acceso a recursos computacionales o evitar ser apagada? Estas preguntas no pueden responderse solo observando la salida del modelo (sus respuestas). Se requiere una forma de entender lo que está ocurriendo dentro del sistema, a nivel estructural.

Además, la interpretabilidad no solo es importante para evitar riesgos catastróficos. También lo es para la ética, la transparencia y la responsabilidad. Si una IA toma decisiones que afectan a personas (por ejemplo, en el sistema judicial, en seguros médicos o en procesos de contratación), es imprescindible poder justificar esas decisiones. Sin interpretabilidad, las decisiones de la IA serían arbitrarias y opacas, y socavarían los principios básicos de la justicia y la rendición de cuentas.

En las secciones finales del ensayo, Amodei lanza una advertencia clara: si no invertimos masivamente en investigación sobre interpretabilidad ahora, podemos perder una ventana crítica para controlar y entender la IA antes de que se vuelva demasiado poderosa. Y lo más preocupante, señala, es que esta investigación todavía está infravalorada dentro del campo de la IA, donde la mayor parte de los recursos se destinan a construir modelos cada vez más grandes y potentes, en lugar de desarrollar herramientas para comprenderlos mejor. El autor aboga por un esfuerzo concertado entre laboratorios de investigación, universidades, gobiernos y entidades reguladoras para que la interpretabilidad sea una prioridad al mismo nivel que el rendimiento o la eficiencia computacional.

Re:Create sostiene que el entrenamiento de modelos de IA constituye un uso transformador y un posible uso justo

Re:Create. 2025. «Breaking Down the USCO Report on Generative AI Training and Re:Create’s ‘Non-Takeaways‘.» Re:Create Coalition, 28 de mayo de 2025. https://www.recreatecoalition.org/breaking-down-the-usco-report-on-generative-ai-training-and-recreates-non-takeaways/

El 28 de mayo de 2025, la organización Re:Create publicó un análisis crítico del informe final de la Oficina de Derechos de Autor de EE. UU. (USCO) sobre la inteligencia artificial generativa y el uso justo (fair use). Aunque Re:Create valora que el informe no proponga cambios legislativos inmediatos, expresa preocupación por ciertas interpretaciones que podrían restringir el desarrollo y uso de herramientas de IA.

Re:Create es una coalición compuesta por una amplia membresía de centros de investigación, organizaciones de defensa, bibliotecas y empresas tecnológicas —grandes y pequeñas— que actúa como la coalición líder unida en la lucha por un sistema de derechos de autor equilibrado que promueva la innovación, los creadores y los consumidores.

Re:Create sostiene que el entrenamiento de modelos de IA, al utilizar obras protegidas para generar nuevas creaciones, constituye un uso transformador, elemento central del uso justo. Critica que el informe de la USCO minimice esta perspectiva, especialmente al desestimar el concepto de «uso no expresivo», que se refiere a la utilización de obras sin replicar su contenido expresivo. Además, Re:Create argumenta que comparar el aprendizaje de IA con el humano es válido, ya que ambos procesos implican la internalización de información sin reproducirla directamente

El informe de la USCO sugiere que el uso de obras obtenidas sin autorización podría pesar en contra del uso justo. Re:Create refuta esta idea, señalando que el uso justo se centra en cómo se utiliza una obra, no en cómo se obtuvo. Además, enfatiza que el derecho de autor no otorga control absoluto sobre el acceso a las obras, y que prácticas como la venta de libros usados o el préstamo bibliotecario son ejemplos legales de acceso sin autorización directa del titular de derechos.

El informe plantea que el entrenamiento de IA podría afectar negativamente al mercado de las obras originales. Re:Create argumenta que las pérdidas derivadas de la competencia con obras nuevas y no infractoras no deben considerarse en el análisis del uso justo. Además, advierte que priorizar las licencias sobre el uso justo podría crear barreras económicas significativas, especialmente para desarrolladores con recursos limitados, lo que obstaculizaría la innovación y el acceso equitativo a la tecnología.

Por ello, Re:Create insta a los tribunales a no adoptar ciertas interpretaciones del informe de la USCO que podrían restringir el uso justo en el contexto de la IA. Subraya la importancia de mantener un equilibrio en el sistema de derechos de autor que fomente la creatividad, la innovación y el acceso a la información, elementos esenciales para el progreso cultural y tecnológico.

Una ficción distópica sobre la IA «Memorias en la nube» de Francisco Toledo Lobo. Planeta Biblioteca 2025/05/25

Presentamos la novela «Memorias en la nube» de Francisco Toledo Lobo.

Planeta Biblioteca 2025/05/25

ESCUCHAR

Descargar

Entrevistamos a Francisco Toledo Lobo, autor de «Memorias en la nube» En esta entrevista hablamos con Francisco Toledo Lobo, destacado académico, gestor público y escritor español. Con una sólida carrera en matemáticas e inteligencia artificial, Toledo Lobo ha liderado la Universitat Jaume I como rector y ha ocupado cargos relevantes en la gestión portuaria y pública. Además de su trayectoria académica y profesional, es autor de las novelas La estrella de ébano y Memorias en la nube. Esta última es una obra de ciencia ficción que explora temas actuales y futuros como el control de la mente, la inteligencia artificial y los riesgos éticos que plantean estas tecnologías. Durante la conversación, Toledo Lobo nos cuenta qué le llevó a la ficción especulativa, cómo relaciona su investigación en IA con su narrativa literaria y las reflexiones que surgen sobre el impacto social y político de estos avances tecnológicos. También nos habla de la recepción de su novela y de sus próximos proyectos.

La novela

Toledo Lobo, Francisco. Memorias en la nube. Madrid: Editorial Titanium, 2024.

Comprar en Amazon

Francisco Toledo Lobo, catedrático de Ciencias de la Computación e Inteligencia Artificial en la Universitat Jaume I, presenta en Memorias en la nube una novela de ciencia ficción que explora los límites éticos de la inteligencia artificial y la privacidad en un futuro cercano. La trama sigue a cuatro jóvenes —Dío, Square, Torch y Axón— cuyas vidas se entrelazan a raíz de misteriosas muertes. Al investigar las actividades de la poderosa corporación tecnológica Némesis, descubren un oscuro secreto que los lleva a cuestionar hasta dónde están dispuestos a llegar por la verdad

Anthropic lanza un programa para apoyar la investigación científica con IA

 AI for Science program

Wiggers, Kyle. “Anthropic Launches a Program to Support Scientific Research.” TechCrunch, May 5, 2025. https://techcrunch.com/2025/05/05/anthropic-launches-a-program-to-support-scientific-research/?utm_source=flipboard&utm_content=Techcrunch/magazine/Latest+TechCrunch+Stories

Anthropic, una empresa destacada en el desarrollo de inteligencia artificial, ha lanzado un programa llamado AI for Science con el objetivo de impulsar la investigación científica mediante el uso de sus modelos de IA. Este programa está especialmente enfocado en apoyar proyectos científicos de alto impacto, con especial énfasis en las áreas de biología y ciencias de la vida, que son campos donde la IA tiene un enorme potencial para acelerar descubrimientos y avances.

El programa ofrecerá a los investigadores seleccionados hasta 20.000 dólares en créditos para acceder a la API de Anthropic durante un periodo de seis meses. Los beneficiarios podrán utilizar toda la gama de modelos de IA que la empresa ha desarrollado, incluyendo la familia Claude, conocida por su capacidad avanzada para comprender y procesar lenguaje natural, además de realizar razonamientos complejos. Esta infraestructura tecnológica permitirá a los científicos analizar grandes volúmenes de datos complejos, generar nuevas hipótesis de investigación, diseñar experimentos de forma más eficiente y comunicar sus hallazgos de manera más clara y efectiva.

Para seleccionar a los investigadores participantes, Anthropic evaluará las candidaturas cada primer lunes de mes, basándose en criterios como la trayectoria y las contribuciones previas a la ciencia de los postulantes, el potencial impacto de sus proyectos y la capacidad real de la inteligencia artificial para acelerar sus investigaciones. Además, el proceso de selección incluye un riguroso análisis de bioseguridad para garantizar que las investigaciones propuestas no puedan ser usadas con fines dañinos o no éticos. Esta revisión contará con expertos en los campos científicos correspondientes, asegurando que las propuestas sean sólidas y viables.

Este lanzamiento se enmarca en una tendencia creciente dentro de la industria tecnológica, donde múltiples compañías están invirtiendo en el desarrollo de herramientas de inteligencia artificial específicamente diseñadas para la ciencia. Por ejemplo, Google ha presentado su propio “AI co-scientist,”, un asistente automatizado que ayuda a formular hipótesis y planificar investigaciones. OpenAI, otra de las grandes competidoras de Anthropic, junto con startups como FutureHouse y Lila Sciences, también están apostando a que la IA puede revolucionar la velocidad y eficacia del trabajo científico, en especial en la medicina y las ciencias biológicas.

Sin embargo, a pesar del entusiasmo del sector tecnológico, muchos investigadores mantienen reservas sobre el nivel actual de utilidad de estas tecnologías en el proceso científico. Esto se debe principalmente a que la IA todavía presenta limitaciones en términos de confiabilidad y creatividad disruptiva. Mientras la IA puede ser muy útil para filtrar datos o reducir opciones en proyectos que requieren una exploración amplia, es menos clara su capacidad para realizar el tipo de pensamiento original y fuera de lo común que suele ser necesario para grandes descubrimientos científicos.

Un ejemplo ilustrativo de estas dificultades fue el caso reportado en 2023 por Google, donde se dijo que su IA llamada GNoME había ayudado a sintetizar 40 nuevos materiales. Sin embargo, análisis externos indicaron que ninguno de esos materiales era realmente novedoso, lo que subraya las limitaciones actuales de la tecnología para generar avances genuinos por sí sola.

Con este programa, Anthropic busca no solo apoyar a la comunidad científica, sino también demostrar que sus modelos de IA pueden superar estas barreras y generar resultados concretos y valiosos para la ciencia. La empresa espera que al facilitar el acceso a su tecnología, más investigadores puedan acelerar sus proyectos, particularmente en áreas críticas como la comprensión de sistemas biológicos complejos, el análisis genético, el desarrollo de nuevos fármacos para enfermedades globales, y la mejora de la productividad agrícola.

Finalmente, el programa de Anthropic representa un paso importante para estrechar la colaboración entre la inteligencia artificial y la comunidad científica. Al establecer un proceso de selección riguroso y centrado en el mérito y la seguridad, Anthropic pretende garantizar que los avances promovidos por su IA sean éticos, significativos y contribuyan a enfrentar algunos de los desafíos más urgentes del mundo actual.

¿Qué es la generación de imágenes basada en autorregresión y cómo afectará al fraude documental?

Flook, Rebecca. 2025. «What Is Autoregression-Based Image Generation and How Will It Impact Document Fraud?» Artificial Intelligence, mayo 23, 2025. https://nationalcentreforai.jiscinvolve.org/wp/2025/05/23/what-is-autoregression-based-image-generation-and-how-will-it-impact-document-fraud-2/

En el artículo se explora el papel emergente de los modelos de IA autorregresivos en la generación de imágenes y sus implicaciones en el fraude documental.

Los modelos autoregresivos generan imágenes prediciendo píxel por píxel en una secuencia, basándose en los píxeles anteriores. Esta técnica permite una creación detallada y controlada de imágenes, lo que la hace útil para tareas que requieren precisión y coherencia visual. En pocas palabras, tiene que ver con la utilización de la autorregresión. No se trata de un concepto nuevo en la IA Generativa, ya que los modelos autorregresivos se utilizan principalmente para generar texto. También se ha utilizado anteriormente en la generación de imágenes, pero no con el nivel de multimodalidad que estamos presenciando ahora, que se ha incorporado a GPT-4o y está disponible para los usuarios de ChatGPT. Así, cuando un usuario pide una imagen al modelo de IA Generativa, éste utiliza esta metodología aprendida, convirtiendo una distribución de datos de puro ruido en una imagen basada en una indicación del usuario, con diversos grados de éxito.

Desde la introducción de esta nueva metodología, se ha observado que el modelo posee una capacidad preocupante para crear documentos falsificados, como distintos tipos de identificaciones. Muchos procesos de autenticación en la vida diaria dependen de la verificación de imágenes, y la inteligencia artificial está nuevamente facilitando el acceso a actores malintencionados para generar recursos fraudulentos. Los generadores de imágenes por IA intentan asegurar que los usuarios conozcan el origen de una imagen incluyendo marcas de agua o una firma en los metadatos. Aunque esto representa un obstáculo para los actores malintencionados, no es una solución infalible. Estos datos de procedencia pueden ser eliminados o modificados para imitar autenticidad.

Para contrarrestar estos riesgos, el artículo subraya la importancia de desarrollar mecanismos sólidos de detección y protocolos de verificación. También destaca la necesidad de mantener la investigación activa y fomentar la colaboración entre las partes implicadas para anticiparse a posibles usos fraudulentos.

Base de datos de alucinaciones de la Inteligencia Artificial generativa

AI Hallucination Cases

https://www.damiencharlotin.com/hallucinations/

Esta base de datos recopila decisiones judiciales relacionadas con casos en los que una inteligencia artificial generativa produjo contenido alucinado —es decir, contenido falso o erróneo generado por el sistema. El ejemplo más común son las citas legales falsas (fake citations), aunque también se incluyen otros tipos de errores, como argumentos jurídicos inventados o distorsionados.

Es importante destacar que esta base no abarca todos los casos en que se han utilizado citas falsas o IA en procedimientos judiciales, sino que se centra únicamente en los casos en los que ha habido una decisión legal vinculada a la utilización de contenido alucinado por IA.

El fenómeno de las alucinaciones en IA se refiere a la generación de información falsa pero con apariencia convincente. En el ámbito jurídico, esto representa un riesgo serio para la integridad del proceso judicial, ya que puede conducir a decisiones basadas en datos erróneos o incluso a la desinformación intencionada. Por ello, esta base de datos funciona también como una advertencia práctica sobre los límites actuales de la tecnología y la necesidad de usarla con criterio, supervisión humana y sentido ético.

Hasta el momento, la base de datos ha identificado 121 casos, y sigue en expansión conforme surgen nuevos ejemplos. Su objetivo es ofrecer un registro sistemático y riguroso que permita entender el impacto real del uso de estas herramientas tecnológicas en entornos legales, donde la precisión y la veracidad son esenciales. Es un recurso de gran valor tanto para juristas como para investigadores, medios de comunicación y responsables de políticas públicas.

El uso de contenido generado por IA en documentos judiciales ha provocado en algunos casos consecuencias graves, como sanciones disciplinarias a abogados que incluyeron citas falsas producidas por sistemas como ChatGPT sin verificarlas. Estos incidentes han sido objeto de cobertura mediática y han despertado un amplio debate sobre la responsabilidad profesional y la fiabilidad de las herramientas de IA en contextos de alta exigencia ética.

Un caso destacado es el de Mata v. Avianca, Inc., donde los abogados del demandante utilizaron ChatGPT para generar una moción legal que contenía múltiples casos jurídicos ficticios. El tribunal descubrió que las citas eran inexistentes y sancionó a los abogados con una multa de 5.000$, subrayando la responsabilidad profesional de verificar la exactitud de las referencias legales, independientemente de las herramientas utilizadas.

Otro ejemplo relevante es el caso en Israel de Mahala Association v. Clalit Health Services, donde se presentaron múltiples citas falsas generadas por una herramienta de IA llamada Takdin.AI. El tribunal no solo desestimó la petición de certificación de acción colectiva, sino que también impuso sanciones monetarias y determinó que el abogado no era apto para actuar en el caso.

En definitiva, este archivo documental se ha convertido en un instrumento de seguimiento y análisis de un fenómeno emergente que afecta a la práctica del derecho y que requiere atención tanto desde el ámbito jurídico como desde la innovación tecnológica y la regulación.

La alfabetización en inteligencia artificial: una competencia clave para la educación del siglo XXI

El Marco AILit refleja conocimientos, destrezas y actitudes relevantes que se encuentran en múltiples disciplinas académicas

Tanya Milberg, «Why AI Literacy Is Now a Core Competency in Education» World Economic Forum, May 22, 2025. https://www.weforum.org/stories/2025/05/why-ai-literacy-is-now-a-core-competency-in-education/

La alfabetización en inteligencia artificial (IA) se ha convertido en una competencia esencial en educación, ya que la IA está transformando profundamente la forma en que vivimos, trabajamos y aprendemos. Ante este panorama, el Foro Económico Mundial y organizaciones como la Comisión Europea, la OCDE y Code.org han desarrollado el Marco de Alfabetización en IA (AILit) para preparar a los estudiantes a desenvolverse en un mundo cada vez más integrado con IA.

La alfabetización en inteligencia artificial (IA) ya no es opcional, sino una competencia esencial en la educación contemporánea. Frente al avance imparable de la tecnología, en especial la IA generativa, los sistemas educativos deben evolucionar más allá de la alfabetización digital básica y adoptar un enfoque integral que prepare a los estudiantes para vivir, trabajar y aprender en un mundo profundamente influido por la IA.

Los estudiantes actuales ya están expuestos a herramientas de IA, tanto dentro como fuera del aula. Sin embargo, muchos carecen de una formación formal sobre cómo funcionan estas herramientas, sus limitaciones, sesgos y riesgos potenciales. Un informe conjunto de TeachAI y EY reveló que casi la mitad de la Generación Z tiene dificultades para identificar deficiencias en tecnologías de IA, como la invención de hechos por parte de sistemas generativos.

El Foro Económico Mundial subraya que no basta con enseñar a programar o a usar tecnología: es necesario desarrollar habilidades cognitivas y éticas que permitan evaluar críticamente las salidas de la IA, colaborar con ella de forma creativa y comprender su papel en la sociedad.

AI Literacy Framework (AILit) define la alfabetización en IA como una combinación de conocimientos, habilidades y actitudes que permiten a los estudiantes interactuar con la IA de manera responsable y eficaz. El marco se organiza en cuatro dominios clave, acompañados por 23 competencias específicas y ejemplos prácticos para su implementación en el aula:

  1. Interacción con la IA: Comprender cuándo y cómo está presente la IA en herramientas cotidianas y evaluar críticamente sus resultados.
  2. Creación con IA: Utilizar herramientas de IA para resolver problemas y fomentar la creatividad, considerando implicaciones éticas como la propiedad y el sesgo.
  3. Gestión de las acciones de la IA: Delegar tareas a la IA con responsabilidad, estableciendo límites claros y garantizando supervisión humana.
  4. Diseño de soluciones con IA: Comprender cómo funciona la IA y cómo construir o adaptar sistemas para abordar problemas reales.

Este enfoque interdisciplinar permite que el marco se aplique no solo en clases de informática, sino también en asignaturas como lengua, arte o ciencias sociales, integrando la IA como un tema transversal en toda la educación.

El marco incluye 23 competencias y escenarios pedagógicos para aplicarlo en distintas asignaturas, no solo en tecnología. También se alinea con políticas europeas como el Plan de Acción de Educación Digital y el AI Act, que exigen niveles mínimos de alfabetización en IA para educadores y estudiantes.

Dado que se prevé que el 40% de las habilidades necesarias en el mercado laboral cambiarán en cinco años, se insiste en la urgencia de enseñar habilidades específicas como el pensamiento algorítmico, la ingeniería de prompts y la comprensión del sesgo de datos. Sin embargo, también se enfatizan las habilidades humanas que la IA no puede replicar, como la empatía, el juicio ético y la colaboración.

El AILit está en fase de consulta pública hasta finales de 2025. Se anima a educadores, responsables políticos y diseñadores de currículo a participar en su mejora. El objetivo es formar a las nuevas generaciones no solo como usuarias de la IA, sino como sus creadoras y guardianas éticas.

¿Se puede confiar en los agentes de IA?

Glikson, Ella Miron-Spektor y David De Cremer. 2025. “Can AI Agents Be Trusted?” Harvard Business Review, May 2025. https://hbr.org/2025/05/can-ai-agents-be-trusted

Los agentes personales de inteligencia artificial (IA) están emergiendo como una de las innovaciones más prometedoras y disruptivas en el campo de la IA. Estos sistemas autónomos, basados en modelos de lenguaje de gran escala (LLMs), están diseñados para actuar en nombre de los usuarios, automatizando tareas como la gestión de calendarios, la búsqueda y análisis de información, las compras, la selección de contenidos y la comunicación básica.

Su atractivo radica en su capacidad para razonar, tomar decisiones y aprender de la experiencia, con la posibilidad de optimizarse progresivamente. Empresas como Salesforce ya han implementado versiones de estos agentes en atención al cliente, y compañías líderes están ofreciendo prototipos de agentes personales a sus clientes y socios.

Sin embargo, su despliegue plantea cuestiones fundamentales:

  • ¿Podrán estos agentes actuar verdaderamente en nuestro interés?
  • ¿Serán leales únicamente a sus usuarios o también a sus desarrolladores, anunciantes y proveedores de servicios?
  • ¿Cómo podemos saberlo y confiar en ello?

La respuesta a estas preguntas determinará si los agentes personales de IA fortalecen o dañan las relaciones comerciales, el valor de marca y, sobre todo, la confianza del usuario.

¿Qué podría salir mal? Riesgos de los agentes personales de IA

Uno de los principales riesgos asociados a los agentes personales de inteligencia artificial es su vulnerabilidad ante el crimen. Al igual que un empleado desleal, estos agentes podrían ser hackeados o mal programados para actuar en contra de los intereses de su usuario, exponiéndolo a robos de identidad, fraudes financieros o filtraciones de datos. Pruebas de seguridad realizadas por el Instituto Nacional de Estándares y Tecnología de EE.UU. y por empresas privadas han demostrado que incluso los modelos más sofisticados pueden ser manipulados para ejecutar acciones maliciosas, como revelar contraseñas o enviar correos electrónicos fraudulentos.

Otro peligro importante es la manipulación comercial. Los agentes podrían estar sesgados a favor de productos o servicios promovidos por las empresas que los desarrollan o por sus socios comerciales. En el entorno digital actual ya es común encontrar publicidad encubierta o recomendaciones interesadas, por lo que no es difícil imaginar que estas prácticas se trasladen a los agentes personales, comprometiendo su objetividad y convirtiéndolos en instrumentos de marketing disfrazado de asesoramiento imparcial.

Un riesgo relacionado es la preferencia por anunciantes. En sectores como el entretenimiento, las noticias o las redes sociales, los agentes podrían priorizar contenidos patrocinados en lugar de ofrecer lo que realmente se ajusta a las preferencias del usuario. El modelo de negocio “gratuito” basado en publicidad ya ha demostrado sus limitaciones en medios tradicionales como la radio y la televisión, donde el contenido estaba condicionado por los intereses de los anunciantes. Un ejemplo actual es Spotify: su función de DJ automatizado promete recomendaciones personalizadas, pero permite a los artistas pagar por mayor visibilidad, aunque eso implique aceptar menores regalías. Esto puede influir en las recomendaciones de forma opaca y sin conocimiento del usuario.

La susceptibilidad a la desinformación es otra amenaza crítica. Al igual que los humanos, los agentes de IA pueden ser engañados por información falsa, manipulada o generada mediante técnicas como los “deepfakes”. Ya se han reportado casos en los que la IA ha ofrecido consejos incorrectos o incluso peligrosos, como ocurrió con un pasajero de Air Canada que recibió una falsa promesa de descuento generada por un sistema automatizado. Cuando las decisiones del agente se basan en datos erróneos, las consecuencias pueden ser graves e irreversibles.

¿Cómo construir confianza en los agentes personales de IA?

Evitar una supervisión excesiva que anule la utilidad de estos agentes exige soluciones combinadas de tipo jurídico, técnico y de mercado. Los expertos proponen tres enfoques clave para construir la confianza necesaria.

El primero consiste en tratarlos legalmente como fiduciarios. Así como abogados, asesores financieros o tutores están sujetos a obligaciones de lealtad, confidencialidad y diligencia, los agentes de IA deberían cumplir esos mismos estándares. Esto implicaría regularlos públicamente y establecer mecanismos claros de rendición de cuentas por conflictos de interés, uso indebido de datos o actuaciones negligentes. Algunos expertos sostienen que el marco legal actual ya permitiría aplicar esta figura, y que, de no ser así, existiría consenso político y empresarial para regularlo, dadas sus implicaciones.

El segundo enfoque apunta al impulso de mecanismos de control desde el mercado. El sector privado puede desarrollar seguros, auditorías y herramientas de vigilancia para proteger a los usuarios. Existen ya servicios que alertan sobre robo de identidad o permiten monitorear transacciones financieras; algo similar podría diseñarse para los agentes de IA. Incluso podrían establecerse “burós de crédito” de IA que supervisen su comportamiento y ajusten su nivel de autonomía según las preferencias del usuario. Las aseguradoras también podrían incentivar buenas prácticas ofreciendo coberturas frente a fallos o abusos.

La tercera estrategia es mantener la toma de decisiones a nivel local. Desde el punto de vista técnico, una medida efectiva sería garantizar que los datos sensibles y los procesos de decisión permanezcan en los dispositivos del usuario —como teléfonos, tabletas u ordenadores—, minimizando el riesgo de manipulación externa o robo. Apple ha dado pasos en esta dirección con una arquitectura que procesa la mayoría de la información localmente y, en caso de usar la nube, emplea servidores propios con cifrado, sin almacenar datos personales. Además, permite auditorías independientes de seguridad y privacidad. Otros fabricantes deberían adoptar modelos similares, combinando procesamiento local, cifrado y transparencia verificable. También es clave exigir la divulgación clara de patrocinadores, promociones y publicidad integrada en la actividad del agente.

En conclusión, la llegada de los agentes personales de IA promete transformar radicalmente la manera en que interactuamos con la tecnología, organizamos nuestras tareas cotidianas y tomamos decisiones. Sin embargo, el impacto positivo de esta revolución tecnológica dependerá en gran medida de la confianza que podamos depositar en dichos agentes. Esa confianza no surgirá de forma automática: deberá construirse sobre una base sólida que combine marcos legales apropiados, incentivos de mercado bien diseñados, soluciones técnicas transparentes y una voluntad firme de anteponer los intereses de los usuarios a los beneficios comerciales. Solo entonces podremos considerar que los agentes de IA actúan verdaderamente en nuestro nombre.

Transformar el aprendizaje con IA generativa: de las percepciones de los estudiantes al diseño de una solución educativa

Mirea, Corina-Marina, Răzvan Bologa, Andrei Toma, Antonio Clim, Dimitrie-Daniel Plăcintă, and Andrei Bobocea. 2025. «Transforming Learning with Generative AI: From Student Perceptions to the Design of an Educational Solution» Applied Sciences 15, no. 10: 5785. https://doi.org/10.3390/app15105785

Se explora cómo la inteligencia artificial generativa, específicamente herramientas como ChatGPT-3.5 y ChatGPT-4, está transformando el proceso de aprendizaje desde la perspectiva de los estudiantes hasta el diseño de soluciones educativas adaptativas.

El estudio se centra en comprender cómo los estudiantes perciben el uso de herramientas de IA generativa en su proceso de aprendizaje y cómo estas herramientas pueden integrarse en sistemas educativos adaptativos para mejorar los resultados académicos.

Los investigadores realizaron una encuesta entre estudiantes para recopilar datos sobre sus experiencias y percepciones al utilizar ChatGPT en sus estudios. Además, analizaron arquitecturas de plataformas de aprendizaje existentes para proponer una nueva arquitectura de sistema de aprendizaje adaptativo que incorpore IA generativa.

El objetivo principal del estudio es doble: por un lado, evaluar cómo los estudiantes perciben el uso de herramientas de IA generativa en su proceso de aprendizaje; por otro, diseñar una arquitectura de sistema de aprendizaje adaptativo que aproveche estas herramientas para crear entornos educativos más eficaces. La investigación parte de un enfoque empírico basado en encuestas a estudiantes universitarios, complementado con un análisis técnico de plataformas de aprendizaje digital existentes. Con base en estos dos pilares —la percepción de los usuarios y el estado del arte tecnológico— los autores desarrollan una propuesta concreta de solución educativa basada en IA.

Los resultados de la encuesta reflejan que una mayoría significativa de estudiantes percibe beneficios concretos en el uso de herramientas como ChatGPT. Entre los aspectos más valorados se encuentran la ayuda para la comprensión de conceptos complejos, el apoyo en la redacción de textos y la posibilidad de resolver dudas de manera inmediata y personalizada. Muchos estudiantes afirmaron que estas interacciones habían tenido un efecto positivo en su rendimiento académico.

También se identificaron algunos riesgos y desafíos, como la dependencia excesiva de la IA, la posibilidad de recibir información incorrecta o sesgada y la disminución del pensamiento crítico si no se usan las herramientas de forma consciente y reflexiva. No obstante, los estudiantes demostraron una actitud crítica y madura, reconociendo que la IA es una herramienta de apoyo y no un sustituto del aprendizaje activo.

A partir de los hallazgos, los autores proponen una arquitectura de sistema de aprendizaje adaptativo que integra IA generativa como núcleo funcional. Esta arquitectura se basa en varios módulos: gestión del conocimiento, personalización del aprendizaje, interacción con el usuario, seguimiento del progreso, evaluación formativa y retroalimentación continua. La IA generativa se utiliza principalmente para generar contenidos personalizados, explicar conceptos según el nivel del estudiante, ofrecer ejercicios prácticos y simular escenarios de aprendizaje.

El sistema está diseñado para aprender del comportamiento y las respuestas del estudiante, adaptándose dinámicamente a sus necesidades, intereses y ritmo de aprendizaje. Esto permite una experiencia educativa más personalizada, motivadora y eficaz. Además, el modelo considera la necesidad de incorporar mecanismos éticos y de verificación de la información generada por la IA.