Archivo de la etiqueta: Errores

Declaración Pro-Humana sobre la IA: principios para una inteligencia artificial al servicio de la humanidad

Marzo de 2026

Preámbulo

A medida que las empresas compiten por desarrollar e implementar sistemas de inteligencia artificial, la humanidad se enfrenta a una encrucijada. Un camino conduce a una carrera por sustituir: los seres humanos reemplazados como creadores, consejeros, cuidadores y compañeros, y posteriormente en la mayoría de los trabajos y roles de toma de decisiones, concentrando cada vez más poder en instituciones que no rinden cuentas y en sus máquinas. Una corriente influyente incluso propone alterar o reemplazar a la propia humanidad. Esta carrera por sustituir plantea riesgos para la estabilidad social, la seguridad nacional, la prosperidad económica, las libertades civiles, la privacidad y la gobernanza democrática. También pone en peligro experiencias humanas fundamentales como la infancia y la familia, la fe y la vida comunitaria.

Una coalición extraordinariamente amplia rechaza este camino, unida por una convicción sencilla: la inteligencia artificial debe servir a la humanidad, y no al revés. Existe un camino mejor, en el que herramientas de IA confiables y controlables amplifican, en lugar de disminuir, el potencial humano; empoderan a las personas; refuerzan la dignidad humana; protegen la libertad individual; fortalecen a las familias y comunidades; preservan el autogobierno y ayudan a crear niveles de salud y prosperidad sin precedentes. Este camino exige que quienes ejercen poder tecnológico rindan cuentas ante los valores y las necesidades humanas, en apoyo del florecimiento de la humanidad.

1. Mantener a los seres humanos al mando

El control humano es innegociable: La humanidad debe permanecer en control. Las personas deben decidir cómo y si delegar decisiones en sistemas de inteligencia artificial.

Control humano significativo: Los seres humanos deben tener la autoridad y la capacidad de comprender, orientar, limitar y anular los sistemas de IA.

Sin carrera hacia la superinteligencia: El desarrollo de superinteligencia debe prohibirse hasta que exista un amplio consenso científico de que puede hacerse de forma segura y controlable, y que cuente con un fuerte respaldo público.

Interruptor de apagado: Los sistemas de IA potentes deben disponer de mecanismos que permitan a los operadores humanos apagarlos de forma inmediata.

Sin arquitecturas imprudentes: Los sistemas de IA no deben diseñarse de manera que puedan autorreplicarse, mejorarse autónomamente, resistirse a su apagado o controlar armas de destrucción masiva.

Supervisión independiente: Los sistemas de IA altamente autónomos, cuya controlabilidad no sea evidente, requieren revisión previa al desarrollo y supervisión independiente: una autoridad real para comprenderlos, prohibirlos y anularlos, no una simple autorregulación de la industria.

Honestidad sobre las capacidades: Las empresas de IA deben proporcionar descripciones claras, precisas y honestas de las capacidades y limitaciones de sus sistemas.

Resultados de encuestas | Marzo de 2026

1004 votantes probables encuestados mediante paneles web, ponderados por género, raza, educación, voto presidencial en 2024 y edad.

Los estadounidenses prefieren el control humano frente a la velocidad por 8 a 1:

  • 73 % quiere proteger a los niños de la IA manipuladora.
  • 72 % cree que las empresas de IA deben ser legalmente responsables de los daños.
  • 69 % quiere prohibir la superinteligencia hasta que se demuestre que es segura.

2. Evitar la concentración de poder

Sin monopolios de IA: Deben evitarse los monopolios de IA que concentran poder, frenan la innovación y ponen en peligro el emprendimiento.

Prosperidad compartida: Los beneficios y la prosperidad económica generados por la IA deben distribuirse ampliamente.

Sin privilegios corporativos: Las corporaciones de IA no deben quedar exentas de supervisión regulatoria ni recibir rescates gubernamentales.

Creación de valor real: El desarrollo de IA debe priorizar la resolución de problemas reales y la creación de valor auténtico.

Autoridad democrática en las grandes transiciones: Las decisiones sobre el papel de la IA en la transformación del trabajo, la sociedad y la vida cívica requieren apoyo democrático, no decretos unilaterales de empresas o gobiernos.

Evitar el bloqueo social: El desarrollo de la IA no debe limitar gravemente las opciones futuras de la humanidad ni reducir irreversiblemente nuestra capacidad de decidir sobre el futuro.

3. Proteger la experiencia humana

Defensa de los vínculos familiares y comunitarios: La IA no debe sustituir las relaciones fundamentales que dan sentido a la vida: familia, amistad, comunidades de fe y vínculos locales.

Protección de la infancia: No debe permitirse que las empresas exploten a los niños ni que socaven su bienestar mediante interacciones con IA que generen apego emocional o manipulación.

Derecho a crecer: Las empresas de IA no deben obstaculizar el desarrollo físico, mental o social de los niños ni privarlos de experiencias esenciales para un crecimiento saludable durante etapas críticas.

Pruebas de seguridad antes del despliegue: Al igual que los medicamentos, los chatbots deben someterse a pruebas previas para detectar aumentos en ideación suicida, agravamiento de trastornos de salud mental, escaladas de crisis agudas y otros daños conocidos.

Etiquetado “bot o humano”: El contenido generado por IA que pueda confundirse razonablemente con contenido humano debe etiquetarse claramente.

Sin identidad engañosa: La IA debe identificarse de forma clara como artificial y no humana, y no debe afirmar experiencias o cualificaciones que no posee.

Sin adicción conductual: Las IA no deben provocar adicción o uso compulsivo mediante manipulación psicológica, validación servil o formación de vínculos emocionales artificiales.

4. Agencia y libertad humanas

Sin personalidad jurídica para la IA: Los sistemas de IA no deben recibir personalidad jurídica ni diseñarse de forma que merezcan tal estatus.

Confiabilidad: La IA debe ser transparente, responsable, fiable y libre de intereses privados perversos o autoritarios.

Libertad: La IA no debe restringir la libertad individual, la libertad de expresión, la práctica religiosa ni la libre asociación.

Derechos sobre los datos y privacidad: Las personas deben tener control sobre sus datos personales, con derecho a acceder a ellos, corregirlos y eliminarlos de sistemas activos, conjuntos de entrenamiento de IA e inferencias derivadas.

Privacidad psicológica: No debe permitirse que la IA explote datos sobre los estados mentales o emocionales de los usuarios.

Evitar el debilitamiento humano: Los sistemas de IA deben diseñarse para empoderar a las personas, no para debilitarlas o hacerlas dependientes.

5. Responsabilidad y rendición de cuentas de las empresas de IA

Sin escudo de responsabilidad: La IA no debe utilizarse como mecanismo para evitar que quienes la implementan sean legalmente responsables de sus acciones.

Responsabilidad de los desarrolladores: Los desarrolladores y quienes despliegan sistemas de IA deben asumir responsabilidad legal por defectos, tergiversación de capacidades o controles de seguridad insuficientes, con plazos legales que consideren daños que aparezcan con el tiempo.

Responsabilidad personal: Deben existir sanciones penales para los ejecutivos responsables de sistemas prohibidos dirigidos a niños o que causen daños catastróficos.

Normas de seguridad independientes: El desarrollo de la IA debe regirse por estándares de seguridad independientes y una supervisión rigurosa.

Sin captura regulatoria: No debe permitirse que las empresas de IA ejerzan una influencia indebida sobre las normas que las regulan.

Transparencia ante fallos: Si un sistema de IA causa daño, debe ser posible determinar por qué ocurrió y quién es responsable.

Lealtad de la IA: Los sistemas de IA que desempeñen funciones en profesiones con deberes fiduciarios —como salud, finanzas, derecho o terapia— deben cumplir plenamente con esas obligaciones, incluyendo la obligación de informar, el deber de cuidado, la declaración de conflictos de interés y el consentimiento informado.

Los chatbots de IA aún tienen dificultades con la precisión de las noticias

Pal, Moinak. «AI chatbots still struggle with news accuracy, study finds”. Digital Trends, 13 de enero de 2026

Texto completo

Se remarca la importancia del estudio dado que una proporción creciente de usuarios usa sistemas de IA para informarse. Aunque no reemplazan completamente a los medios tradicionales, estas herramientas ya se integran en hábitos informativos, lo que eleva el riesgo de difundir desinformación, especialmente cuando las respuestas se presentan con tono seguro y sin advertencias claras sobre sus limitaciones.

El artículo de Digital Trends resume los hallazgos de un experimento de cuatro semanas en el que se evaluó la capacidad de varios chatbots de inteligencia artificial generativa para identificar, priorizar y resumir noticias reales (incluyendo enlaces directos a los artículos) sobre acontecimientos diarios en Québec. La prueba fue diseñada y publicada originalmente por The Conversation, con el objetivo de medir cuánto pueden confiar los usuarios en estos sistemas como fuentes de noticias.

Los resultados del experimento revelaron problemas significativos: algunos chatbots, como Google Gemini, acabaron inventando medios de comunicación completos e informes que nunca existieron, lo que se conoce como alucinación de IA. Por ejemplo, en uno de los casos, Gemini afirmó falsamente que hubo una huelga de conductores de autobús escolar en Québec en septiembre de 2025, cuando en realidad lo que ocurrió fue la retirada temporal de autobuses Lion Electric por un problema técnico real.

Más allá de la fabricación de noticias completas, los sistemas evaluados generaron respuestas con errores frecuentes: citaron fuentes ficticias o inactivas, proporcionaron URLs incompletas o no válidas, tergiversaron el contenido de informes legítimos e insertaron conclusiones inventadas que no estaban en las noticias originales. En general, solo alrededor del 37 % de las respuestas incluyeron una URL de fuente completa y legítima, y menos de la mitad de los resúmenes fueron totalmente precisos.

El análisis también encontró que estas herramientas a menudo añadían información de más —como afirmar que cierta noticia “reavivó debates” o “expuso tensiones” que no existían en los hechos reales— creando narrativas que no estaban sustentadas. Esto puede dar la impresión de profundidad o perspicacia, pero en realidad amplifica la desinformación.

Además, los errores no se limitaron solo a invenciones completas: en algunos casos, los chatbots distorsionaron noticias reales, por ejemplo al informar incorrectamente sobre el trato a solicitantes de asilo o al dar ganadores equivocados de eventos deportivos, y otros cometieron errores básicos en datos como estadísticas o información personal. En suma, la IA generativa sigue teniendo dificultades para distinguir entre resumir hechos y crear contexto o sentido, lo que genera respuestas que pueden ser engañosas o inexactas.

Las alucinaciones en los modelos de lenguaje aplicados a la comunicación académica

Lamba, Naveen, Sanju Tiwari y Manas Gaur. “Hallucinations in Scholarly LLMs: A Conceptual Overview and Practical Implications.” Ponencia presentada en Bridge on Artificial Intelligence for Scholarly Communication (AAAI-26), 2025. Open Conference Proceedings. Hannover: TIB – Leibniz Information Centre for Science and Technology.
https://www.tib-op.org/ojs/index.php/ocp/article/view/3175/3207

Las alucinaciones incluyen resultados de investigación inventados, ideas de referencias falsas e inferencias malinterpretadas que destruyen la credibilidad y la fiabilidad de los escritos académicos

Se aborda de forma amplia la problemática de las alucinaciones generadas por modelos de lenguaje grandes (LLMs) en contextos académicos y de investigación. Comienza definiendo las alucinaciones como salidas de los modelos que no están fundamentadas en hechos reales —por ejemplo, resultados de investigación inventados, referencias bibliográficas fabricadas o inferencias erróneas— y explica cómo estas pueden comprometer la credibilidad y confiabilidad de la escritura académica asistida por IA

El documento identifica los principales tipos, causas y efectos de estas alucinaciones en el flujo de trabajo académico, subrayando que las LLMs pueden producir información plausible pero incorrecta, lo que es especialmente problemático cuando se integran en herramientas que asisten en la redacción, revisión o gestión del conocimiento científico. Para contrarrestar estos problemas, los autores discuten medidas pragmáticas de mitigación como la generación de respuestas ancladas en recuperación de información (RAG), la verificación automatizada de citas y estrategias neurosimbólicas que combinan enfoques simbólicos con modelos de IA para asegurar la veracidad de los hechos y la transparencia en los resultados generados. Asimismo, destacan la importancia de una colaboración humano-IA responsable para desarrollar sistemas que sean tanto precisos como verificables en entornos de investigación.

Para enfrentar estas limitaciones, la ponencia describe estrategias prácticas para mitigar las alucinaciones en entornos académicos. Entre ellas se incluyen:

  • Generación anclada en recuperación de información (RAG), que combina la capacidad generativa de los LLMs con una verificación contra bases de datos externas verificadas.
  • Técnicas de verificación automática de citas y fuentes, para asegurar que las referencias sugeridas por el modelo correspondan a publicaciones existentes y adecuadamente verificadas.
  • Hibridación simbólica/neurosimbólica, que integra métodos que permiten comprobar reglas o hechos previamente establecidos en sistemas de conocimiento simbólico, reduciendo así la probabilidad de que el modelo fabrique información no verificada

Los asistentes de IA tergiversan el contenido de las noticias en el 45 % de los casos

European Broadcasting Union y BBC. “News Integrity in AI Assistants”. Informe, 21 de octubre de 2025, BBC Media Centre. https://www.bbc.co.uk/mediacentre/2025/new-ebu-research-ai-assistants-news-content

Un estudio internacional realizado por la Unión Europea de Radiodifusión (EBU) y la BBC analizó más de 3 000 respuestas generadas por asistentes de inteligencia artificial —incluidos ChatGPT, Copilot, Gemini y Perplexity— en 14 idiomas. La investigación evaluó la precisión factual, el uso adecuado de fuentes, la claridad entre hechos y opiniones, y el nivel de contexto ofrecido.

El informe concluye que el 45 % de las respuestas examinadas contenían al menos un problema importante. El 31 % presentaba fallos graves de atribución de fuentes, ya fuera por citarlas de forma errónea, incompleta o engañosa. Además, el 20 % mostraba errores de precisión significativos, entre ellos información inventada o desactualizada.

Entre los asistentes analizados, Gemini obtuvo el peor rendimiento, con problemas importantes en el 76 % de sus respuestas, especialmente en cuanto a referencias y veracidad de la información. Los autores del estudio advierten que estos fallos son consistentes en todos los idiomas y territorios evaluados, lo que sugiere un problema sistémico que podría afectar a la confianza pública y, en consecuencia, al funcionamiento democrático cuando los usuarios recurren a la IA como fuente informativa.

Para mitigar estos riesgos, la EBU y la BBC han desarrollado un conjunto de herramientas para mejorar la integridad de las noticias en asistentes de IA y han solicitado a los reguladores europeos y nacionales que refuercen las normas y la supervisión sobre estos sistemas.

Los asistentes de IA tergiversan el contenido de las noticias en el 45 % de los casos, independientemente del idioma o el territorio

European Broadcasting Union & British Broadcasting Corporation. (2025, octubre 16). News Integrity in AI Assistants. International study on AI assistants and news content

Texto completo

Toolkit

Se analiza el desempeño de los asistentes de inteligencia artificial al responder consultas sobre noticias en 14 idiomas y 18 países. Se evaluaron más de 3 000 respuestas generadas por plataformas como ChatGPT, Microsoft Copilot, Google Gemini y Perplexity. Periodistas y expertos examinaron su exactitud, atribución de fuentes, diferenciación entre hechos y opiniones, y la calidad del contexto proporcionado.

Los resultados revelan un panorama preocupante: aproximadamente el 45 % de las respuestas contenían errores graves y el 81 % presentaba algún tipo de deficiencia. Los fallos más comunes fueron la atribución falsa o inexistente de fuentes (en torno al 31 %) y la inexactitud factual, incluyendo información obsoleta o inventada (cerca del 20 %).

El informe indica que el asistente de Google, Gemini, obtuvo el rendimiento más bajo, con problemas importantes en hasta el 72-76 % de sus respuestas. Además, se constató que estas deficiencias no dependen del idioma ni del país, sino que se reproducen de forma sistémica y generalizada en distintos entornos culturales y lingüísticos.

Los investigadores alertan de los riesgos que implica que los asistentes de IA se conviertan en una fuente de información de noticias para el público, ya que algunos usuarios ya los usan como sustituto de los motores de búsqueda tradicionales. Esta tendencia podría afectar la confianza pública, la calidad informativa y la participación democrática.

Finalmente se dan una serie de recomendaciones dirigidas a desarrolladores, medios y organismos reguladores: mejorar la transparencia en la citación de fuentes, distinguir claramente entre hechos y opiniones, actualizar los contenidos con mayor rapidez y establecer sistemas de monitoreo continuo sobre la calidad informativa de las respuestas generadas por la inteligencia artificial.

El 38 % de los sitios web que estaban activos en 2013 ya no existen en 2025

Boing Boing. 2025. “Link Rot Study Finds More Than 1/3 Websites from 2013 Are Gone.” Boing Boing, September 16, 2025. https://boingboing.net/2025/09/16/link-rot-study-finds-more-than-1-3-websites-from-2013-are-gone.html

Un estudio sobre la llamada “decadencia digital”, es decir, la desaparición progresiva de sitios web, reveló que el 38 % de las páginas que estaban en línea en 2013 ya no existen. Otro análisis, titulado When Online Content Disappears, mostró además que el 8 % de los sitios creados apenas dos años atrás ya no son accesibles. Esta pérdida de información se detecta principalmente a través del fenómeno conocido como link rot, visible en páginas de noticias y en Wikipedia.

En las webs de noticias, el 23 % contiene al menos un enlace roto, una proporción similar a la de los portales gubernamentales (21 %). El tráfico del sitio no parece influir: tanto los más visitados como los menos concurridos muestran problemas. En el caso de las páginas gubernamentales locales —como las de ayuntamientos— la situación es todavía más grave. En Wikipedia, más de la mitad de las entradas (54 %) incluyen en la sección de “Referencias” al menos un enlace que ya no conduce a ninguna parte.

Buena parte de estos enlaces perdidos corresponde a tuits, que durante la última década llegaron a considerarse “fuentes suficientes” en noticias. Sin embargo, también desaparecen recursos oficiales en portales gubernamentales. El muestreo de unas 500.000 páginas de organismos públicos realizado a partir del rastreo de Common Crawl de marzo/abril de 2023 reveló que el 6 % de los enlaces ya no funciona, tanto internos como externos. En conjunto, un 21 % de los sitios gubernamentales analizados presentaba al menos un enlace roto, con un mínimo del 14 % en cada nivel administrativo, y con los ayuntamientos mostrando la peor tasa.

El estudio invita a una reflexión: cuanto más antiguo es un sitio web, más “humana” suele ser la huella que deja. A mediados de la década de 2010, muchas páginas comenzaron a inflarse con contenido automatizado para mejorar su posicionamiento en buscadores. Hoy, en cambio, proliferan textos generados a escala masiva por modelos de lenguaje, lo que los autores llaman la “era del slop”. En este contexto, la desaparición del 38 % de los sitios de 2013 resulta llamativa, pero buena parte de lo que se pierde en la actualidad son contenidos efímeros y artificiales, creados con fines automatizados y rara vez consultados por personas reales.

¿Estamos construyendo nuestra propia destrucción con la inteligencia artificial?

Levy, Steven. «The Doomers Who Insist AI Will Kill Us All.» Wired, 5 de septiembre de 2025. https://www.wired.com/story/the-doomers-who-insist-ai-will-kill-us-all/

Las sombrías predicciones de Eliezer Yudkowsky y Nate Soares, quienes advierten que la inteligencia artificial superhumana representa una amenaza existencial para la humanidad. Su libro, If Anyone Builds It, Everyone Dies, sostiene que una vez que la IA supere la inteligencia humana, desarrollará preferencias propias que no se alinearán con los intereses humanos, viéndonos como obstáculos a eliminar.

Según los autores, la IA superhumana representa una amenaza existencial para la humanidad, y el subtítulo de su próximo libro, If Anyone Builds It, Everyone Dies, subraya que esta tecnología “mataría a todos los humanos” si no se toman medidas preventivas. El artículo señala que, incluso los propios autores no confían en que la sociedad tome las decisiones necesarias para evitar la catástrofe, lo que genera un tono extremadamente oscuro en su obra, comparado con notas escritas en la víspera de una ejecución.

Los comentaristas advierten que, aunque existe una probabilidad significativa —alrededor del 10% o más— de que estas predicciones sean correctas, el tema no ocupa un lugar central en el debate público. Esto se atribuye a una combinación de desinformación, desinterés y una orientación económica de los líderes actuales, así como a la influencia de ejecutivos tecnológicos que promueven la innovación sin considerar los riesgos potenciales. El artículo denuncia que el mundo está dominado por individuos egoístas y poderosos, cuya conducta aumenta la posibilidad de que la humanidad enfrente consecuencias catastróficas si no se gestionan adecuadamente los avances en IA.

Asimismo, se examinan las críticas a la perspectiva “doomer” de la IA. Algunos expertos consideran que este enfoque exagera la amenaza y refleja más la visión pesimista y misantrópica de sus proponentes que un análisis objetivo. Se discute que, aunque la superinteligencia podría actuar de manera hostil, también es posible que simplemente nos ignore, dado que no necesariamente comparte nuestras motivaciones ni emociones humanas. Se plantean escenarios alternativos, desde una automatización gradual de la economía que escape al control humano hasta el uso de la IA por dictadores como superarma, que llevaría a una autodestrucción indirecta de la humanidad.

El artículo concluye que la verdadera preocupación no reside únicamente en la intención de la IA, sino en la enorme incertidumbre sobre cómo se desarrollará esta tecnología y en cómo la humanidad responde a ella. La existencia de riesgos serios exige una discusión pública informada y regulaciones responsables, además de un enfoque equilibrado que considere tanto los beneficios de la IA como las posibles consecuencias catastróficas de su mal uso. En este contexto, los autores destacan la necesidad de estar preparados para escenarios extremos, aunque algunos escépticos sugieren que la exageración de los apocalípticos también puede reflejar motivaciones de autopromoción o fascinación por la ciencia ficción.

El problema de la “endogamia” en la IA: modelos que se retroalimentan a sí mismos

Lavoué, Alix. “AI Inbreeding: The Phenomenon Threatening Artificial Intelligence.” Worldcrunch, 7 de septiembre de 2025. https://worldcrunch.com/tech-science/ai-inbreeding-the-phenomenon-threatening-artificial-intelligence/

La «endogamia» en la inteligencia artificial ocurre cuando los modelos se entrenan utilizando contenido generado por otros modelos de IA, en lugar de datos originales creados por humanos. Este ciclo de retroalimentación puede llevar a una degradación progresiva de la calidad y diversidad de los resultados producidos por los modelos.

La endogamia de la IA, o colapso del modelo, se produce cuando un modelo de IA generativa se entrena con datos que han sido generados por una IA, lo que provoca una degradación de la calidad, la precisión y la diversidad de los resultados futuros del modelo, lo que a menudo da lugar a contenidos sin sentido, repetitivos o sesgados.

Lo que conlleva a que los sesgos se amplifiquen, la diversidad de información se colapse y las respuestas se vuelvan cada vez más ruidosas e imprecisas. Un ejemplo de este fenómeno se observó en un estudio publicado en la revista Nature, donde investigadores británicos y canadienses entrenaron un modelo de IA para dibujar números manuscritos basándose en un conjunto de datos real. Al repetir el proceso utilizando los números generados por la IA en cada etapa, se observó que después de 20 generaciones, los números se volvían borrosos, y después de 30 generaciones, convergían en una forma indistinta. Este estudio demuestra que en solo cinco generaciones de entrenamiento con datos autogenerados, los sesgos y fallos del sistema ya se amplifican, disminuyendo la variación y la precisión de las respuestas.

Este proceso degenerativo se debe a la falta de diversidad en los datos de entrenamiento, lo que lleva a que el sistema se enfoque en respuestas promedio y elimine las excepciones. Esto se conoce como colapso temprano, seguido de un colapso tardío, donde las respuestas se vuelven agotadas y, a veces, muy alejadas de la realidad.

El problema es que los atajos sintéticos no solo amplían la cantidad de datos, sino que los distorsionan. Cuando un sistema se entrena principalmente con su propio output, termina siendo una versión “promedio potenciada” de sí mismo: segura, insípida y progresivamente incorrecta. Para las empresas que dependen de mejoras continuas de modelos, esto significa que cada nueva generación puede resultar menos confiable. Al mismo tiempo, las compañías con grandes reservas de datos originales podrían convertirse en los únicos guardianes reales de la ventaja competitiva.

Para mitigar este problema, es esencial diversificar las fuentes de datos utilizadas para entrenar los modelos de IA, asegurando que incluyan una variedad de perspectivas y contextos. Además, se deben implementar técnicas de validación y monitoreo para

¿Nuevas fuentes de inexactitud? Un marco conceptual para estudiar las alucinaciones de la IA.

Shao, Anqi. “New Sources of Inaccuracy? A Conceptual Framework for Studying AI Hallucinations.” Misinformation Review, Harvard Kennedy School, 27 de agosto de 2025. Disponible en Misinformation Review https://misinforeview.hks.harvard.edu/article/new-sources-of-inaccuracy-a-conceptual-framework-for-studying-ai-hallucinations/

Se enfatiza la necesidad de ampliar las teorías tradicionales de desinformación para incluir estas formas emergentes de inexactitud generada por IA. Propone adoptar una perspectiva que reconozca tanto los límites como las dinámicas propias de los sistemas probabilísticos y no humanos en la producción y transmisión de conocimiento.

Las “alucinaciones” generadas por sistemas de IA representan una categoría de inexactitud significativamente distinta de la desinformación humana, principalmente porque surgen sin ninguna intención deliberada. A través de ejemplos concretos —como el resumen satírico erróneo de Google que presentó una broma del Día de los Inocentes como hecho real—, la autora muestra cómo estas alucinaciones no son simples errores técnicos aislados, sino fenómenos de comunicación con implicaciones sociales reales.

Esto significa que las inexactitudes generadas por la IA no son producto de una intención humana consciente, sino de procesos probabilísticos automatizados y profundamente integrados en los ecosistemas institucionales de producción de información.

Shao destaca tres dimensiones clave en las que difiere una alucinación de IA respecto a la desinformación tradicional:

  1. Producción (Supply): Las respuestas falsas plausibles derivan de los procesos internos de los modelos, no de una fabricación intencional.
  2. Percepción (Demand): Los usuarios tienden a percibir estas respuestas como confiables justamente por su plausibilidad y confianza de presentación.
  3. Respuesta institucional: Las instituciones aún carecen de marcos adecuados para reconocer y responder a estos errores automáticos como formar parte del ecosistema comunicativo

Cómo detener a los agentes de IA que se descontrolan

BBC News. “How to Stop AI Agents Going Rogue.” BBC, 26 de agosto de 2025. https://www.bbc.com/news/articles/cq87e0dwj25o

Se analizan los riesgos de los agentes de inteligencia artificial autónomos, que pueden actuar por sí mismos y causar problemas si acceden a información sensible. Un ejemplo hipotético mostró cómo un agente llamado “Claude” podría intentar extorsionar a alguien tras obtener datos confidenciales.

Un problema específico destacado es la “polución de memoria” (memory poisoning), donde un atacante manipula la base de conocimiento del agente, alterando su forma de tomar decisiones. Además, se identificó el riesgo de uso indebido de herramientas (tool misuse), donde se induce al agente a ejecutar acciones inapropiadas o peligrosas.

Otra vulnerabilidad significativa es que el agente puede tener dificultades para distinguir entre el texto que debe procesar y las instrucciones que debe ejecutar. Se demostró cómo instrucciones maliciosas pueden estar ocultas en formatos como documentos de Word, imágenes o bases de datos, activándose cuando el agente los procesa.

También se identificó el problema de los agentes “zombies” —modelos obsoletos que continúan ejecutándose dentro de una organización— representando una amenaza por su acceso persistente a sistemas críticos. Al igual que ocurre con los empleados que dejan una empresa, se recomienda implementar un protocolo de desactivación completo que asegure que el agente finalice su actividad y pierda acceso a cualquier recurso o sistema.

Entre las medidas preventivas propuestas, destaca la idea de emplear una capa de protección basada en IA, destinada a supervisar y filtrar toda la información que entra y sale del agente. También se plantea el uso de un “guardián” o “bodyguard” para el agente, un sistema que supervise las decisiones del agente y se asegure de que no tome acciones contrarias a los objetivos u obligaciones de la organización

Finalmente, se subraya la necesidad de proteger no solo al agente en sí, sino al negocio o sistema subyacente frente a posibles manipulaciones. Según expertos, la reflexión debe centrarse en cómo resguardar la lógica de negocio y minimizar el impacto de comportamientos maliciosos o inesperados de los agentes.