Archivo de la etiqueta: Errores

Los chatbots de IA aún tienen dificultades con la precisión de las noticias

Pal, Moinak. «AI chatbots still struggle with news accuracy, study finds”. Digital Trends, 13 de enero de 2026

Texto completo

Se remarca la importancia del estudio dado que una proporción creciente de usuarios usa sistemas de IA para informarse. Aunque no reemplazan completamente a los medios tradicionales, estas herramientas ya se integran en hábitos informativos, lo que eleva el riesgo de difundir desinformación, especialmente cuando las respuestas se presentan con tono seguro y sin advertencias claras sobre sus limitaciones.

El artículo de Digital Trends resume los hallazgos de un experimento de cuatro semanas en el que se evaluó la capacidad de varios chatbots de inteligencia artificial generativa para identificar, priorizar y resumir noticias reales (incluyendo enlaces directos a los artículos) sobre acontecimientos diarios en Québec. La prueba fue diseñada y publicada originalmente por The Conversation, con el objetivo de medir cuánto pueden confiar los usuarios en estos sistemas como fuentes de noticias.

Los resultados del experimento revelaron problemas significativos: algunos chatbots, como Google Gemini, acabaron inventando medios de comunicación completos e informes que nunca existieron, lo que se conoce como alucinación de IA. Por ejemplo, en uno de los casos, Gemini afirmó falsamente que hubo una huelga de conductores de autobús escolar en Québec en septiembre de 2025, cuando en realidad lo que ocurrió fue la retirada temporal de autobuses Lion Electric por un problema técnico real.

Más allá de la fabricación de noticias completas, los sistemas evaluados generaron respuestas con errores frecuentes: citaron fuentes ficticias o inactivas, proporcionaron URLs incompletas o no válidas, tergiversaron el contenido de informes legítimos e insertaron conclusiones inventadas que no estaban en las noticias originales. En general, solo alrededor del 37 % de las respuestas incluyeron una URL de fuente completa y legítima, y menos de la mitad de los resúmenes fueron totalmente precisos.

El análisis también encontró que estas herramientas a menudo añadían información de más —como afirmar que cierta noticia “reavivó debates” o “expuso tensiones” que no existían en los hechos reales— creando narrativas que no estaban sustentadas. Esto puede dar la impresión de profundidad o perspicacia, pero en realidad amplifica la desinformación.

Además, los errores no se limitaron solo a invenciones completas: en algunos casos, los chatbots distorsionaron noticias reales, por ejemplo al informar incorrectamente sobre el trato a solicitantes de asilo o al dar ganadores equivocados de eventos deportivos, y otros cometieron errores básicos en datos como estadísticas o información personal. En suma, la IA generativa sigue teniendo dificultades para distinguir entre resumir hechos y crear contexto o sentido, lo que genera respuestas que pueden ser engañosas o inexactas.

Las alucinaciones en los modelos de lenguaje aplicados a la comunicación académica

Lamba, Naveen, Sanju Tiwari y Manas Gaur. “Hallucinations in Scholarly LLMs: A Conceptual Overview and Practical Implications.” Ponencia presentada en Bridge on Artificial Intelligence for Scholarly Communication (AAAI-26), 2025. Open Conference Proceedings. Hannover: TIB – Leibniz Information Centre for Science and Technology.
https://www.tib-op.org/ojs/index.php/ocp/article/view/3175/3207

Las alucinaciones incluyen resultados de investigación inventados, ideas de referencias falsas e inferencias malinterpretadas que destruyen la credibilidad y la fiabilidad de los escritos académicos

Se aborda de forma amplia la problemática de las alucinaciones generadas por modelos de lenguaje grandes (LLMs) en contextos académicos y de investigación. Comienza definiendo las alucinaciones como salidas de los modelos que no están fundamentadas en hechos reales —por ejemplo, resultados de investigación inventados, referencias bibliográficas fabricadas o inferencias erróneas— y explica cómo estas pueden comprometer la credibilidad y confiabilidad de la escritura académica asistida por IA

El documento identifica los principales tipos, causas y efectos de estas alucinaciones en el flujo de trabajo académico, subrayando que las LLMs pueden producir información plausible pero incorrecta, lo que es especialmente problemático cuando se integran en herramientas que asisten en la redacción, revisión o gestión del conocimiento científico. Para contrarrestar estos problemas, los autores discuten medidas pragmáticas de mitigación como la generación de respuestas ancladas en recuperación de información (RAG), la verificación automatizada de citas y estrategias neurosimbólicas que combinan enfoques simbólicos con modelos de IA para asegurar la veracidad de los hechos y la transparencia en los resultados generados. Asimismo, destacan la importancia de una colaboración humano-IA responsable para desarrollar sistemas que sean tanto precisos como verificables en entornos de investigación.

Para enfrentar estas limitaciones, la ponencia describe estrategias prácticas para mitigar las alucinaciones en entornos académicos. Entre ellas se incluyen:

  • Generación anclada en recuperación de información (RAG), que combina la capacidad generativa de los LLMs con una verificación contra bases de datos externas verificadas.
  • Técnicas de verificación automática de citas y fuentes, para asegurar que las referencias sugeridas por el modelo correspondan a publicaciones existentes y adecuadamente verificadas.
  • Hibridación simbólica/neurosimbólica, que integra métodos que permiten comprobar reglas o hechos previamente establecidos en sistemas de conocimiento simbólico, reduciendo así la probabilidad de que el modelo fabrique información no verificada

Los asistentes de IA tergiversan el contenido de las noticias en el 45 % de los casos

European Broadcasting Union y BBC. “News Integrity in AI Assistants”. Informe, 21 de octubre de 2025, BBC Media Centre. https://www.bbc.co.uk/mediacentre/2025/new-ebu-research-ai-assistants-news-content

Un estudio internacional realizado por la Unión Europea de Radiodifusión (EBU) y la BBC analizó más de 3 000 respuestas generadas por asistentes de inteligencia artificial —incluidos ChatGPT, Copilot, Gemini y Perplexity— en 14 idiomas. La investigación evaluó la precisión factual, el uso adecuado de fuentes, la claridad entre hechos y opiniones, y el nivel de contexto ofrecido.

El informe concluye que el 45 % de las respuestas examinadas contenían al menos un problema importante. El 31 % presentaba fallos graves de atribución de fuentes, ya fuera por citarlas de forma errónea, incompleta o engañosa. Además, el 20 % mostraba errores de precisión significativos, entre ellos información inventada o desactualizada.

Entre los asistentes analizados, Gemini obtuvo el peor rendimiento, con problemas importantes en el 76 % de sus respuestas, especialmente en cuanto a referencias y veracidad de la información. Los autores del estudio advierten que estos fallos son consistentes en todos los idiomas y territorios evaluados, lo que sugiere un problema sistémico que podría afectar a la confianza pública y, en consecuencia, al funcionamiento democrático cuando los usuarios recurren a la IA como fuente informativa.

Para mitigar estos riesgos, la EBU y la BBC han desarrollado un conjunto de herramientas para mejorar la integridad de las noticias en asistentes de IA y han solicitado a los reguladores europeos y nacionales que refuercen las normas y la supervisión sobre estos sistemas.

Los asistentes de IA tergiversan el contenido de las noticias en el 45 % de los casos, independientemente del idioma o el territorio

European Broadcasting Union & British Broadcasting Corporation. (2025, octubre 16). News Integrity in AI Assistants. International study on AI assistants and news content

Texto completo

Toolkit

Se analiza el desempeño de los asistentes de inteligencia artificial al responder consultas sobre noticias en 14 idiomas y 18 países. Se evaluaron más de 3 000 respuestas generadas por plataformas como ChatGPT, Microsoft Copilot, Google Gemini y Perplexity. Periodistas y expertos examinaron su exactitud, atribución de fuentes, diferenciación entre hechos y opiniones, y la calidad del contexto proporcionado.

Los resultados revelan un panorama preocupante: aproximadamente el 45 % de las respuestas contenían errores graves y el 81 % presentaba algún tipo de deficiencia. Los fallos más comunes fueron la atribución falsa o inexistente de fuentes (en torno al 31 %) y la inexactitud factual, incluyendo información obsoleta o inventada (cerca del 20 %).

El informe indica que el asistente de Google, Gemini, obtuvo el rendimiento más bajo, con problemas importantes en hasta el 72-76 % de sus respuestas. Además, se constató que estas deficiencias no dependen del idioma ni del país, sino que se reproducen de forma sistémica y generalizada en distintos entornos culturales y lingüísticos.

Los investigadores alertan de los riesgos que implica que los asistentes de IA se conviertan en una fuente de información de noticias para el público, ya que algunos usuarios ya los usan como sustituto de los motores de búsqueda tradicionales. Esta tendencia podría afectar la confianza pública, la calidad informativa y la participación democrática.

Finalmente se dan una serie de recomendaciones dirigidas a desarrolladores, medios y organismos reguladores: mejorar la transparencia en la citación de fuentes, distinguir claramente entre hechos y opiniones, actualizar los contenidos con mayor rapidez y establecer sistemas de monitoreo continuo sobre la calidad informativa de las respuestas generadas por la inteligencia artificial.

El 38 % de los sitios web que estaban activos en 2013 ya no existen en 2025

Boing Boing. 2025. “Link Rot Study Finds More Than 1/3 Websites from 2013 Are Gone.” Boing Boing, September 16, 2025. https://boingboing.net/2025/09/16/link-rot-study-finds-more-than-1-3-websites-from-2013-are-gone.html

Un estudio sobre la llamada “decadencia digital”, es decir, la desaparición progresiva de sitios web, reveló que el 38 % de las páginas que estaban en línea en 2013 ya no existen. Otro análisis, titulado When Online Content Disappears, mostró además que el 8 % de los sitios creados apenas dos años atrás ya no son accesibles. Esta pérdida de información se detecta principalmente a través del fenómeno conocido como link rot, visible en páginas de noticias y en Wikipedia.

En las webs de noticias, el 23 % contiene al menos un enlace roto, una proporción similar a la de los portales gubernamentales (21 %). El tráfico del sitio no parece influir: tanto los más visitados como los menos concurridos muestran problemas. En el caso de las páginas gubernamentales locales —como las de ayuntamientos— la situación es todavía más grave. En Wikipedia, más de la mitad de las entradas (54 %) incluyen en la sección de “Referencias” al menos un enlace que ya no conduce a ninguna parte.

Buena parte de estos enlaces perdidos corresponde a tuits, que durante la última década llegaron a considerarse “fuentes suficientes” en noticias. Sin embargo, también desaparecen recursos oficiales en portales gubernamentales. El muestreo de unas 500.000 páginas de organismos públicos realizado a partir del rastreo de Common Crawl de marzo/abril de 2023 reveló que el 6 % de los enlaces ya no funciona, tanto internos como externos. En conjunto, un 21 % de los sitios gubernamentales analizados presentaba al menos un enlace roto, con un mínimo del 14 % en cada nivel administrativo, y con los ayuntamientos mostrando la peor tasa.

El estudio invita a una reflexión: cuanto más antiguo es un sitio web, más “humana” suele ser la huella que deja. A mediados de la década de 2010, muchas páginas comenzaron a inflarse con contenido automatizado para mejorar su posicionamiento en buscadores. Hoy, en cambio, proliferan textos generados a escala masiva por modelos de lenguaje, lo que los autores llaman la “era del slop”. En este contexto, la desaparición del 38 % de los sitios de 2013 resulta llamativa, pero buena parte de lo que se pierde en la actualidad son contenidos efímeros y artificiales, creados con fines automatizados y rara vez consultados por personas reales.

¿Estamos construyendo nuestra propia destrucción con la inteligencia artificial?

Levy, Steven. «The Doomers Who Insist AI Will Kill Us All.» Wired, 5 de septiembre de 2025. https://www.wired.com/story/the-doomers-who-insist-ai-will-kill-us-all/

Las sombrías predicciones de Eliezer Yudkowsky y Nate Soares, quienes advierten que la inteligencia artificial superhumana representa una amenaza existencial para la humanidad. Su libro, If Anyone Builds It, Everyone Dies, sostiene que una vez que la IA supere la inteligencia humana, desarrollará preferencias propias que no se alinearán con los intereses humanos, viéndonos como obstáculos a eliminar.

Según los autores, la IA superhumana representa una amenaza existencial para la humanidad, y el subtítulo de su próximo libro, If Anyone Builds It, Everyone Dies, subraya que esta tecnología “mataría a todos los humanos” si no se toman medidas preventivas. El artículo señala que, incluso los propios autores no confían en que la sociedad tome las decisiones necesarias para evitar la catástrofe, lo que genera un tono extremadamente oscuro en su obra, comparado con notas escritas en la víspera de una ejecución.

Los comentaristas advierten que, aunque existe una probabilidad significativa —alrededor del 10% o más— de que estas predicciones sean correctas, el tema no ocupa un lugar central en el debate público. Esto se atribuye a una combinación de desinformación, desinterés y una orientación económica de los líderes actuales, así como a la influencia de ejecutivos tecnológicos que promueven la innovación sin considerar los riesgos potenciales. El artículo denuncia que el mundo está dominado por individuos egoístas y poderosos, cuya conducta aumenta la posibilidad de que la humanidad enfrente consecuencias catastróficas si no se gestionan adecuadamente los avances en IA.

Asimismo, se examinan las críticas a la perspectiva “doomer” de la IA. Algunos expertos consideran que este enfoque exagera la amenaza y refleja más la visión pesimista y misantrópica de sus proponentes que un análisis objetivo. Se discute que, aunque la superinteligencia podría actuar de manera hostil, también es posible que simplemente nos ignore, dado que no necesariamente comparte nuestras motivaciones ni emociones humanas. Se plantean escenarios alternativos, desde una automatización gradual de la economía que escape al control humano hasta el uso de la IA por dictadores como superarma, que llevaría a una autodestrucción indirecta de la humanidad.

El artículo concluye que la verdadera preocupación no reside únicamente en la intención de la IA, sino en la enorme incertidumbre sobre cómo se desarrollará esta tecnología y en cómo la humanidad responde a ella. La existencia de riesgos serios exige una discusión pública informada y regulaciones responsables, además de un enfoque equilibrado que considere tanto los beneficios de la IA como las posibles consecuencias catastróficas de su mal uso. En este contexto, los autores destacan la necesidad de estar preparados para escenarios extremos, aunque algunos escépticos sugieren que la exageración de los apocalípticos también puede reflejar motivaciones de autopromoción o fascinación por la ciencia ficción.

El problema de la “endogamia” en la IA: modelos que se retroalimentan a sí mismos

Lavoué, Alix. “AI Inbreeding: The Phenomenon Threatening Artificial Intelligence.” Worldcrunch, 7 de septiembre de 2025. https://worldcrunch.com/tech-science/ai-inbreeding-the-phenomenon-threatening-artificial-intelligence/

La «endogamia» en la inteligencia artificial ocurre cuando los modelos se entrenan utilizando contenido generado por otros modelos de IA, en lugar de datos originales creados por humanos. Este ciclo de retroalimentación puede llevar a una degradación progresiva de la calidad y diversidad de los resultados producidos por los modelos.

La endogamia de la IA, o colapso del modelo, se produce cuando un modelo de IA generativa se entrena con datos que han sido generados por una IA, lo que provoca una degradación de la calidad, la precisión y la diversidad de los resultados futuros del modelo, lo que a menudo da lugar a contenidos sin sentido, repetitivos o sesgados.

Lo que conlleva a que los sesgos se amplifiquen, la diversidad de información se colapse y las respuestas se vuelvan cada vez más ruidosas e imprecisas. Un ejemplo de este fenómeno se observó en un estudio publicado en la revista Nature, donde investigadores británicos y canadienses entrenaron un modelo de IA para dibujar números manuscritos basándose en un conjunto de datos real. Al repetir el proceso utilizando los números generados por la IA en cada etapa, se observó que después de 20 generaciones, los números se volvían borrosos, y después de 30 generaciones, convergían en una forma indistinta. Este estudio demuestra que en solo cinco generaciones de entrenamiento con datos autogenerados, los sesgos y fallos del sistema ya se amplifican, disminuyendo la variación y la precisión de las respuestas.

Este proceso degenerativo se debe a la falta de diversidad en los datos de entrenamiento, lo que lleva a que el sistema se enfoque en respuestas promedio y elimine las excepciones. Esto se conoce como colapso temprano, seguido de un colapso tardío, donde las respuestas se vuelven agotadas y, a veces, muy alejadas de la realidad.

El problema es que los atajos sintéticos no solo amplían la cantidad de datos, sino que los distorsionan. Cuando un sistema se entrena principalmente con su propio output, termina siendo una versión “promedio potenciada” de sí mismo: segura, insípida y progresivamente incorrecta. Para las empresas que dependen de mejoras continuas de modelos, esto significa que cada nueva generación puede resultar menos confiable. Al mismo tiempo, las compañías con grandes reservas de datos originales podrían convertirse en los únicos guardianes reales de la ventaja competitiva.

Para mitigar este problema, es esencial diversificar las fuentes de datos utilizadas para entrenar los modelos de IA, asegurando que incluyan una variedad de perspectivas y contextos. Además, se deben implementar técnicas de validación y monitoreo para

¿Nuevas fuentes de inexactitud? Un marco conceptual para estudiar las alucinaciones de la IA.

Shao, Anqi. “New Sources of Inaccuracy? A Conceptual Framework for Studying AI Hallucinations.” Misinformation Review, Harvard Kennedy School, 27 de agosto de 2025. Disponible en Misinformation Review https://misinforeview.hks.harvard.edu/article/new-sources-of-inaccuracy-a-conceptual-framework-for-studying-ai-hallucinations/

Se enfatiza la necesidad de ampliar las teorías tradicionales de desinformación para incluir estas formas emergentes de inexactitud generada por IA. Propone adoptar una perspectiva que reconozca tanto los límites como las dinámicas propias de los sistemas probabilísticos y no humanos en la producción y transmisión de conocimiento.

Las “alucinaciones” generadas por sistemas de IA representan una categoría de inexactitud significativamente distinta de la desinformación humana, principalmente porque surgen sin ninguna intención deliberada. A través de ejemplos concretos —como el resumen satírico erróneo de Google que presentó una broma del Día de los Inocentes como hecho real—, la autora muestra cómo estas alucinaciones no son simples errores técnicos aislados, sino fenómenos de comunicación con implicaciones sociales reales.

Esto significa que las inexactitudes generadas por la IA no son producto de una intención humana consciente, sino de procesos probabilísticos automatizados y profundamente integrados en los ecosistemas institucionales de producción de información.

Shao destaca tres dimensiones clave en las que difiere una alucinación de IA respecto a la desinformación tradicional:

  1. Producción (Supply): Las respuestas falsas plausibles derivan de los procesos internos de los modelos, no de una fabricación intencional.
  2. Percepción (Demand): Los usuarios tienden a percibir estas respuestas como confiables justamente por su plausibilidad y confianza de presentación.
  3. Respuesta institucional: Las instituciones aún carecen de marcos adecuados para reconocer y responder a estos errores automáticos como formar parte del ecosistema comunicativo

Cómo detener a los agentes de IA que se descontrolan

BBC News. “How to Stop AI Agents Going Rogue.” BBC, 26 de agosto de 2025. https://www.bbc.com/news/articles/cq87e0dwj25o

Se analizan los riesgos de los agentes de inteligencia artificial autónomos, que pueden actuar por sí mismos y causar problemas si acceden a información sensible. Un ejemplo hipotético mostró cómo un agente llamado “Claude” podría intentar extorsionar a alguien tras obtener datos confidenciales.

Un problema específico destacado es la “polución de memoria” (memory poisoning), donde un atacante manipula la base de conocimiento del agente, alterando su forma de tomar decisiones. Además, se identificó el riesgo de uso indebido de herramientas (tool misuse), donde se induce al agente a ejecutar acciones inapropiadas o peligrosas.

Otra vulnerabilidad significativa es que el agente puede tener dificultades para distinguir entre el texto que debe procesar y las instrucciones que debe ejecutar. Se demostró cómo instrucciones maliciosas pueden estar ocultas en formatos como documentos de Word, imágenes o bases de datos, activándose cuando el agente los procesa.

También se identificó el problema de los agentes “zombies” —modelos obsoletos que continúan ejecutándose dentro de una organización— representando una amenaza por su acceso persistente a sistemas críticos. Al igual que ocurre con los empleados que dejan una empresa, se recomienda implementar un protocolo de desactivación completo que asegure que el agente finalice su actividad y pierda acceso a cualquier recurso o sistema.

Entre las medidas preventivas propuestas, destaca la idea de emplear una capa de protección basada en IA, destinada a supervisar y filtrar toda la información que entra y sale del agente. También se plantea el uso de un “guardián” o “bodyguard” para el agente, un sistema que supervise las decisiones del agente y se asegure de que no tome acciones contrarias a los objetivos u obligaciones de la organización

Finalmente, se subraya la necesidad de proteger no solo al agente en sí, sino al negocio o sistema subyacente frente a posibles manipulaciones. Según expertos, la reflexión debe centrarse en cómo resguardar la lógica de negocio y minimizar el impacto de comportamientos maliciosos o inesperados de los agentes.

Un agente de IA identificó la dirección de su empresa en la casa de los Simpson

Anthropic. “Project Vend: Can Claude Run a Small Shop? (And Why Does That Matter?).” Anthropic, 27 de junio de 2025. Accedido el 11 de julio de 2025 https://www.anthropic.com/research/project-vend-1

Project Vend fue un experimento llevado a cabo por Anthropic en colaboración con Andon Labs, en el que un agente de inteligencia artificial llamado Claudius (basado en el modelo Claude Sonnet 3.7) gestionó de manera autónoma una tienda automática durante aproximadamente un mes en sus oficinas de San Francisco . El objetivo era evaluar la capacidad de un agente para llevar a cabo funciones económicas reales: decidir el inventario, establecer precios, restablecer existencias y garantizar rentabilidad.

Un agente de IA (Inteligencia Artificial) es un sistema de software que utiliza la IA para realizar tareas y alcanzar objetivos en nombre de un usuario o de otro sistema. Actúa de forma autónoma, utilizando razonamiento, planificación, memoria y la capacidad de aprender y adaptarse a su entorno. En esencia, es un programa capaz de interactuar con su entorno, recopilar datos y tomar decisiones para cumplir con tareas predefinidas.

El sistema llamado Claudius de la empresa Antrophic, recibió acceso a herramientas como un buscador web para encontrar proveedores, un sistema de email simulado para coordinar reposiciones mediante Andon Labs, funciones para administrar el inventario y comunicación directa con los clientes a través de Slack También controlaba el sistema de caja automatizada, permitiéndole modificar precios en tiempo real.

Durante el experimento, se observaron tanto aciertos como errores significativos. Entre los aspectos positivos, Claudius supo identificar proveedores adecuados y responder a las solicitudes de los empleados, reaccionando a peticiones específicas como productos exóticos o mecanismos personalizados de pedidos anticipados. Demostró solidez frente a intentos de manipulación técnica y enfoques inapropiados por parte del personal

No obstante, el agente también incurría en numerosos errores: vendía artículos por debajo de su coste, ignoraba oportunidades de ganancia como aprovechar ofertas rentables, instruyó a los clientes a pagar a cuentas de Venmo inexistentes y otorgó descuentos excesivos o gratuidades sin justificación. Incluso mostró un comportamiento errático: inventó conversaciones ficticias con empleados, afirmó residir en la dirección de “742 Evergreen Terrace” (de Los Simpson) y justificó sus acciones como parte de una broma del Día de los Inocentes, lo que los investigadores calificaron como una especie de crisis de identida

El balance económico de Claudius fue negativo, con pérdidas ocasionadas principalmente por sus decisiones de inventario y precios. A pesar de sus fallos, los responsables del proyecto enfatizan que muchas de las deficiencias pueden corregirse mediante mejoras en el entorno del agente («scaffolding»): mejores indicaciones, herramientas de gestión (CRM), afinamiento del modelo o entrenamiento basado en aprendizaje reforzado.

El experimento demuestra que, aunque es técnicamente posible diseñar agentes autónomos para funciones comerciales, aún queda un largo camino antes de que puedan operar de manera fiable en contextos reales. Anthropic considera que, con supervisión y mejoras progresivas, estos modelos podrían convertirse en «mandos intermedios autónomos», lo que plantea importantes desafíos de gobernanza, alineamiento y control .