Archivo de la etiqueta: Alucinaciones

Los bibliotecarios están desbordados por acusaciones de ocultar libros de referencias inexistentes que realmente fueron inventadas por alucinaciones de la IA

Novak, Matt. 2025. “Librarians Are Tired of Being Accused of Hiding Secret Books That Were Made Up by AI.” Gizmodo, 11 de diciembre de 2025. https://gizmodo.com/librarians-arent-hiding-secret-books-from-you-that-only-ai-knows-about-2000698176

Todo el mundo sabe que los chatbots con IA como ChatGPT, Grok y Gemini suelen inventarse fuentes. Pero para las personas encargadas de ayudar al público a encontrar libros y artículos de revistas, las referencias falsas de la IA están pasando factura. Según una nueva publicación de Scientific American, los bibliotecarios parecen absolutamente agotados por las solicitudes de títulos que no existen.

Una problemática creciente en bibliotecas y centros de información provocada por la expansión del uso de chatbots de inteligencia artificial como ChatGPT, Grok o Gemini: la generación de títulos de libros, artículos y citas que en realidad no existen. Estas herramientas, debido a sus frecuentes “alucinaciones” (es decir, respuestas plausibles pero inventadas), han llevado a que muchos usuarios crean que dichos títulos son reales y se dirijan a los bibliotecarios con solicitudes para encontrarlos. Esta situación está causando frustración entre los profesionales de la información, quienes deben invertir tiempo y esfuerzo en demostrar que tales obras no existen en ningún catálogo o archivo conocido.

Según testimonios recopilados, como el de Sarah Falls del Library of Virginia, alrededor del 15% de las consultas de referencia recibidas por correo electrónico provienen directamente de sugerencias generadas por IA, muchas de las cuales incluyen títulos inventados o citas erróneas. Lo que agrava la situación no es solo la frecuencia de estas consultas, sino también el hecho de que parte del público confía más en la respuesta de la IA que en la experiencia de un bibliotecario profesional, lo cual ha generado situaciones tensas en las que usuarios insisten en la existencia de un libro pese a la demostración de que este nunca fue publicado.

Asimismo, el artículo señala que esta tendencia plantea un desafío más amplio para la comunidad académica y científica, ya que diluir la calidad de las referencias podría erosionar la confianza en el sistema de investigación y en la fiabilidad de las fuentes. Mientras que los modelos de IA pueden ser útiles para sintetizar o resumir información, su falta de capacidad para verificar hechos contra bases de datos reales implica que las instituciones y los investigadores deben adoptar prácticas de verificación más estrictas y educar a los usuarios sobre las limitaciones de estas tecnologías. Esto incluye pedir a quienes hagan consultas que indiquen si la referencia proviene de una IA y animarles a validar independientemente cualquier cita recibida.

Bibliotecas y búsquedas con IA: evaluando la fiabilidad de las respuestas

Fowler, Geoffrey A. “We Tested Which AI Gave the Best Answers Without Making Stuff Up — One Beat ChatGPT.” The Washington Post, August 27, 2025

En agosto de 2025, The Washington Post publicó un estudio en el que un grupo de bibliotecarios evaluó nueve herramientas de búsqueda basadas en inteligencia artificial para determinar cuáles ofrecían respuestas más precisas y fiables, evitando las conocidas “alucinaciones” o errores inventados por la IA. El objetivo era medir la exactitud de las respuestas, la fiabilidad de las fuentes y la capacidad de cada sistema para manejar información reciente, especializada o compleja.

El experimento consistió en 30 preguntas diseñadas para poner a prueba las fortalezas y debilidades de cada IA, incluyendo datos poco conocidos, eventos recientes, interpretación de imágenes y sesgos de los modelos. Se evaluaron herramientas como ChatGPT (versiones 4 y 5), Bing Copilot, Claude, Grok, Perplexity, Meta AI y las versiones de búsqueda de Google AI. Tres bibliotecarios analizaron cerca de 900 respuestas, valorando tanto la exactitud como la presencia de referencias confiables.

Los resultados mostraron que Google AI Mode fue, en general, la herramienta más fiable, especialmente en la resolución de preguntas sobre trivialidades o información reciente. Sin embargo, todas las IA evaluadas presentaron limitaciones: muchas generaron respuestas incorrectas con citas aparentemente verídicas, fallaron en preguntas especializadas o de difícil acceso, tuvieron problemas con información reciente y mostraron sesgos hacia ciertas disciplinas o perspectivas. La interpretación de imágenes también fue un reto para la mayoría de los sistemas.

A pesar de sus limitaciones, las IA demostraron ser útiles en ciertos contextos, como la síntesis de información dispersa o compleja. Los evaluadores subrayaron que, aunque estas herramientas pueden ahorrar tiempo, no deben reemplazar la verificación tradicional de fuentes. Recomiendan un uso crítico y complementario, tratando la IA como un apoyo para la investigación más que como fuente definitiva.

El estudio evidencia que ninguna IA es perfecta y que, aunque ofrecen ventajas en rapidez y síntesis, siguen siendo propensas a errores, omisiones y sesgos. Los bibliotecarios enfatizan la importancia de la verificación y el pensamiento crítico al usar estas herramientas, igual que se haría al consultar fuentes tradicionales en una biblioteca.

Resultados clave:

Herramienta más fiable: Google AI Mode fue la IA que ofreció respuestas más precisas y consistentes, especialmente en información reciente y trivialidades poco conocidas.

Alucinaciones y errores: Varias IA, incluida ChatGPT, generaron respuestas incorrectas con un tono de certeza, a veces citando fuentes que no respondían a la pregunta.

Limitaciones con información especializada: Ninguna IA respondió correctamente en todos los casos que requerían conocimientos de nicho o fuentes difíciles de acceder.

Problemas con información reciente: Las IA fallaron en eventos o datos muy recientes debido a sus límites en actualización de datos.

Interpretación visual limitada: Las preguntas sobre detalles de imágenes o contenido visual fueron problemáticas para la mayoría de las IA.

Sesgos inherentes: Las IA mostraron sesgos en temas de carreras académicas o áreas de conocimiento, favoreciendo disciplinas STEM sobre humanidades o sociales.

Utilidad relativa: Las IA pueden ahorrar tiempo y sintetizar información compleja, pero no sustituyen la verificación de fuentes tradicionales; deben usarse como complemento crítico en la investigación.

¿Qué es la psicosis de IA? una mirada desde la psiquiatría

“Psychiatrist Explains What AI Psychosis Looks Like — and Why It’s Spreading.” LinkedIn Pulse. 2025 https://www.linkedin.com/pulse/psychiatrist-explains-what-ai-psychosis-looks-like-why-spreading-yqwzf/

La llamada psicosis de IA es un concepto reciente que describe fenómenos en los que las personas desarrollan delirios, miedos o percepciones distorsionadas vinculadas con la inteligencia artificial.

En términos generales, una “psicosis” es una alteración mental caracterizada por una alteración de la percepción de la realidad, que puede incluir delirios (creencias falsas fijas) o alucinaciones. Aplicándolo al contexto de la IA, podría tratarse de casos en los que personas atribuyen intencionalidades, conciencia o incluso paranoia a sistemas de inteligencia artificial — imaginando que la IA “los vigila”, “manipula” sus pensamientos o “toma decisiones con voluntad propia”.

El autor, psiquiatra, describe ejemplos clínicos o anecdóticos en que individuos manifiestan una relación problemática o distorsionada con tecnologías de IA: confundir algoritmos con agentes conscientes, desarrollar miedo irracional ante el supuesto control algorítmico, interpretar notificaciones, respuestas automáticas o fallas tecnológicas como mensajes personalizados del “sistema” o de una inteligencia maligna. También podría abordar cómo la expansión del uso de IA en muchos ámbitos (chatbots, asistentes virtuales, sistemas de recomendación, vigilancia algorítmica) puede aumentar la exposición a estos desencadenantes psicológicos para personas susceptibles.

Asimismo, el artículo probablemente discute los factores que predisponen a esta “psicosis de IA”: por ejemplo, aislamiento social, vulnerabilidad mental previa (ansiedad, paranoia, trastornos del pensamiento), el alto grado de opacidad de los algoritmos (las “cajas negras”), y el fenómeno de atribución de agencia (tendencia humana a atribuir intencionalidad a objetos inanimados). El autor también quizá advierte que esta condición “se está propagando” debido a que muchas aplicaciones de IA están presentes en la vida cotidiana, y las personas que no comprenden bien su funcionamiento pueden caer en interpretaciones erróneas o catastrofistas.

El riesgo de la psicosis de IA no radica únicamente en los individuos afectados, sino también en el clima cultural en que se desarrolla. Los discursos mediáticos suelen exagerar las capacidades de la IA, presentándola como “inteligente”, “omnipresente” o incluso “peligrosa”, lo que alimenta interpretaciones delirantes. De ahí que psiquiatras y psicólogos insistan en la necesidad de mejorar la alfabetización digital y promover una comunicación clara sobre lo que la inteligencia artificial realmente es y lo que no puede hacer.

Se proponen algunas recomendaciones para mitigar el riesgo de “psicosis de IA”: mejorar la alfabetización digital, fomentar transparencia (explicabilidad) en los sistemas de IA, promover una comunicación clara sobre lo que sí hace y no hace la IA, y en el ámbito clínico, reconocer la posibilidad de síntomas relacionados con la tecnología al evaluar pacientes con delirios o ansiedad tecnológica.

¿Nuevas fuentes de inexactitud? Un marco conceptual para estudiar las alucinaciones de la IA.

Shao, Anqi. “New Sources of Inaccuracy? A Conceptual Framework for Studying AI Hallucinations.” Misinformation Review, Harvard Kennedy School, 27 de agosto de 2025. Disponible en Misinformation Review https://misinforeview.hks.harvard.edu/article/new-sources-of-inaccuracy-a-conceptual-framework-for-studying-ai-hallucinations/

Se enfatiza la necesidad de ampliar las teorías tradicionales de desinformación para incluir estas formas emergentes de inexactitud generada por IA. Propone adoptar una perspectiva que reconozca tanto los límites como las dinámicas propias de los sistemas probabilísticos y no humanos en la producción y transmisión de conocimiento.

Las “alucinaciones” generadas por sistemas de IA representan una categoría de inexactitud significativamente distinta de la desinformación humana, principalmente porque surgen sin ninguna intención deliberada. A través de ejemplos concretos —como el resumen satírico erróneo de Google que presentó una broma del Día de los Inocentes como hecho real—, la autora muestra cómo estas alucinaciones no son simples errores técnicos aislados, sino fenómenos de comunicación con implicaciones sociales reales.

Esto significa que las inexactitudes generadas por la IA no son producto de una intención humana consciente, sino de procesos probabilísticos automatizados y profundamente integrados en los ecosistemas institucionales de producción de información.

Shao destaca tres dimensiones clave en las que difiere una alucinación de IA respecto a la desinformación tradicional:

  1. Producción (Supply): Las respuestas falsas plausibles derivan de los procesos internos de los modelos, no de una fabricación intencional.
  2. Percepción (Demand): Los usuarios tienden a percibir estas respuestas como confiables justamente por su plausibilidad y confianza de presentación.
  3. Respuesta institucional: Las instituciones aún carecen de marcos adecuados para reconocer y responder a estos errores automáticos como formar parte del ecosistema comunicativo

ArXivBench: Evaluando la fiabilidad de los modelos de lenguaje en la generación de referencias académicas

Li, Ning; Zhang, Jingran; Cui, Justin. ArXivBench: When You Should Avoid Using ChatGPT for Academic Writing. arXiv preprint (v2), 7 de agosto de 2025. arXiv:2504.10496 [cs.IR]. https://arxiv.org/html/2504.10496v2

Los modelos de lenguaje a gran escala (LLMs) han mostrado capacidades impresionantes en razonamiento, pregunta-respuesta y generación de texto, pero su tendencia a generar contenido erróneo o referencias falsas sigue siendo una preocupación crítica en entornos académicos rigurosos. El artículo se enfoca en evaluar qué tan fiables son estos modelos al generar referencias académicas, concretamente enlaces a artículos en arXiv.

El artículo presenta ArXivBench, un banco de pruebas diseñado para evaluar la fiabilidad de los modelos de lenguaje a gran escala (LLMs) al generar referencias y enlaces a artículos académicos en arXiv. Los autores parten de la preocupación por el uso creciente de LLMs en redacción académica, donde su capacidad para producir contenido coherente y persuasivo no siempre va acompañada de precisión factual. En particular, señalan el riesgo de que los modelos generen referencias inventadas o incorrectas, lo que compromete la integridad de un trabajo de investigación.

Para abordar este problema, ArXivBench reúne un conjunto de 6.500 prompts que cubren trece áreas temáticas dentro de la informática, organizadas en ocho categorías y cinco subcampos. La herramienta incluye un flujo de trabajo automatizado para generar nuevos prompts y un sistema de evaluación que permite medir el rendimiento de diferentes modelos sin recurrir a técnicas de recuperación aumentada (RAG), evaluando así sus capacidades “de fábrica”. Se probaron quince modelos, tanto de código abierto como propietarios, analizando su precisión al proporcionar enlaces correctos y contenido relevante.

Los resultados muestran que el rendimiento varía de forma significativa según la disciplina. El subcampo de inteligencia artificial es donde los modelos ofrecen mejores resultados, mientras que en otras áreas las tasas de error son más elevadas. Entre los modelos evaluados, Claude-3.5-Sonnet destacó por su capacidad para generar respuestas relevantes y referencias exactas, superando de forma consistente a otros competidores.

Los autores concluyen que, si bien los LLMs pueden ser útiles en ciertas fases del trabajo académico, no son aún herramientas plenamente fiables para la generación de referencias académicas, especialmente en áreas menos cubiertas por sus datos de entrenamiento. ArXivBench se propone así como un instrumento para medir y mejorar la fiabilidad de estos sistemas, ofreciendo datos comparativos que orienten tanto a investigadores como a desarrolladores hacia un uso más responsable y fundamentado de la inteligencia artificial en la producción científica.

ChatGPT-5, presenta una reducción significativa en las llamadas “alucinaciones”

Baden, Matthew. «Tests Reveal That ChatGPT-5 Hallucinates Less Than GPT-4o Did — and Grok Is Still the King of Making Stuff Up.» TechRadar, August 8, 2025. https://www.techradar.com/ai-platforms-assistants/tests-reveal-that-chatgpt-5-hallucinates-less-than-gpt-4o-did-and-grok-is-still-the-king-of-making-stuff-up?utm_source=flipboard&utm_content=other

Recientes pruebas comparativas entre modelos avanzados de inteligencia artificial han revelado que ChatGPT-5, la versión más reciente del popular asistente de OpenAI, presenta una reducción significativa en las llamadas “alucinaciones” — es decir, respuestas erróneas, inventadas o sin fundamento — en comparación con su predecesor, GPT-4o.

Esta mejora en la precisión representa un paso importante hacia una IA más confiable y útil para aplicaciones que requieren datos exactos y consistencia en la información proporcionada.

A pesar de estos avances, otro competidor en el ámbito de los asistentes IA, Grok, desarrollado por Anthropic, continúa siendo la IA que más tiende a generar datos incorrectos o inventados, lo que se denomina coloquialmente como “hacer stuff up”. Aunque Grok es reconocido por su velocidad de respuesta y su habilidad para mantener conversaciones naturales y fluidas, sufre limitaciones en la exactitud de sus respuestas, lo que puede resultar problemático en contextos que demandan alta precisión.

El análisis destaca que la reducción de alucinaciones en ChatGPT-5 no implica que esté completamente libre de errores, por lo que la verificación y validación de la información siguen siendo cruciales cuando se emplea esta tecnología, especialmente en ámbitos profesionales, académicos o científicos. Además, el artículo subraya la importancia de que los desarrolladores sigan trabajando para equilibrar la velocidad, la fluidez y la precisión de las IA, para optimizar su desempeño sin sacrificar la confiabilidad.

Este tipo de evaluaciones es fundamental para usuarios, desarrolladores y empresas que dependen de modelos de lenguaje para tareas complejas, y también refleja cómo la competencia en el desarrollo de IA impulsa mejoras constantes y la necesidad de transparencia sobre las limitaciones actuales.

Por qué ChatGPT crea citas científicas que no existen

Westreich, Sam. «Why ChatGPT Creates Scientific Citations — That Don’t Exist.» Age of Awareness, June 4, 2025. https://medium.com/age-of-awareness/why-chatgpt-creates-scientific-citations-that-dont-exist-8978ec973255

Se aborda un fenómeno cada vez más observado en la inteligencia artificial generativa: la creación de referencias bibliográficas falsas o inventadas. Este problema, conocido en la comunidad de IA como “hallucination” (alucinación), consiste en que los modelos de lenguaje como ChatGPT generan respuestas plausibles y estructuradas, pero que no se corresponden con datos reales verificables.

En el caso de las citas científicas, el modelo construye referencias completas que incluyen autores, títulos, años y revistas, pero que no existen en ninguna base de datos académica. Esto ocurre porque la IA no accede directamente a una base de datos específica al generar la respuesta, sino que se basa en patrones probabilísticos aprendidos durante su entrenamiento en grandes corpus textuales.

El fenómeno de la hallucination en modelos de lenguaje ha sido documentado por varios estudios recientes. Por ejemplo, Ji et al. (2023) en su trabajo “Survey of Hallucination in Natural Language Generation” indican que esta tendencia a inventar hechos o detalles es inherente a la forma en que estos modelos predicen palabras en secuencia para maximizar la coherencia textual, pero sin una “conciencia” o acceso en tiempo real a datos verdaderos (Ji et al., 2023, ACM Computing Surveys). Así, el modelo genera lo que “suena correcto” más que lo que es correcto, produciendo con frecuencia referencias falsas, especialmente cuando se le solicita citar fuentes académicas.

El problema de las citas inventadas tiene graves implicaciones en ámbitos científicos y académicos, donde la veracidad y la confiabilidad de las referencias es fundamental para la integridad del conocimiento. Según un artículo publicado en Nature sobre la creciente adopción de IA en la generación de textos académicos, existe preocupación entre investigadores sobre el potencial de estas herramientas para introducir errores difíciles de detectar, que pueden desinformar a estudiantes y profesionales (Nature Editorial, 2024). La confianza que los usuarios depositan en estas IA aumenta el riesgo, dado que una cita bien formada visualmente se asume auténtica, lo que puede propagar información errónea y socavar la credibilidad de trabajos científicos.

Westreich señala que la raíz del problema está en la naturaleza probabilística del entrenamiento del modelo, que aprende a generar texto basado en patrones estadísticos en lugar de verificar hechos. Además, las bases de datos académicas tienen un acceso limitado y no siempre están integradas en los sistemas de generación de lenguaje, lo que impide la validación automática de las citas en tiempo real. Sin embargo, se están explorando soluciones para mitigar este problema. Por ejemplo, la integración de sistemas de búsqueda y recuperación de información en tiempo real (RAG, Retrieval-Augmented Generation) permitiría a los modelos consultar bases de datos académicas fiables durante la generación de texto, reduciendo la producción de referencias falsas (Lewis et al., 2020, NeurIPS).

Otra estrategia recomendada es aumentar la transparencia del modelo, avisando a los usuarios de que las referencias generadas pueden no ser reales y deben ser verificadas independientemente. Instituciones educativas y editoriales también pueden establecer guías para el uso responsable de estas herramientas, fomentando la revisión manual de las citas generadas por IA.

En un análisis crítico más amplio, la producción de citas falsas por IA pone en evidencia la brecha entre la fluidez lingüística y la comprensión real del contenido que tienen estos modelos. Aunque pueden imitar estructuras y formatos, carecen de un sistema de verificación interna que asegure la veracidad. Por ello, investigadores como Bender et al. (2021) advierten que el uso indiscriminado de estas tecnologías sin supervisión puede erosionar la confianza en la información científica y educativa, un problema que debe abordarse con estrategias técnicas, educativas y éticas.

La comunidad científica y tecnológica trabaja para desarrollar métodos que permitan una generación de contenido más responsable, precisa y verificable. Mientras tanto, es imprescindible que los usuarios mantengan un enfoque crítico y verifiquen cualquier referencia proporcionada por estas herramientas, para preservar la integridad académica y evitar la propagación de desinformación.

Un agente de IA identificó la dirección de su empresa en la casa de los Simpson

Anthropic. “Project Vend: Can Claude Run a Small Shop? (And Why Does That Matter?).” Anthropic, 27 de junio de 2025. Accedido el 11 de julio de 2025 https://www.anthropic.com/research/project-vend-1

Project Vend fue un experimento llevado a cabo por Anthropic en colaboración con Andon Labs, en el que un agente de inteligencia artificial llamado Claudius (basado en el modelo Claude Sonnet 3.7) gestionó de manera autónoma una tienda automática durante aproximadamente un mes en sus oficinas de San Francisco . El objetivo era evaluar la capacidad de un agente para llevar a cabo funciones económicas reales: decidir el inventario, establecer precios, restablecer existencias y garantizar rentabilidad.

Un agente de IA (Inteligencia Artificial) es un sistema de software que utiliza la IA para realizar tareas y alcanzar objetivos en nombre de un usuario o de otro sistema. Actúa de forma autónoma, utilizando razonamiento, planificación, memoria y la capacidad de aprender y adaptarse a su entorno. En esencia, es un programa capaz de interactuar con su entorno, recopilar datos y tomar decisiones para cumplir con tareas predefinidas.

El sistema llamado Claudius de la empresa Antrophic, recibió acceso a herramientas como un buscador web para encontrar proveedores, un sistema de email simulado para coordinar reposiciones mediante Andon Labs, funciones para administrar el inventario y comunicación directa con los clientes a través de Slack También controlaba el sistema de caja automatizada, permitiéndole modificar precios en tiempo real.

Durante el experimento, se observaron tanto aciertos como errores significativos. Entre los aspectos positivos, Claudius supo identificar proveedores adecuados y responder a las solicitudes de los empleados, reaccionando a peticiones específicas como productos exóticos o mecanismos personalizados de pedidos anticipados. Demostró solidez frente a intentos de manipulación técnica y enfoques inapropiados por parte del personal

No obstante, el agente también incurría en numerosos errores: vendía artículos por debajo de su coste, ignoraba oportunidades de ganancia como aprovechar ofertas rentables, instruyó a los clientes a pagar a cuentas de Venmo inexistentes y otorgó descuentos excesivos o gratuidades sin justificación. Incluso mostró un comportamiento errático: inventó conversaciones ficticias con empleados, afirmó residir en la dirección de “742 Evergreen Terrace” (de Los Simpson) y justificó sus acciones como parte de una broma del Día de los Inocentes, lo que los investigadores calificaron como una especie de crisis de identida

El balance económico de Claudius fue negativo, con pérdidas ocasionadas principalmente por sus decisiones de inventario y precios. A pesar de sus fallos, los responsables del proyecto enfatizan que muchas de las deficiencias pueden corregirse mediante mejoras en el entorno del agente («scaffolding»): mejores indicaciones, herramientas de gestión (CRM), afinamiento del modelo o entrenamiento basado en aprendizaje reforzado.

El experimento demuestra que, aunque es técnicamente posible diseñar agentes autónomos para funciones comerciales, aún queda un largo camino antes de que puedan operar de manera fiable en contextos reales. Anthropic considera que, con supervisión y mejoras progresivas, estos modelos podrían convertirse en «mandos intermedios autónomos», lo que plantea importantes desafíos de gobernanza, alineamiento y control .

Base de datos de alucinaciones de la Inteligencia Artificial generativa

AI Hallucination Cases

https://www.damiencharlotin.com/hallucinations/

Esta base de datos recopila decisiones judiciales relacionadas con casos en los que una inteligencia artificial generativa produjo contenido alucinado —es decir, contenido falso o erróneo generado por el sistema. El ejemplo más común son las citas legales falsas (fake citations), aunque también se incluyen otros tipos de errores, como argumentos jurídicos inventados o distorsionados.

Es importante destacar que esta base no abarca todos los casos en que se han utilizado citas falsas o IA en procedimientos judiciales, sino que se centra únicamente en los casos en los que ha habido una decisión legal vinculada a la utilización de contenido alucinado por IA.

El fenómeno de las alucinaciones en IA se refiere a la generación de información falsa pero con apariencia convincente. En el ámbito jurídico, esto representa un riesgo serio para la integridad del proceso judicial, ya que puede conducir a decisiones basadas en datos erróneos o incluso a la desinformación intencionada. Por ello, esta base de datos funciona también como una advertencia práctica sobre los límites actuales de la tecnología y la necesidad de usarla con criterio, supervisión humana y sentido ético.

Hasta el momento, la base de datos ha identificado 121 casos, y sigue en expansión conforme surgen nuevos ejemplos. Su objetivo es ofrecer un registro sistemático y riguroso que permita entender el impacto real del uso de estas herramientas tecnológicas en entornos legales, donde la precisión y la veracidad son esenciales. Es un recurso de gran valor tanto para juristas como para investigadores, medios de comunicación y responsables de políticas públicas.

El uso de contenido generado por IA en documentos judiciales ha provocado en algunos casos consecuencias graves, como sanciones disciplinarias a abogados que incluyeron citas falsas producidas por sistemas como ChatGPT sin verificarlas. Estos incidentes han sido objeto de cobertura mediática y han despertado un amplio debate sobre la responsabilidad profesional y la fiabilidad de las herramientas de IA en contextos de alta exigencia ética.

Un caso destacado es el de Mata v. Avianca, Inc., donde los abogados del demandante utilizaron ChatGPT para generar una moción legal que contenía múltiples casos jurídicos ficticios. El tribunal descubrió que las citas eran inexistentes y sancionó a los abogados con una multa de 5.000$, subrayando la responsabilidad profesional de verificar la exactitud de las referencias legales, independientemente de las herramientas utilizadas.

Otro ejemplo relevante es el caso en Israel de Mahala Association v. Clalit Health Services, donde se presentaron múltiples citas falsas generadas por una herramienta de IA llamada Takdin.AI. El tribunal no solo desestimó la petición de certificación de acción colectiva, sino que también impuso sanciones monetarias y determinó que el abogado no era apto para actuar en el caso.

En definitiva, este archivo documental se ha convertido en un instrumento de seguimiento y análisis de un fenómeno emergente que afecta a la práctica del derecho y que requiere atención tanto desde el ámbito jurídico como desde la innovación tecnológica y la regulación.

Análisis de las alucinaciones en los principales modelos de Inteligencia Artificial

Berenstein, David. “Good Answers Are Not Necessarily Factual Answers: An Analysis of Hallucination in Leading LLMs.” Hugging Face. Accedido el 12 de mayo de 2025. https://huggingface.co/blog/davidberenstein1957/phare-analysis-of-hallucination-in-leading-llms

Se analiza los errores de alucinación en los principales modelos de lenguaje mediante el uso del benchmark Phare (Potential Harm Assessment & Risk Evaluation). Este estudio pone el foco en un problema central: los modelos pueden ofrecer respuestas que suenan convincentes pero que contienen información falsa o inventada, lo que representa un riesgo real en su uso cotidiano.

Uno de los hallazgos principales del análisis es que más de un tercio de los errores detectados en sistemas de IA desplegados públicamente se deben a alucinaciones. Estas no solo son comunes, sino que además suelen ser difíciles de detectar, porque los modelos presentan esas respuestas con un alto grado de confianza. Esto puede confundir fácilmente a los usuarios, especialmente si no tienen el conocimiento necesario para evaluar la veracidad de lo que están leyendo.

La evaluación se llevó a cabo con el marco Phare, que analiza el rendimiento de los modelos a través de varias etapas: recolección de contenido auténtico y representativo, creación de ejemplos de prueba, revisión humana para asegurar la calidad y, finalmente, evaluación del comportamiento de los modelos. Dentro del módulo de alucinación, se valoraron cuatro tareas clave: la precisión factual, la capacidad para resistirse a la desinformación, la habilidad para desmentir bulos o teorías conspirativas, y la fiabilidad en el uso de herramientas externas como bases de datos o APIs.

Un aspecto especialmente relevante que destaca el estudio es la desconexión entre popularidad y fiabilidad. Es decir, que los modelos más valorados por los usuarios en términos de experiencia de uso no siempre son los más precisos en cuanto a la información que generan. Esto sugiere que una buena interacción no garantiza una buena calidad factual, y que es necesario avanzar en métricas que evalúen la veracidad con más rigor.

En conclusión el estudio muestra que las alucinaciones son un problema estructural de los modelos actuales y que su impacto es especialmente delicado en contextos donde la precisión es crítica, como la medicina, el derecho o la educación. Por ello, el artículo concluye que identificar y reducir estos errores debe ser una prioridad para mejorar la seguridad y fiabilidad de los modelos de lenguaje de gran escala.