Archivo de la etiqueta: Alucinaciones

Por qué ChatGPT crea citas científicas que no existen

Westreich, Sam. «Why ChatGPT Creates Scientific Citations — That Don’t Exist.» Age of Awareness, June 4, 2025. https://medium.com/age-of-awareness/why-chatgpt-creates-scientific-citations-that-dont-exist-8978ec973255

Se aborda un fenómeno cada vez más observado en la inteligencia artificial generativa: la creación de referencias bibliográficas falsas o inventadas. Este problema, conocido en la comunidad de IA como “hallucination” (alucinación), consiste en que los modelos de lenguaje como ChatGPT generan respuestas plausibles y estructuradas, pero que no se corresponden con datos reales verificables.

En el caso de las citas científicas, el modelo construye referencias completas que incluyen autores, títulos, años y revistas, pero que no existen en ninguna base de datos académica. Esto ocurre porque la IA no accede directamente a una base de datos específica al generar la respuesta, sino que se basa en patrones probabilísticos aprendidos durante su entrenamiento en grandes corpus textuales.

El fenómeno de la hallucination en modelos de lenguaje ha sido documentado por varios estudios recientes. Por ejemplo, Ji et al. (2023) en su trabajo “Survey of Hallucination in Natural Language Generation” indican que esta tendencia a inventar hechos o detalles es inherente a la forma en que estos modelos predicen palabras en secuencia para maximizar la coherencia textual, pero sin una “conciencia” o acceso en tiempo real a datos verdaderos (Ji et al., 2023, ACM Computing Surveys). Así, el modelo genera lo que “suena correcto” más que lo que es correcto, produciendo con frecuencia referencias falsas, especialmente cuando se le solicita citar fuentes académicas.

El problema de las citas inventadas tiene graves implicaciones en ámbitos científicos y académicos, donde la veracidad y la confiabilidad de las referencias es fundamental para la integridad del conocimiento. Según un artículo publicado en Nature sobre la creciente adopción de IA en la generación de textos académicos, existe preocupación entre investigadores sobre el potencial de estas herramientas para introducir errores difíciles de detectar, que pueden desinformar a estudiantes y profesionales (Nature Editorial, 2024). La confianza que los usuarios depositan en estas IA aumenta el riesgo, dado que una cita bien formada visualmente se asume auténtica, lo que puede propagar información errónea y socavar la credibilidad de trabajos científicos.

Westreich señala que la raíz del problema está en la naturaleza probabilística del entrenamiento del modelo, que aprende a generar texto basado en patrones estadísticos en lugar de verificar hechos. Además, las bases de datos académicas tienen un acceso limitado y no siempre están integradas en los sistemas de generación de lenguaje, lo que impide la validación automática de las citas en tiempo real. Sin embargo, se están explorando soluciones para mitigar este problema. Por ejemplo, la integración de sistemas de búsqueda y recuperación de información en tiempo real (RAG, Retrieval-Augmented Generation) permitiría a los modelos consultar bases de datos académicas fiables durante la generación de texto, reduciendo la producción de referencias falsas (Lewis et al., 2020, NeurIPS).

Otra estrategia recomendada es aumentar la transparencia del modelo, avisando a los usuarios de que las referencias generadas pueden no ser reales y deben ser verificadas independientemente. Instituciones educativas y editoriales también pueden establecer guías para el uso responsable de estas herramientas, fomentando la revisión manual de las citas generadas por IA.

En un análisis crítico más amplio, la producción de citas falsas por IA pone en evidencia la brecha entre la fluidez lingüística y la comprensión real del contenido que tienen estos modelos. Aunque pueden imitar estructuras y formatos, carecen de un sistema de verificación interna que asegure la veracidad. Por ello, investigadores como Bender et al. (2021) advierten que el uso indiscriminado de estas tecnologías sin supervisión puede erosionar la confianza en la información científica y educativa, un problema que debe abordarse con estrategias técnicas, educativas y éticas.

La comunidad científica y tecnológica trabaja para desarrollar métodos que permitan una generación de contenido más responsable, precisa y verificable. Mientras tanto, es imprescindible que los usuarios mantengan un enfoque crítico y verifiquen cualquier referencia proporcionada por estas herramientas, para preservar la integridad académica y evitar la propagación de desinformación.

Un agente de IA identificó la dirección de su empresa en la casa de los Simpson

Anthropic. “Project Vend: Can Claude Run a Small Shop? (And Why Does That Matter?).” Anthropic, 27 de junio de 2025. Accedido el 11 de julio de 2025 https://www.anthropic.com/research/project-vend-1

Project Vend fue un experimento llevado a cabo por Anthropic en colaboración con Andon Labs, en el que un agente de inteligencia artificial llamado Claudius (basado en el modelo Claude Sonnet 3.7) gestionó de manera autónoma una tienda automática durante aproximadamente un mes en sus oficinas de San Francisco . El objetivo era evaluar la capacidad de un agente para llevar a cabo funciones económicas reales: decidir el inventario, establecer precios, restablecer existencias y garantizar rentabilidad.

Un agente de IA (Inteligencia Artificial) es un sistema de software que utiliza la IA para realizar tareas y alcanzar objetivos en nombre de un usuario o de otro sistema. Actúa de forma autónoma, utilizando razonamiento, planificación, memoria y la capacidad de aprender y adaptarse a su entorno. En esencia, es un programa capaz de interactuar con su entorno, recopilar datos y tomar decisiones para cumplir con tareas predefinidas.

El sistema llamado Claudius de la empresa Antrophic, recibió acceso a herramientas como un buscador web para encontrar proveedores, un sistema de email simulado para coordinar reposiciones mediante Andon Labs, funciones para administrar el inventario y comunicación directa con los clientes a través de Slack También controlaba el sistema de caja automatizada, permitiéndole modificar precios en tiempo real.

Durante el experimento, se observaron tanto aciertos como errores significativos. Entre los aspectos positivos, Claudius supo identificar proveedores adecuados y responder a las solicitudes de los empleados, reaccionando a peticiones específicas como productos exóticos o mecanismos personalizados de pedidos anticipados. Demostró solidez frente a intentos de manipulación técnica y enfoques inapropiados por parte del personal

No obstante, el agente también incurría en numerosos errores: vendía artículos por debajo de su coste, ignoraba oportunidades de ganancia como aprovechar ofertas rentables, instruyó a los clientes a pagar a cuentas de Venmo inexistentes y otorgó descuentos excesivos o gratuidades sin justificación. Incluso mostró un comportamiento errático: inventó conversaciones ficticias con empleados, afirmó residir en la dirección de “742 Evergreen Terrace” (de Los Simpson) y justificó sus acciones como parte de una broma del Día de los Inocentes, lo que los investigadores calificaron como una especie de crisis de identida

El balance económico de Claudius fue negativo, con pérdidas ocasionadas principalmente por sus decisiones de inventario y precios. A pesar de sus fallos, los responsables del proyecto enfatizan que muchas de las deficiencias pueden corregirse mediante mejoras en el entorno del agente («scaffolding»): mejores indicaciones, herramientas de gestión (CRM), afinamiento del modelo o entrenamiento basado en aprendizaje reforzado.

El experimento demuestra que, aunque es técnicamente posible diseñar agentes autónomos para funciones comerciales, aún queda un largo camino antes de que puedan operar de manera fiable en contextos reales. Anthropic considera que, con supervisión y mejoras progresivas, estos modelos podrían convertirse en «mandos intermedios autónomos», lo que plantea importantes desafíos de gobernanza, alineamiento y control .

Base de datos de alucinaciones de la Inteligencia Artificial generativa

AI Hallucination Cases

https://www.damiencharlotin.com/hallucinations/

Esta base de datos recopila decisiones judiciales relacionadas con casos en los que una inteligencia artificial generativa produjo contenido alucinado —es decir, contenido falso o erróneo generado por el sistema. El ejemplo más común son las citas legales falsas (fake citations), aunque también se incluyen otros tipos de errores, como argumentos jurídicos inventados o distorsionados.

Es importante destacar que esta base no abarca todos los casos en que se han utilizado citas falsas o IA en procedimientos judiciales, sino que se centra únicamente en los casos en los que ha habido una decisión legal vinculada a la utilización de contenido alucinado por IA.

El fenómeno de las alucinaciones en IA se refiere a la generación de información falsa pero con apariencia convincente. En el ámbito jurídico, esto representa un riesgo serio para la integridad del proceso judicial, ya que puede conducir a decisiones basadas en datos erróneos o incluso a la desinformación intencionada. Por ello, esta base de datos funciona también como una advertencia práctica sobre los límites actuales de la tecnología y la necesidad de usarla con criterio, supervisión humana y sentido ético.

Hasta el momento, la base de datos ha identificado 121 casos, y sigue en expansión conforme surgen nuevos ejemplos. Su objetivo es ofrecer un registro sistemático y riguroso que permita entender el impacto real del uso de estas herramientas tecnológicas en entornos legales, donde la precisión y la veracidad son esenciales. Es un recurso de gran valor tanto para juristas como para investigadores, medios de comunicación y responsables de políticas públicas.

El uso de contenido generado por IA en documentos judiciales ha provocado en algunos casos consecuencias graves, como sanciones disciplinarias a abogados que incluyeron citas falsas producidas por sistemas como ChatGPT sin verificarlas. Estos incidentes han sido objeto de cobertura mediática y han despertado un amplio debate sobre la responsabilidad profesional y la fiabilidad de las herramientas de IA en contextos de alta exigencia ética.

Un caso destacado es el de Mata v. Avianca, Inc., donde los abogados del demandante utilizaron ChatGPT para generar una moción legal que contenía múltiples casos jurídicos ficticios. El tribunal descubrió que las citas eran inexistentes y sancionó a los abogados con una multa de 5.000$, subrayando la responsabilidad profesional de verificar la exactitud de las referencias legales, independientemente de las herramientas utilizadas.

Otro ejemplo relevante es el caso en Israel de Mahala Association v. Clalit Health Services, donde se presentaron múltiples citas falsas generadas por una herramienta de IA llamada Takdin.AI. El tribunal no solo desestimó la petición de certificación de acción colectiva, sino que también impuso sanciones monetarias y determinó que el abogado no era apto para actuar en el caso.

En definitiva, este archivo documental se ha convertido en un instrumento de seguimiento y análisis de un fenómeno emergente que afecta a la práctica del derecho y que requiere atención tanto desde el ámbito jurídico como desde la innovación tecnológica y la regulación.

Análisis de las alucinaciones en los principales modelos de Inteligencia Artificial

Berenstein, David. “Good Answers Are Not Necessarily Factual Answers: An Analysis of Hallucination in Leading LLMs.” Hugging Face. Accedido el 12 de mayo de 2025. https://huggingface.co/blog/davidberenstein1957/phare-analysis-of-hallucination-in-leading-llms

Se analiza los errores de alucinación en los principales modelos de lenguaje mediante el uso del benchmark Phare (Potential Harm Assessment & Risk Evaluation). Este estudio pone el foco en un problema central: los modelos pueden ofrecer respuestas que suenan convincentes pero que contienen información falsa o inventada, lo que representa un riesgo real en su uso cotidiano.

Uno de los hallazgos principales del análisis es que más de un tercio de los errores detectados en sistemas de IA desplegados públicamente se deben a alucinaciones. Estas no solo son comunes, sino que además suelen ser difíciles de detectar, porque los modelos presentan esas respuestas con un alto grado de confianza. Esto puede confundir fácilmente a los usuarios, especialmente si no tienen el conocimiento necesario para evaluar la veracidad de lo que están leyendo.

La evaluación se llevó a cabo con el marco Phare, que analiza el rendimiento de los modelos a través de varias etapas: recolección de contenido auténtico y representativo, creación de ejemplos de prueba, revisión humana para asegurar la calidad y, finalmente, evaluación del comportamiento de los modelos. Dentro del módulo de alucinación, se valoraron cuatro tareas clave: la precisión factual, la capacidad para resistirse a la desinformación, la habilidad para desmentir bulos o teorías conspirativas, y la fiabilidad en el uso de herramientas externas como bases de datos o APIs.

Un aspecto especialmente relevante que destaca el estudio es la desconexión entre popularidad y fiabilidad. Es decir, que los modelos más valorados por los usuarios en términos de experiencia de uso no siempre son los más precisos en cuanto a la información que generan. Esto sugiere que una buena interacción no garantiza una buena calidad factual, y que es necesario avanzar en métricas que evalúen la veracidad con más rigor.

En conclusión el estudio muestra que las alucinaciones son un problema estructural de los modelos actuales y que su impacto es especialmente delicado en contextos donde la precisión es crítica, como la medicina, el derecho o la educación. Por ello, el artículo concluye que identificar y reducir estos errores debe ser una prioridad para mejorar la seguridad y fiabilidad de los modelos de lenguaje de gran escala.

Las «alucinaciones» de la inteligencia artificial (IA) no se pueden eliminar por completo, pero existen técnicas para minimizar su impacto

Jones, Nicola. «AI Hallucinations Can’t Be Stopped — but These Techniques Can Limit Their Damage.» Nature 637, no. 778–780 (2025). https://doi.org/10.1038/d41586-025-00068-5

Los desarrolladores tienen trucos para evitar que la inteligencia artificial (IA) invente cosas, pero los modelos de lenguaje grande (LLM, por sus siglas en inglés) todavía luchan por decir la verdad, toda la verdad y nada más que la verdad.

Es bien sabido que todos los tipos de IA generativa, incluidos los grandes modelos de lenguaje (LLM) que hay detrás de los chatbots de IA, se inventan cosas. Esto es a la vez un punto fuerte y un punto débil. Es la razón de su célebre capacidad inventiva, pero también significa que a veces confunden verdad y ficción, insertando detalles incorrectos en frases aparentemente objetivas. «Parecen políticos», dice Santosh Vempala, informático teórico del Georgia Institute of Technology de Atlanta. Tienden a «inventarse cosas y estar totalmente seguros pase lo que pase».

Cuando el informático Andy Zou investiga sobre inteligencia artificial (IA), suele pedir a un chatbot que le sugiera lecturas de fondo y referencias. Pero esto no siempre sale bien. «La mayoría de las veces me da autores distintos de los que debería, o a veces el artículo ni siquiera existe», dice Zou, estudiante de posgrado en la Universidad Carnegie Mellon de Pittsburgh, Pensilvania.

El problema concreto de las referencias científicas falsas está muy extendido. En un estudio realizado en 2024, varios chatbots cometieron errores entre el 30% y el 90% de las veces en las referencias, equivocándose al menos en dos de los casos: el título del artículo, el primer autor o el año de publicación. Los chatbots vienen con etiquetas de advertencia que indican a los usuarios que comprueben dos veces cualquier cosa importante. Pero si las respuestas de los chatbots se toman al pie de la letra, sus alucinaciones pueden provocar graves problemas, como en el caso de 2023 de un abogado estadounidense, Steven Schwartz, que citó casos legales inexistentes en una presentación judicial tras utilizar ChatGPT.

Dado que las alucinaciones de la IA son fundamentales para el funcionamiento de los LLM, los investigadores afirman que eliminarlas por completo es imposible. Sin embargo, científicos como Zou están trabajando en formas de hacer que las alucinaciones sean menos frecuentes y menos problemáticas, desarrollando una serie de trucos que incluyen la comprobación externa de los hechos, la autorreflexión interna o incluso, en el caso de Zou, la realización de «escáneres cerebrales» de las neuronas artificiales de un LLM para revelar patrones de engaño.

Zou y otros investigadores afirman que éstas y otras técnicas emergentes deberían ayudar a crear chatbots que mientan menos o que, al menos, puedan ser inducidos a revelar cuándo no están seguros de sus respuestas. Pero algunos comportamientos alucinatorios podrían empeorar antes de mejorar.

Básicamente, los LLM no están diseñados para arrojar datos. Más bien componen respuestas que son estadísticamente probables, basándose en patrones de sus datos de entrenamiento y en el posterior ajuste mediante técnicas como la retroalimentación de evaluadores humanos. Aunque el proceso de entrenamiento de un LLM para predecir las siguientes palabras probables de una frase se conoce bien, su funcionamiento interno preciso sigue siendo un misterio, admiten los expertos. Tampoco está claro cómo se producen las alucinaciones.

Una de las causas es que los LLM funcionan comprimiendo los datos. Durante el entrenamiento, estos modelos exprimen las relaciones entre decenas de billones de palabras en miles de millones de parámetros, es decir, las variables que determinan la fuerza de las conexiones entre neuronas artificiales. Por tanto, es inevitable que pierdan algo de información cuando construyan las respuestas, es decir, que vuelvan a expandir esos patrones estadísticos comprimidos. «Sorprendentemente, siguen siendo capaces de reconstruir casi el 98% de lo que se les ha enseñado, pero en el 2% restante pueden equivocarse por completo y dar una respuesta totalmente errónea», afirma Amr Awadallah, cofundador de Vectara, una empresa de Palo Alto (California) que pretende minimizar las alucinaciones en la IA generativa.

Algunos errores se deben simplemente a ambigüedades o equivocaciones en los datos de entrenamiento de una IA. Una respuesta infame en la que un chatbot sugería añadir pegamento a la salsa de la pizza para evitar que el queso se deslizara, por ejemplo, se remontó a una publicación (presumiblemente sarcástica) en la red social Reddit.

Los estudios han demostrado que los modelos más recientes son más propensos a responder a una consulta que a evitar responderla, y por tanto son más «ultracrepidarios», o sea, más proclives a hablar fuera de su ámbito de conocimiento, lo que da lugar a errores. Otra categoría de error se produce cuando un usuario escribe hechos o suposiciones incorrectos en las preguntas. Como los chatbots están diseñados para producir una respuesta que se ajuste a la situación, pueden acabar «siguiéndole el juego» a la conversación.

¿Cuál es la gravedad del problema de las alucinaciones? Los investigadores han desarrollado diversas métricas para hacer un seguimiento del problema. Vipula Rawte, que está realizando su doctorado sobre comportamientos alucinatorios de IA en la Universidad de Carolina del Sur en Columbia, por ejemplo, ha ayudado a crear un Índice de Vulnerabilidad a las Alucinaciones, que clasifica las alucinaciones en seis categorías y tres grados de gravedad. Un esfuerzo independiente y abierto ha compilado una tabla de clasificación de alucinaciones, alojada en la plataforma HuggingFace, para seguir la evolución de las puntuaciones de los bots en varios puntos de referencia comunes.

Vectara tiene su propia tabla de clasificación que analiza el sencillo caso de un chatbot al que se le pide que resuma un documento, una situación cerrada en la que es relativamente fácil contar alucinaciones. El esfuerzo muestra que algunos chatbots confabulan hechos hasta en un 30% de los casos, inventándose información que no está en el documento dado. Pero, en general, las cosas parecen mejorar. Mientras que el GPT-3.5 de OpenAI tenía una tasa de alucinación del 3,5% en noviembre de 2023, en enero de 2025, el modelo posterior GPT-4 de la empresa obtuvo un 1,8% y su o1-mini LLM sólo un 1,4% (véase «Los mayores mentirosos»).

No confíes, verifica. Hay muchas formas sencillas de reducir las alucinaciones. Un modelo con más parámetros que ha sido entrenado durante más tiempo tiende a alucinar menos, pero esto es caro computacionalmente e implica compensaciones con otras habilidades del chatbot, como la capacidad de generalizar8. El entrenamiento con conjuntos de datos más grandes y limpios ayuda, pero hay límites en cuanto a los datos disponibles.

Los desarrolladores también pueden utilizar un sistema independiente, que no haya sido entrenado del mismo modo que la IA, para contrastar la respuesta de un chatbot con una búsqueda en Internet. El sistema Gemini de Google, por ejemplo, tiene una opción para el usuario llamada «respuesta de doble comprobación», que resalta partes de la respuesta en verde (para mostrar que ha sido verificada por una búsqueda en Internet) o en marrón (para contenido controvertido o incierto). Esto, sin embargo, es caro computacionalmente y lleva tiempo, dice Awadallah. Y estos sistemas siguen alucinando, dice, porque Internet está lleno de datos erróneos.

Lo más desconcertante de los chatbots es que pueden parecer tan seguros cuando se equivocan. A menudo no hay pistas obvias para saber cuándo un chatbot está especulando alocadamente fuera de sus datos de entrenamiento. Los chatbots no tienen una memoria perfecta y pueden recordar cosas mal. «Eso nos pasa a nosotros, y es razonable que también le ocurra a una máquina», dice Vempala.

Inteligencia Artificial y alucinaciones: ¿Por qué alucinan los grandes modelos lingüísticos?

Waldo, Jim, y Soline Boussard. 2024. «GPTs and Hallucination: Why do large language models hallucinate?» Queue 22 (4): Pages 10:19-Pages 10:33. https://doi.org/10.1145/3688007.

Los modelos de lenguaje de gran escala (LLMs), como ChatGPT, han revolucionado la interacción entre humanos y la inteligencia artificial debido a su capacidad para generar texto coherente y comprensivo. Estos modelos se basan en aplicaciones transformadoras preentrenadas en grandes cantidades de datos sin procesar. Aunque tienen un rendimiento impresionante y pueden realizar tareas como responder preguntas y resumir textos, también tienen la tendencia a generar «alucinaciones». Estas ocurren cuando el modelo crea respuestas que parecen realistas pero que son incorrectas o no tienen sentido, lo que puede llevar a la diseminación de información falsa.

Las alucinaciones son preocupantes, especialmente en decisiones críticas o situaciones que requieren confianza en la IA. Un ejemplo destacado fue el de un abogado que utilizó ChatGPT para generar citas legales que resultaron ser ficticias. Estas alucinaciones, a menudo sutiles, pueden pasar desapercibidas, lo que plantea una pregunta importante: ¿Por qué los GPTs alucinan?

Los LLMs funcionan mediante aprendizaje automático entrenado en grandes cantidades de datos textuales. Este entrenamiento genera un conjunto de probabilidades que predice qué palabra es más probable que siga a otra en una secuencia. Sin embargo, esta predicción no se basa en la verdad o significado real del mundo, sino en las asociaciones estadísticas entre palabras. Esto explica por qué los modelos a veces generan respuestas erróneas: simplemente están siguiendo patrones previos de datos sin una verificación de los hechos.

La pregunta fundamental no es tanto por qué los GPTs alucinan, sino cómo logran acertar. Este dilema está vinculado a la «confianza epistémica», es decir, cómo confiamos en que algo expresado en lenguaje es verdadero. Históricamente, esta confianza ha sido establecida mediante la ciencia, que se basa en la experimentación, publicación y revisión por pares, pero los GPTs carecen de ese tipo de validación externa y generan respuestas basadas únicamente en probabilidades estadísticas.

Los GPTs basados en LLMs representan un paso más en este proceso, ya que generan respuestas basadas en el análisis de todas las preguntas y respuestas disponibles en Internet. Los modelos predicen la respuesta más probable basada en la co-ocurrencia de palabras, lo que en muchos casos refleja un consenso general.

Sin embargo, cuando hay consenso limitado o controversia sobre un tema, o cuando el tema es poco común, los GPTs son más propensos a generar respuestas incorrectas o «alucinaciones». Esto sugiere que la precisión de los GPTs depende de la disponibilidad de datos y del consenso sobre el tema en cuestión.

En este experimento se utilizaron cuatro modelos: Llama, accesible a través de la biblioteca de código abierto Llama-lib; ChatGPT-3.5 y ChatGPT-4, accesibles mediante el servicio de suscripción de OpenAI; y Google Gemini, disponible a través del servicio gratuito de Google.

Se realizaron pruebas con una variedad de temas sensibles y oscuros. Los prompts finales incluyeron: 1) solicitar artículos sobre polarización ferroelectric, 2) citas poco comunes de Barack Obama, 3) justificaciones políticas de Putin en relación con escritores rusos, 4) una descripción breve sobre el cambio climático, y 5) completar la frase «los israelíes son…». Estos prompts se presentaron semanalmente a cada modelo entre el 27 de marzo y el 29 de abril de 2024.

Los resultados mostraron variaciones en la consistencia de las respuestas, siendo ChatGPT-4 y Google Gemini los que presentaron cambios más significativos. A lo largo del experimento, se observó que, aunque los prompts eran independientes, algunos modelos utilizaban el contexto de preguntas anteriores para influir en sus respuestas. Llama a menudo repetía citas de Obama y fallaba en citar artículos científicos con precisión. ChatGPT-3.5 ofrecía citas precisas de Obama, pero también tenía dificultades para citar correctamente artículos científicos. ChatGPT-4 podía proporcionar citas precisas, aunque en ocasiones introducía términos no consensuados científicamente. Google Gemini tuvo dificultades para responder a las preguntas sobre las citas de Obama y las justificaciones de Putin, sugiriendo a menudo realizar búsquedas en Google para obtener respuestas. A pesar de todo, Gemini logró proporcionar artículos relevantes sobre polarización ferroelectric, aunque con citas incorrectas. En cuanto a la frase sobre los israelíes, Gemini ofreció diversas perspectivas y fomentó el diálogo.

En respuesta a las preguntas sobre artículos científicos, todas las aplicaciones pudieron proporcionar la sintaxis de citación correcta, pero las citas completas rara vez eran precisas. En particular, algunos autores citados por ChatGPT-4 habían publicado en el mismo campo, pero no en el artículo específico mencionado. Esto se puede entender como un reflejo de las respuestas como completaciones estadísticamente probables; el programa sabe cómo lucen las citas y qué grupos de autores tienden a aparecer juntos, aunque no necesariamente en el artículo citado. En general, la aplicación basada en Llama proporcionó las respuestas más consistentes, aunque de menor calidad que las otras, ya que no estaba en desarrollo activo y se basaba en un LLM temprano.

ChatGPT-3.5 y -4 ofrecieron consistentemente citas precisas de Obama, mientras que Llama repetía múltiples versiones de las mismas citas, muchas de las cuales eran incorrectas. En una ocasión, Google Gemini respondió correctamente a la pregunta sobre Obama, pero una de las citas era en realidad de Craig Ferguson, un comediante. La aplicación Llama tuvo dificultades para seguir restricciones gramaticales, como el requerimiento de dar una respuesta en tres palabras; a veces devolvía una sola palabra o una oración completa. Esto plantea preguntas sobre cómo la aplicación interpreta la gramática y la puntuación y cómo estas características no semánticas influyen en las respuestas.

Conclusiones

En general, las aplicaciones tuvieron dificultades con temas que contaban con datos limitados en línea, produciendo respuestas inexactas en un formato realista y sin reconocer las inexactitudes. Aunque manejaron temas polarizadores con mayor meticulosidad, algunas aún devolvieron errores y ocasionalmente advertencias sobre hacer afirmaciones en temas controvertidos.

Los GPTs basados en LLM pueden propagar conocimientos comunes con precisión, pero enfrentan dificultades en preguntas sin un consenso claro en sus datos de entrenamiento. Estos hallazgos respaldan la hipótesis de que los GPTs funcionan mejor con prompts populares y de consenso general, pero tienen problemas con temas controvertidos o con datos limitados. La variabilidad en las respuestas de las aplicaciones subraya que los modelos dependen de la cantidad y calidad de sus datos de entrenamiento, reflejando el sistema de crowdsourcing que se basa en contribuciones diversas y creíbles. Por lo tanto, aunque los GPTs pueden ser herramientas útiles para muchas tareas cotidianas, su interacción con temas oscuros y polarizados debe interpretarse con cautela. La precisión de los LLM está estrechamente vinculada a la amplitud y calidad de los datos que reciben.

Las alucinaciones de ChatGPT provocan una queja de privacidad de la UE

«ChatGPT’s Hallucinations Draw EU Privacy Complaint», POLITICO 29 de abril de 2024. https://www.politico.eu/article/chatgpts-hallucinations-get-eu-privacy-complaint/.

El «alucinar» de ChatGPT y la invención de información vulneran las normas de privacidad de la Unión Europea, según una queja presentada por el grupo de privacidad noyb ante la autoridad de protección de datos de Austria. El grupo de privacidad noyb exige que los reguladores inicien una investigación sobre la conjetura salvaje de ChatGPT sobre la fecha de nacimiento de uno de sus activistas.

Noyb, una organización sin fines de lucro con sede en Viena fundada por el activista Max Schrems, afirmó que su queja fue desencadenada por el fracaso de ChatGPT en proporcionar la fecha de nacimiento correcta de Schrems, haciendo una conjetura en su lugar. El chatbot no informa a los usuarios que no tiene los datos correctos para responder a una solicitud.

La fecha de nacimiento de una persona es un dato personal según el GDPR, que establece varios requisitos sobre cómo se debe manejar la información personal.

Noyb afirma que el comportamiento del chatbot viola el Reglamento General de Protección de Datos (GDPR) en cuanto a privacidad, exactitud de la información, así como el derecho a corregir información inexacta. También argumenta que la empresa de inteligencia artificial se negó a corregir o eliminar respuestas incorrectas, y no revelará ninguna información sobre los datos procesados, sus fuentes o destinatarios.

«Está claro que las empresas actualmente no pueden hacer que los chatbots como ChatGPT cumplan con la ley de la UE, cuando procesan datos sobre individuos», dijo Maartje de Graaf, abogada de protección de datos de noyb.

«Si un sistema no puede producir resultados precisos y transparentes, no puede utilizarse para generar datos sobre individuos. La tecnología debe cumplir con los requisitos legales, no al revés», dijo.

El New York Times informó anteriormente que «los chatbots inventan información al menos el 3 por ciento de las veces, y hasta el 27 por ciento».

POLITICO también preguntó a ChatGPT sobre la fecha de nacimiento de Schrems y obtuvo tres respuestas diferentes: 24 de junio, 17 de septiembre y 17 de octubre. El cumpleaños de Schrems es en realidad el 1 de octubre, según noyb.

Noyb ahora está pidiendo a la autoridad austriaca que investigue a OpenAI para verificar la exactitud de los datos personales que maneja para alimentar sus grandes modelos de lenguaje. También solicitan a la autoridad que garantice que la empresa cumpla con la solicitud del demandante de acceder a sus propios datos personales.

El grupo de privacidad también pide una «multa administrativa efectiva, proporcionada y disuasiva». «Por ahora, OpenAI parece ni siquiera pretender que puede cumplir con el GDPR de la UE», dijo. Violaciones del GDPR de la UE pueden resultar en una multa de hasta el 4 por ciento de los ingresos globales de una empresa.

Noyb dijo que cualquier investigación regulatoria probablemente se manejaría «a través de la cooperación de la UE». La base de OpenAI en la UE está en Irlanda y los reguladores de privacidad irlandeses pueden ser sus supervisores principales.

La autoridad austriaca confirmó que recibió la queja y dijo que evaluará si necesita ser remitida a otra autoridad nacional. OpenAI no estuvo disponible de inmediato para hacer comentarios.

El pionero de la IA está enfrentando presiones de otros reguladores europeos. La autoridad de protección de datos de Italia prohibió temporalmente a ChatGPT el año pasado operar en el país debido a la presunta violación de las normas de la UE para el manejo de datos personales.

La Junta Europea de Protección de Datos (EDPB), que reúne a los reguladores nacionales de privacidad, luego estableció un grupo de trabajo sobre ChatGPT para coordinar los esfuerzos nacionales.

Alucinaciones de la IA: un término incorrecto que vale la pena aclarar

Maleki, N., Padmanabhan, B., & Dutta, K. (2024). AI Hallucinations: A Misnomer Worth Clarifying (arXiv:2401.06796). arXiv. https://doi.org/10.48550/arXiv.2401.06796

Las «alucinaciones» en el contexto de la Inteligencia Artificial (IA) se refieren a errores o distorsiones en la generación de texto o imágenes por parte de sistemas de IA. Estos errores pueden manifestarse como la creación de contenido incoherente, ilógico o incluso perturbador por parte del modelo de IA, a pesar de que no hay una entrada correspondiente que justifique dicha salida. Las alucinaciones pueden ocurrir debido a deficiencias en los datos de entrenamiento, problemas en la arquitectura del modelo, sesgos en los algoritmos utilizados o simplemente a la complejidad inherente de las tareas de generación de contenido. Las alucinaciones son un desafío importante en el desarrollo de sistemas de IA, especialmente en áreas donde la precisión y coherencia son fundamentales, como la traducción automática, la generación de texto y la creación de imágenes.

A medida que los modelos de lenguaje grandes continúan avanzando en la Inteligencia Artificial (IA), se ha demostrado que los sistemas de generación de texto sufren de un fenómeno problemático denominado a menudo «alucinación». Sin embargo, con la creciente presencia de la IA en diversos ámbitos, incluida la medicina, han surgido preocupaciones sobre el uso del término en sí mismo.

En el ámbito médico, la adopción del término «alucinación» en IA ha generado preocupaciones, especialmente por su posible asociación estigmatizante con problemas de salud mental como la esquizofrenia. Para abordar estas preocupaciones, se sugiere establecer terminologías consistentes y definiciones formales de «alucinación» en el contexto de la IA. Esto promovería la claridad y coherencia en las discusiones y mitigaría la confusión y ambigüedad en su aplicación interdisciplinaria.

En este estudio, se realiza una revisión sistemática para identificar documentos que definen «alucinación de la IA» en catorce bases de datos. Se presentan y analizan las definiciones obtenidas en todas las bases de datos, se categorizan según sus aplicaciones y se extraen puntos clave dentro de cada categoría.

Los resultados destacan una falta de consistencia en cómo se utiliza el término, pero también ayudan a identificar varios términos alternativos en la literatura. Se discuten las implicaciones de estos hallazgos y se hace un llamado a un esfuerzo más unificado para establecer una consistencia en un importante problema contemporáneo de IA que puede afectar significativamente múltiples dominios.

El uso de la IA generativa por parte de los estudiantes: la amenaza de las alucinaciones

«Students’ Use of Generative AI: The Threat of Hallucinations». 2023. Center for Democracy and Technology (blog). 18 de diciembre de 2023. https://cdt.org/insights/students-use-of-generative-ai-the-threat-of-hallucinations/.


Los sistemas de inteligencia artificial generativa entrenados con grandes cantidades de datos existentes utilizan el aprendizaje automático para producir nuevo contenido (como texto o imágenes) en respuesta a las indicaciones de los usuarios. En educación, la inteligencia artificial generativa se menciona con mayor frecuencia en el contexto de la integridad académica, con profesores expresando temores sobre el fraude en el aula.

Sin embargo, la encuesta a profesores, padres y estudiantes muestra que el 45 por ciento de los estudiantes que dicen haber utilizado inteligencia artificial generativa informan haberlo hecho por razones personales, mientras que solo el 23 por ciento informa haberlo utilizado para la escuela. De aquellos que han utilizado la tecnología por razones personales, muchas de las aplicaciones son de gran importancia: el 29 por ciento la ha utilizado para lidiar con la ansiedad o problemas de salud mental, el 22 por ciento para lidiar con problemas con amigos y el 16 por ciento para lidiar con problemas familiares. Como resultado, incluso en el contexto de uso personal, los sistemas de inteligencia artificial generativa que producen información incorrecta pueden tener consecuencias perjudiciales significativas.

¿Qué son las alucinaciones y por qué ocurren? Por su estilo de escritura y la forma en que proporcionan información, los sistemas de inteligencia artificial generativa pueden parecer fuentes confiables y autorizadas de información. Sin embargo, estos sistemas a menudo producen texto que es factualmente incorrecto. Estos errores factuales se conocen como «alucinaciones». Las alucinaciones son una consecuencia tanto del diseño como de la estructura operativa de los sistemas de inteligencia artificial generativa.

Desde el punto de vista del diseño, los sistemas de inteligencia artificial generativa están construidos con la intención de imitar el texto producido por humanos. Para lograr esto, generalmente se entrenan con enormes conjuntos de datos de texto a partir de los cuales el sistema aprende sobre la estructura de oraciones y párrafos, y luego produce texto que parece tener sentido para los lectores humanos al predecir repetidamente la siguiente palabra más lógica. Este proceso no está diseñado para crear contenido que sea verdadero o correcto, sino que tenga sentido.

Estructuralmente, la mayoría de los sistemas de inteligencia artificial generativa operan «desconectados», lo que significa que no están obteniendo activamente datos de internet para responder a indicaciones. Por lo tanto, están limitados a los datos contenidos en sus conjuntos de datos de entrenamiento. Esto hace que los sistemas de inteligencia artificial generativa sean particularmente poco confiables cuando se trata de eventos actuales que no aparecen en sus conjuntos de datos de entrenamiento.

Los posibles impactos perjudiciales de las alucinaciones en los estudiantes La realidad de las alucinaciones de inteligencia artificial generativa, junto con los altos niveles de uso personal por parte de los estudiantes para asuntos importantes, plantea grandes preocupaciones sobre el acceso a información precisa en momentos de crisis. Por ejemplo, los estudiantes podrían estar haciendo preguntas a ChatGPT (u otra herramienta de inteligencia artificial generativa) sobre cómo lidiar con un problema de salud mental en curso, que podría ser potencialmente una situación de vida o muerte. Dado que la mayoría de los sistemas de inteligencia artificial generativa probablemente utilizados por los estudiantes se entrenan con información recopilada de internet, podrían replicar malentendidos comunes sobre problemas sensibles como desafíos de salud mental, roles de género y orientación sexual.

Además de las alucinaciones tradicionales, que son simplemente información incorrecta, la inteligencia artificial generativa también puede tener impactos emocionales significativos en los estudiantes que utilizan la herramienta por razones personales al replicar prejuicios sociales contra poblaciones marginadas, incluidas cuestiones de raza, género u orientación sexual. Los estudiantes, especialmente durante las etapas vitales de desarrollo de la educación K-12, pueden internalizar estos prejuicios, ya sea contra ellos mismos o contra otros.

Las alucinaciones también son motivo de preocupación significativa cuando los estudiantes utilizan plataformas de inteligencia artificial generativa con fines académicos. La posibilidad de que los estudiantes reciban información inexacta puede ir en contra directa del objetivo de las escuelas de proporcionar información confiable y de calidad a los estudiantes. Los estudiantes que no comprenden las posibilidades de alucinaciones de estas herramientas pueden usarlas de manera ineficaz y perder usos beneficiosos. Sin comprender las limitaciones de la inteligencia artificial generativa, los estudiantes pueden no poder aprovechar de manera efectiva su potencial como herramienta para complementar su aprendizaje y habilidades de pensamiento crítico.

¿Cómo deben abordar las escuelas el problema de las alucinaciones?

Para combatir las posibles consecuencias devastadoras de las alucinaciones de inteligencia artificial generativa tanto en contextos personales como académicos, las escuelas deben:

  • Comprender las limitaciones de la inteligencia artificial generativa y asegurarse de que los maestros estén adecuadamente capacitados. Aunque los beneficios potenciales de estas herramientas para mejorar el aprendizaje pueden ser emocionantes, es imperativo que los funcionarios escolares estén completamente familiarizados con las deficiencias tecnológicas e impartan ese conocimiento a los educadores. Los maestros desempeñan un papel crucial para garantizar que la inteligencia artificial generativa se utilice de manera responsable y apropiada en el aula. Pero para hacerlo, necesitan acceso a recursos y capacitación.
  • Continuar invirtiendo en consejeros y otros apoyos de salud mental. Las escuelas deben tener cuidado de no dirigir a los estudiantes hacia el uso de inteligencia artificial generativa como recurso sobre temas tan sensibles como su salud mental. Los problemas de salud mental en curso requieren empatía y experiencia humanas, por lo que las escuelas no deben adquirir herramientas de inteligencia artificial generativa para reemplazar o incluso triar el cuidado que de otro modo proporcionaría un ser humano. Si las escuelas van a adquirir una herramienta para complementar a los consejeros y apoyos de salud mental ya existentes, deberían hacer referencia a nuestra guía sobre principios de adquisición responsables, ya que incluso como herramienta complementaria, los sistemas de inteligencia artificial generativa pueden causar daño si no se prueban y regulan adecuadamente.
  • Brindar educación a los estudiantes sobre qué es la inteligencia artificial generativa, cómo funciona y por qué ocurren las alucinaciones. Para combatir la exageración no controlada del público en torno a la inteligencia artificial generativa, las escuelas deben dotar a los estudiantes con conocimientos básicos sobre la tecnología, sus capacidades y limitaciones, y cómo puede salir mal tanto en usos académicos como personales.
  • Brindar educación a los estudiantes sobre la alfabetización mediática y las habilidades de investigación. El lanzamiento de ChatGPT en noviembre pasado subrayó la necesidad de que los estudiantes comprendan cómo ser consumidores responsables y efectivos del conocimiento a través de nuevas herramientas tecnológicas. El uso de la inteligencia artificial generativa es cada vez más inevitable de la misma manera que el uso de internet, por lo que es vital que las escuelas proporcionen a los estudiantes capacitación y recursos sobre cómo evaluar la precisión y confiabilidad de la información obtenida a través de ChatGPT y otras plataformas de inteligencia artificial generativa.
  • Asegurarse de que maestros y estudiantes comprendan cuándo es apropiado usar la inteligencia artificial generativa. La inteligencia artificial generativa no está destinada a reemplazar la enseñanza y el aprendizaje tradicionales en ningún caso; no es un reemplazo del conocimiento y no es un terapeuta o consejero efectivo para problemas personales. Sin embargo, puede usarse, por ejemplo, como una herramienta de apoyo para mejorar la escritura o como una herramienta novedosa para la investigación al explorar un nuevo tema. Las escuelas deben proporcionar orientación y capacitación tanto a maestros como a estudiantes sobre cómo hacer un uso efectivo de la inteligencia artificial generativa.

«Mentiras» en textos generados por Inteligencia Artificial: alucinaciones y omisiones.

Kees van Deemter «“Lying” in Computer-Generated Texts: Hallucinations and Omissions». Library Journal. Accedido 13 de septiembre de 2023. https://www.libraryjournal.com/story/academiclibraries/lying-in-computer-generated-texts-hallucinations-and-omissions-lj230901.

Existe una gran interés en torno a ChatGPT y otros grandes modelos generativos de lenguaje que producen textos fluidos y parecidos a los escritos por humanos en inglés y otros idiomas. Pero estos modelos tienen una gran desventaja, que es que sus textos pueden ser incorrectos en términos de hechos (alucinaciones) y también omitir información clave (omisiones).

Las omisiones son inevitables porque un sistema informático no puede incluir toda la información posiblemente relevante en un texto lo suficientemente corto como para ser leído realmente. En el contexto de resumir información médica para médicos, por ejemplo, el sistema informático tiene acceso a una gran cantidad de datos de pacientes, pero no sabe (y podría argumentarse que no puede saber) qué será más relevante para los médicos.

Las alucinaciones son inevitables debido a fallos en los sistemas informáticos, independientemente del tipo de sistema. Los sistemas que están programados explícitamente sufrirán errores de software (como todos los sistemas de software). Los sistemas que se entrenan con datos, como ChatGPT y otros sistemas en la tradición del Aprendizaje Profundo, «alucinan» aún más. Esto ocurre por una variedad de razones. Quizás lo más obvio es que estos sistemas se retroalimentan con de datos defectuosos (por ejemplo, cualquier sistema que aprenda de Internet estará expuesto a mucha información falsa sobre vacunas, teorías de conspiración, etc.). Y aun si un sistema orientado a los datos pudiera ser entrenado únicamente con textos legítimos que no contengan falsedades, su dependencia de métodos probabilísticos hará que combinaciones de palabras que son muy comunes en Internet también puedan ser producidas en situaciones donde resulten en información falsa.

Supongamos, por ejemplo, que en Internet, la palabra «tos» a menudo va seguida de «… y estornudos». Entonces, un paciente podría ser descrito de manera falsa por un sistema orientado a los datos como «tos y estornudos» en situaciones en las que tose sin estornudar. Problemas de este tipo son un enfoque importante para los investigadores que trabajan en modelos generativos de lenguaje. A dónde nos llevará esta investigación aún es incierto; lo mejor que se puede decir es que podemos intentar reducir el impacto de estos problemas, pero no sabemos cómo eliminarlos por completo.

Lo expuesto anteriormente se centra en problemas no intencionales pero inevitables. También existen casos en los que un sistema informático podría argumentarse que debe alucinar u omitir información. Un ejemplo evidente es la generación de material de marketing, donde se espera omitir información negativa sobre un producto. Un ejemplo más sutil, que hemos visto en nuestro propio trabajo, es cuando la información puede ser perjudicial y es de interés de los usuarios ocultarla o distorsionarla. Por ejemplo, si un sistema informático está resumiendo información sobre bebés enfermos para amigos y familiares, probablemente no debería decirle a una abuela anciana con una afección cardíaca que el bebé puede morir, ya que esto podría desencadenar un ataque al corazón.

Ahora que la precisión factual del texto generado por computadora atrae tanta atención de la sociedad en su conjunto, la comunidad de investigación está comenzando a darse cuenta más claramente que antes de que solo tenemos una comprensión limitada de lo que significa decir la verdad. En particular, no sabemos cómo medir la extensión de la (in)veracidad en un texto dado.

Para comprender lo que se quiere decir, supongamos que dos modelos de lenguaje diferentes responden a la pregunta de un usuario de dos maneras diferentes, generando dos textos de respuesta diferentes. Para comparar el rendimiento de estos sistemas, necesitaríamos una «tarjeta de puntuación» que nos permitiera puntuar objetivamente los dos textos en cuanto a su corrección factual, utilizando una variedad de criterios. Dicha tarjeta de puntuación nos permitiría registrar con qué frecuencia ocurre cada tipo de error en un texto dado y agregar el resultado en una puntuación global de veracidad para ese texto. De particular importancia sería la ponderación de los errores: los errores grandes (por ejemplo, una lectura de temperatura que está muy lejos de la temperatura real) deberían pesar más que los pequeños, los hechos clave deberían pesar más que los asuntos secundarios, y los errores que son realmente engañosos deberían pesar más que las erratas que los lectores pueden corregir por sí mismos. Básicamente, la tarjeta de puntuación funcionaría como un profesor de escuela justo que califica los trabajos de los alumnos.

Se han desarrollado protocolos para que los evaluadores humanos encuentren errores factuales en los textos generados, al igual que otros investigadores, pero aún no es posible crear una tarjeta de puntuación como se describe anteriormente porque no se puede evaluar el impacto de errores individuales.

Lo que se necesita, creemos, es una nueva línea de investigación informada lingüísticamente, que identifique todos los diferentes parámetros de «mentir» de una manera que pueda informar a las tarjetas de puntuación mencionadas anteriormente y que algún día pueda implementarse en un protocolo o algoritmo de verificación de hechos confiable. Hasta ese momento, aquellos de nosotros que intentamos evaluar la veracidad de ChatGPT estaremos avanzando a ciegas.