AI Hallucination Cases

https://www.damiencharlotin.com/hallucinations/

Esta base de datos recopila decisiones judiciales relacionadas con casos en los que una inteligencia artificial generativa produjo contenido alucinado —es decir, contenido falso o erróneo generado por el sistema. El ejemplo más común son las citas legales falsas (fake citations), aunque también se incluyen otros tipos de errores, como argumentos jurídicos inventados o distorsionados.

Es importante destacar que esta base no abarca todos los casos en que se han utilizado citas falsas o IA en procedimientos judiciales, sino que se centra únicamente en los casos en los que ha habido una decisión legal vinculada a la utilización de contenido alucinado por IA.

El fenómeno de las alucinaciones en IA se refiere a la generación de información falsa pero con apariencia convincente. En el ámbito jurídico, esto representa un riesgo serio para la integridad del proceso judicial, ya que puede conducir a decisiones basadas en datos erróneos o incluso a la desinformación intencionada. Por ello, esta base de datos funciona también como una advertencia práctica sobre los límites actuales de la tecnología y la necesidad de usarla con criterio, supervisión humana y sentido ético.

Hasta el momento, la base de datos ha identificado 121 casos, y sigue en expansión conforme surgen nuevos ejemplos. Su objetivo es ofrecer un registro sistemático y riguroso que permita entender el impacto real del uso de estas herramientas tecnológicas en entornos legales, donde la precisión y la veracidad son esenciales. Es un recurso de gran valor tanto para juristas como para investigadores, medios de comunicación y responsables de políticas públicas.

El uso de contenido generado por IA en documentos judiciales ha provocado en algunos casos consecuencias graves, como sanciones disciplinarias a abogados que incluyeron citas falsas producidas por sistemas como ChatGPT sin verificarlas. Estos incidentes han sido objeto de cobertura mediática y han despertado un amplio debate sobre la responsabilidad profesional y la fiabilidad de las herramientas de IA en contextos de alta exigencia ética.

Un caso destacado es el de Mata v. Avianca, Inc., donde los abogados del demandante utilizaron ChatGPT para generar una moción legal que contenía múltiples casos jurídicos ficticios. El tribunal descubrió que las citas eran inexistentes y sancionó a los abogados con una multa de 5.000$, subrayando la responsabilidad profesional de verificar la exactitud de las referencias legales, independientemente de las herramientas utilizadas.

Otro ejemplo relevante es el caso en Israel de Mahala Association v. Clalit Health Services, donde se presentaron múltiples citas falsas generadas por una herramienta de IA llamada Takdin.AI. El tribunal no solo desestimó la petición de certificación de acción colectiva, sino que también impuso sanciones monetarias y determinó que el abogado no era apto para actuar en el caso.

En definitiva, este archivo documental se ha convertido en un instrumento de seguimiento y análisis de un fenómeno emergente que afecta a la práctica del derecho y que requiere atención tanto desde el ámbito jurídico como desde la innovación tecnológica y la regulación.