Magesh, Varun, Faiz Surani, Matthew Dahl, Mirac Suzgun, Christopher D. Manning, y Daniel E. Ho. «AI on Trial: Legal Models Hallucinate in 1 Out of 6 Queries.» Stanford HAI, May 23, 2024.
Los modelos de inteligencia artificial (IA) están transformando rápidamente la práctica del derecho, con casi tres cuartas partes de los abogados planeando usar IA generativa para su trabajo. Sin embargo, surgen dudas sobre su fiabilidad.
Los modelos de lenguaje grandes tienden a «alucinar» o inventar información falsa. Un caso notorio fue el de un abogado de Nueva York sancionado por citar casos ficticios creados por ChatGPT. Estudios previos encontraron que los chatbots generales alucinaban entre el 58% y el 82% del tiempo en consultas legales. El Presidente del Tribunal Supremo Roberts advirtió a los abogados sobre estas alucinaciones en su informe anual de 2023.
Para reducir las alucinaciones, se promueve la generación aumentada por recuperación (RAG), que integra un modelo de lenguaje con una base de datos de documentos legales. Los servicios de investigación legal afirman que sus productos basados en RAG «evitan» alucinaciones y garantizan citas legales «libres de alucinaciones». Sin embargo, no han proporcionado evidencia sólida de estas afirmaciones ni han definido claramente «alucinación».
Un estudio reciente de Stanford RegLab y HAI evaluó las afirmaciones de dos proveedores, LexisNexis y Thomson Reuters. Aunque sus herramientas reducen los errores en comparación con modelos de IA generales como GPT-4, aún producen información incorrecta en más del 17% de las consultas, es decir, una de cada seis consultas.
Los sistemas de IA pueden alucinar de dos maneras:
- Respuesta incorrecta: describe la ley incorrectamente o comete un error factual.
- Respuesta mal fundamentada: describe la ley correctamente pero cita una fuente que no respalda sus afirmaciones.
El estudio resalta la necesidad de evaluaciones rigurosas y transparentes de las herramientas de IA legal. La opacidad actual dificulta a los abogados cumplir con sus responsabilidades éticas y profesionales, y podría socavar los beneficios de eficiencia prometidos por estas herramientas. Se requiere transparencia para que los abogados puedan adoptar la IA de manera responsable y cumplir con las regulaciones emergentes sobre el uso de IA en la práctica legal.
En conclusión, las alucinaciones legales no han sido resueltas y la profesión legal debe enfocarse en establecer puntos de referencia públicos y evaluaciones rigurosas de las herramientas de IA.
