«Hallucinating Law: Legal Mistakes with Large Language Models Are Pervasive». 2024. 11 de enero de 2024. https://hai.stanford.edu/news/hallucinating-law-legal-mistakes-large-language-models-are-pervasive.

El estudio «Disturbing & pervasive errors among three popular models on a wide range of legal tasks» (GPT 3.5, Llama 2, and PaLM 2) revela lo siguiente

• «las tasas de alucinación oscilan entre el 69% y el 88% en respuesta a consultas jurídicas específicas para los modelos lingüísticos más avanzados»

• «el rendimiento se deteriora cuando se trata de tareas más complejas que requieren una comprensión matizada de las cuestiones jurídicas o la interpretación de textos jurídicos»

• «jurisprudencia de tribunales inferiores… sujeta a alucinaciones más frecuentes que la jurisprudencia de tribunales superiores

• «susceptibilidad del modelo a lo que llamamos «sesgo contrafáctico», es decir, la tendencia a asumir que una premisa fáctica en una consulta es cierta, aunque sea rotundamente errónea»