En inteligencia artificial se entiende por alucinación la generación de información errónea, inventada o sin fundamento. El problema, como nos explica la abogada experta en Derecho TIC Belén Arribas, es que puede expresarse de una forma “coherente y muy convincente”. Menciona el caso del abogado Steven Schwartz, que, en una demanda contra la aerolínea Avianca, presentó un escrito judicial utilizando ChatGPT con una serie de precedentes legales inexistentes (alucinaciones).
En el documento de diez páginas citó varias decisiones judiciales para apoyar sus tesis, pero no tardó en descubrirse que el chatbot de la compañía OpenAI se las había inventado. “Schwartz fue amonestado por su colegio profesional y se convirtió en un ejemplo paradigmático de los riesgos del uso irresponsable de IA en la revisión de jurisprudencia”, explica Arribas.
Más reciente es el caso del juez Julien Xavier Neals, en Nueva Jersey. Tuvo que retirar su sentencia del 30 de junio de 2025, en un caso de valores bursátiles, por estar plagada, según denunciaron los letrados, “de inexactitudes generalizadas y materiales” que recordaban peligrosamente a los errores típicos de herramientas como ChatGPT. Encontraron en ella citas falsas, atribuciones erróneas y frases y afirmaciones inexistenteS. Lo peor es que esta sentencia había sido ya citada como jurisprudencia en otro caso relacionado con la empresa Outlook Therapeutics Inc.
Pero uno de los casos de mayor impacto fue el de la Agencia Tributaria neerlandesa. El sistema de IA utilizado catalogó erróneamente durante varios años a decenas de miles de familias como defraudadoras por ayudas sociales. Los afectados, la mayoría inmigrantes, recibieron cartas masivas exigiéndoles la devolución de elevadas sumas de dinero, a pesar de su inocencia. No se les dio ni siquiera una oportunidad para defenderse y muchas familias tuvieron que endeudarse para poder pagar al fisco.
El origen estuvo en fallos y sesgos raciales en los algoritmos empleados, pero, sobre todo, falló la falta de supervisión humana y la usencia de auditorías para aplicar criterios éticos y de equidad. Tras las investigaciones, en enero de 2021 el liberal Mark Rutte presentó la dimisión de todo su gabinete ante el rey Guillermo Alejandro. “Se han violado los principios fundamentales del Estado de derecho. Es un fracaso del sistema”, sentenció sin rodeos.
Para conocer sobre alucinaciones en procesos judiciales y sus consecuencias, una buena base de datos es AI Hallucination Cases, creada por Damien Charlotin. Algunos de sus incidentes se han originado en España o han tenido impacto directo en nuestro país. También en el área de salud digital se han reportado tasas de errores o alucinaciones entre un 3% y un 27% en tareas simples, como resúmenes de noticias o diagnósticos preliminares.