Alucinaciones de IA en el Mundo Legal

Cuando a un hombre de California que enfrentaba cargos por posesión ilegal de armas se le ordenó permanecer detenido sin derecho a fianza, el equipo de defensa del hombre argumentó que los cargos claramente no justificaban una respuesta tan punitiva. Los fiscales presentaron múltiples páginas con su razonamiento para respaldar su postura. Desafortunadamente para ellos, su exhaustiva documentación estaba plagada de errores.

Errores de IA

Resulta que la oficina del fiscal involucrada en el caso estaba utilizando IA para elaborar y fortalecer argumentos en varios casos. Irónicamente, en cada situación esa ayuda condujo a graves interpretaciones erróneas de la ley, así como a citas que no existían en los textos citados. Hubo indicios convincentes que revelaban que la IA era la culpable de los errores, lo que llevó a los abogados defensores a llevar el caso ante la California Supreme Court. Esperaban poder demostrar un patrón de interpretaciones legales y citas de casos erróneas.

Problemas con la IA

Hubo 22 investigadores en tecnología y académicos del derecho junto a los abogados en el tribunal. Estos especialistas aconsejaron que el uso sin restricciones de la inteligencia artificial en el ámbito legal podría contribuir a sentencias indebidas y/o condenas injustas. Los documentos legales han sido notoriamente intercalados con errores como resultado del uso de Gemini y ChatGPT, que se han utilizado comúnmente para preparar desde ensayos y correos electrónicos hasta escritos legales. Dado que se ha demostrado que estas herramientas inventan respuestas ficticias a preguntas legales, cuando el uso de la IA no se supervisa, dijeron, los resultados pueden ser desastrosos.

Gary Marchant, profesor de derecho de Arizona State University, concedió que las inexactitudes en documentos judiciales que son resultado de la IA probablemente sean un síntoma de negligencia más que de engaño deliberado. Pero eso no atenúa la gravedad de los resultados de los errores de la IA. Debido a que la complacencia es una característica conocida de la IA, las respuestas que proporciona a menudo estiran la verdad en un esfuerzo por ofrecer una respuesta que respalde un argumento particular. Comúnmente denominado contenido alucinado, hasta ahora se han detectado casi 600 casos de este problema en todo el mundo, con más del 60 por ciento ocurriendo en tribunales de los Estados Unidos. Esto plantea algunas preguntas fascinantes:

• Dado que los estudios indican que hasta el 82% de las consultas legales en chatbots resultan en alucinaciones (lo que motivó una advertencia cautelar del Chief Justice Roberts de la Supreme Court en 2023), ¿se puede confiar en documentos judiciales creados con IA?
• Si tres de cada cuatro abogados dicen que planean usar IA en su trabajo, ¿qué tan extensos serán los problemas relacionados con las alucinaciones?
• Dado que incluso las herramientas de IA que afirman reducir los problemas de alucinaciones producen errores en el 17% al 34% de los usos, ¿deberían redactarse restricciones obligatorias sobre el uso de la IA en el trabajo legal?

Protegiendo Sus Derechos

Los experimentados abogados de defensa criminal en Kissimmee y Orlando de Salazar & Kelly Law Group siempre luchan por los mejores resultados para nuestros clientes. Para hablar sobre su caso, programe hoy una consulta confidencial en nuestra oficina.

Fuente:

nytimes.com/2025/11/25/us/prosecutor-artificial-intelligence-errors-lawyers-california.html?smid=nytcore-ios-share