Un caso en Nueva York marcó un punto de inflexión en el debate sobre el uso de inteligencia artificial en entornos de alta responsabilidad: un juez impuso una multa a dos abogados y a su despacho por presentar un escrito con referencias a seis fallos judiciales inexistentes, varios de ellos generados por un modelo de lenguaje. El abogado había recibido confirmación de la existencia de esos casos, pero todos eran ficticios.

Lo que parecía un incidente aislado se ha convertido en una tendencia documentada. Un investigador independiente comenzó a registrar decisiones judiciales que citan datos o fallos fabricados por IA. En 2023 se contabilizaron 16 casos; en 2025 la cifra escaló a 861; y en lo que va de 2026 ya se registran 1,261 incidentes. El acumulado total supera los 2,199 casos, de los cuales más de la mitad involucra a litigantes sin representación legal, 871 corresponden a abogados en ejercicio y 32 a jueces.

Por qué los modelos de lenguaje fabrican información

Este incremento no refleja un deterioro de la tecnología, sino una expansión acelerada de su adopción. A mayor uso, mayor exposición al riesgo de error, lo que convierte la supervisión humana en una variable crítica de cualquier implementación.

La raíz del problema está en la arquitectura misma de los modelos de lenguaje. Estos sistemas reciben un texto y generan otro basándose en probabilidades estadísticas, sin acceso a verificación en tiempo real ni memoria persistente entre sesiones. Cuando carecen de información precisa, no emiten una advertencia de incertidumbre: generan una respuesta plausible con el mismo nivel de confianza que una respuesta verificada. Este fenómeno se denomina técnicamente "alucinación" y representa uno de los límites estructurales más relevantes de la tecnología actual.

La funcionalidad de estos modelos puede extenderse mediante sistemas externos que actúan como intermediarios —permitiendo el envío de correos, la creación de documentos o la ejecución de flujos de trabajo—, pero esa capa de integración no modifica la capacidad del modelo para generar contenido preciso. La herramienta puede hacer más cosas, pero no necesariamente con mayor exactitud.

El problema de medir la confiabilidad de la IA

Firmas de análisis independientes han desarrollado sistemas de evaluación que asignan puntuaciones a los modelos según su tasa de aciertos en preguntas estructuradas: un punto por respuesta correcta, menos uno por error, sin penalización por respuestas inciertas. Sin embargo, estos benchmarks miden rendimiento en condiciones controladas, no en contextos de uso real donde la ambigüedad, la especialización y las consecuencias legales o estratégicas elevan el umbral de exigencia.

Para organizaciones que ya han integrado IA en flujos de trabajo críticos —análisis legal, generación de reportes, soporte a decisiones de negocio—, el patrón de casos documentados plantea una pregunta operativa concreta: ¿qué mecanismos de validación existen entre la salida del modelo y la decisión final? La respuesta a esa pregunta define, en gran medida, el nivel de riesgo real que asume cada organización.

Mientras los modelos continúan mejorando en velocidad y cobertura temática, la precisión verificable en dominios especializados sigue siendo su principal limitación no resuelta. En ese margen, la supervisión humana no es un complemento opcional: es la variable que determina si la tecnología suma valor o genera exposición.