La situación actual del despliegue de agentes de inteligencia artificial en sectores críticos se asemeja a un banco que contrata mil empleados nuevos, cuyos identificadores cambian diariamente, sin rastro de quién autorizó sus acciones. Tal estado pone de manifiesto la falta de mecanismos de observabilidad en tiempo real, lo que representa un riesgo operativo y regulatorio significativo, especialmente en entornos financieros, gubernamentales y médicos.
La observabilidad implica la capacidad de registrar qué acciones realiza el agente, procesarlas en señales interpretables y presentarlas a humanos o sistemas automatizados. Sin esta capacidad, se imposibilita la auditoría y el cumplimiento normativo.
La brecha que los marcos actuales no cubren
Los agentes de IA, al heredar la imprevisibilidad de los modelos de lenguaje grandes (LLMs), añaden complejidad mediante la planificación, selección de herramientas y creación de sub-agentes. Esto hace que ninguna prueba previa al lanzamiento pueda prever completamente los riesgos emergentes.
Una investigación reciente, realizada en colaboración con académicos, sociedad civil e industria, evaluó los cuatro marcos de agentes más utilizados y encontró brechas significativas en requisitos esenciales de observabilidad, como identificaciones de agentes persistentes, registros de aprobaciones de tareas, y trazabilidad de cambios. Esto genera la imposibilidad de determinar cuál agente realizó una acción específica.
Dos tipos de registros que toda organización necesita
Para cerrar estas brechas, es crucial capturar dos categorías de datos durante la ejecución de un agente. Los registros de "lo que ocurrió" identifican al agente sin comprometer la privacidad, documentan intervenciones humanas y señalizan cambios en autorizaciones o memoria. Por otro lado, los registros de "decisión" exponen el razonamiento del agente y su nivel de confianza ante cada acción tomada.
Un caso concreto es el de un agente que procesa solicitudes de préstamos hipotecarios y recomienda un rechazo, pero un oficial humano lo aprueba. Es vital en una auditoría poder reconstruir qué agente decidió, quién validó la decisión y si se utilizaron variables prohibidas para esa conclusión.
El estándar abierto que puede resolver el problema de infraestructura
La falta de registros de "lo que ocurrió" es en gran medida un problema de infraestructura de software, con soluciones técnicas disponibles. OpenTelemetry, un estándar de observabilidad mantenido por ingenieros industriales, lanzó un grupo de trabajo que se encarga de crear formatos compartidos para el seguimiento de los agentes, aunque aún no están finalizados.
Es urgente que ese grupo de trabajo incorpore criterios para asegurar la identidad persistente del agente, registrar intervenciones humanas y registrar cambios en autorizaciones o memoria, considerando las implicaciones de privacidad al vincular esa identidad a personas reales.
La ventana para actuar es limitada. Estos sistemas están escalando antes de que los estándares necesarios sean consolidados, alterando el orden lógico de cualquier despliegue técnico en entornos regulados. Las organizaciones que implementen marcos de observabilidad antes de ser obligatorios estarán mejor preparadas cuando los reguladores los exijan inevitablemente.




