La prohibición de los modelos de Anthropic por parte del gobierno de EE. UU. nunca fue sobre un jailbreak de IA
La carta de aplicación del gobierno de EE. UU. a Anthropic, que efectivamente obligó a la compañía a retirar sus últimos modelos de IA de línea justo antes del fin de semana, debería ser una llamada de atención para cualquier empresa tecnológica en EE. UU. — laboratorio de IA o de otro tipo.
Para ponerte al tanto de la avalancha de noticias: el viernes por la tarde, el Departamento de Comercio de EE. UU. envió a Anthropic una carta invocando una oscura directiva de control de exportaciones que prohibió a los no estadounidenses, incluidos los empleados de Anthropic, acceder a Fable 5 y Mythos 5, citando una preocupación de seguridad nacional no especificada. Anthropic dijo que cree que la carta está relacionada con un bypass de las salvaguardias del modelo, pero no está seguro porque la carta no proporciona detalles específicos. La carta no se ha hecho pública.
En respuesta, Anthropic cerró ambos modelos principales a todos los clientes para asegurarse de cumplir con la directiva. El resultado fue que el gobierno de EE. UU. logró obligar a una empresa tecnológica a retirar sus modelos de línea con una acción rápida y unilateral que no parecía requerir la aprobación de un tribunal.
La intervención del viernes por parte de la administración de Trump muestra que la industria de IA no es inmune a la interferencia del gobierno. También es una advertencia para la industria tecnológica en general: cumple, o podemos cerrar tú y tus productos.
Citando fuentes, Axios describió una situación tensa durante el fin de semana entre los dos grandes actores, diciendo que las “diferencias de personalidad” entre Anthropic y la administración de Trump llevaron a la directiva de exportación, más que un problema técnico con los productos de IA.
Nuevos detalles sobre el problema que emergieron durante el fin de semana ahora generan más dudas sobre el razonamiento ya tambaleante del gobierno.
Katie Moussouris, una veterana en ciberseguridad e investigadora que fundó Luta Security, dijo en una publicación de blog que Anthropic le compartió recientemente una copia privada de un documento escrito por investigadores de seguridad que describe un supuesto bypass de las salvaguardias en Fable 5. (El Wall Street Journal informa que los autores del documento son investigadores de seguridad en Amazon.) Moussouris dijo que Anthropic se puso en contacto para pedirle su opinión sobre el documento.
La publicación de Moussouris describió cómo los investigadores activaron el bypass de la salvaguardia, pero dijo que el bypass en sí "nunca debió haber activado un control de exportación." La diferencia es principalmente entre pedir a un modelo de IA que "revisar código en busca de problemas de seguridad" versus pedirle que "corrija este código." El resultado final es mayormente el mismo, incluso si las preguntas se plantean de manera ligeramente diferente.
"El comportamiento descrito en el documento no puede ser reparado de manera significativa, y cualquier intento solo debilitaría el modelo para la defensa," dijo Moussouris, quien criticó la directiva de control de exportación como apresurada, impositiva y mal guiada.
Moussouris y docenas de otros principales investigadores y expertos en seguridad han llamado desde entonces a la administración de Trump a revocar la orden de control de exportación, llamando peligroso el movimiento de retirar capacidades avanzadas de ciberseguridad de los defensores de redes en EE. UU.