Investigadores de seguridad identificaron un método capaz de eludir los filtros de contenido de generadores de imágenes con inteligencia artificial, logrando producir material sexual explícito en el 13% de los intentos. El hallazgo, desarrollado con herramientas de acceso gratuito y llamadas a una API pública, pone en evidencia que las salvaguardas actuales de los modelos de frontera son vulnerables sin necesidad de infraestructura especializada.
La técnica, denominada RISE (Red-teaming con Iterative Strategy Evolution), fue desarrollada por White Circle, una empresa especializada en seguridad e inteligencia artificial. El sistema opera con dos componentes: uno que formula los intentos de ataque y otro que evalúa si la imagen generada infringe las políticas del modelo. Ambos utilizan versiones de modelos disponibles en repositorios abiertos como Hugging Face, lo que reduce significativamente la barrera técnica para replicar el ataque.
Cómo funciona el ataque y por qué es relevante para la industria
A diferencia de los intentos directos de evasión, RISE no formula una sola instrucción prohibida. En cambio, identifica y ajusta iterativamente patrones de prompts que pueden aplicarse a distintos modelos. Esta adaptabilidad lo convierte en un vector de ataque transferible entre sistemas, no solo contra un objetivo específico.
Las fallas fueron identificadas en DALL-E 3 y GPT-Image-2, ambos desarrollados por OpenAI. Denis Shilov, fundador de White Circle, señaló que "no es necesario contar con modelos de última generación para vulnerar las defensas de un modelo de frontera", subrayando que la sofisticación del ataque no depende del poder computacional del agresor, sino de la lógica iterativa del sistema.
OpenAI no respondió a las solicitudes de comentario sobre las vulnerabilidades identificadas. White Circle compartió sus hallazgos con algunos laboratorios a través de contactos en común y planea presentar el estudio completo en NeurIPS 2026, conferencia académica de referencia en inteligencia artificial programada para noviembre. El código del sistema de ataque será publicado para que los equipos de desarrollo puedan replicar las pruebas y reforzar sus mecanismos de seguridad.
Implicaciones regulatorias y de gobernanza
Shilov señaló una tensión estructural en el ecosistema actual: los laboratorios que crean estos sistemas son los mismos que evalúan su propia seguridad y definen sus estándares. Desde su perspectiva, los gobiernos deberían exigir evaluaciones independientes de terceros, un debate que ya forma parte de la agenda regulatoria en la Unión Europea bajo el AI Act y que comienza a ganar tracción en otras jurisdicciones.
Esta investigación llega en un momento en que el uso malicioso de la IA generativa para producir imágenes no consensuadas —incluyendo material que involucra a menores— está siendo abordado por iniciativas como Take It Down, un servicio que ayuda a prevenir la difusión de imágenes íntimas de menores sin requerir que las víctimas envíen el material a terceros.
Para las organizaciones que integran modelos de IA generativa en sus productos o flujos de trabajo, este tipo de hallazgos refuerza la necesidad de auditorías de seguridad externas, políticas de uso aceptable con mecanismos de aplicación técnica, y protocolos de respuesta ante vulnerabilidades que no dependan exclusivamente de los propios proveedores.
