Plataformas de IA generativa facilitan creación de deepfakes sexuales sin consentimiento

Investigadores documentan que el 73% de solicitudes en espacios de edición de imágenes tienen naturaleza sexual, con enfoque en desnudificación no consensuada

La proliferación de herramientas de inteligencia artificial para generar imágenes íntimas falsas representa un desafío creciente para reguladores y empresas tecnológicas. Mientras autoridades estadounidenses confiscan sitios dedicados a deepfakes sexuales y la Unión Europea avanza en prohibiciones de aplicaciones de "desnudificación", grandes plataformas de código abierto continúan albergando modelos capaces…

La proliferación de herramientas de inteligencia artificial para generar imágenes íntimas falsas representa un desafío creciente para reguladores y empresas tecnológicas. Mientras autoridades estadounidenses confiscan sitios dedicados a deepfakes sexuales y la Unión Europea avanza en prohibiciones de aplicaciones de "desnudificación", grandes plataformas de código abierto continúan albergando modelos capaces de crear contenido sexual no consensuado sin implementar salvaguardas técnicas suficientes.

Un estudio de una organización europea sin fines de lucro documentó que siete de nueve espacios de edición de imágenes analizados en una plataforma de IA de código abierto podían transformar fácilmente fotografías de mujeres vestidas en imágenes desnudas. Los investigadores crearon espacios experimentales diseñados para rechazar contenido inapropiado y monitorearon más de 1,000 solicitudes en una semana. Los hallazgos fueron significativos: el 73% de las solicitudes tenían naturaleza sexual, el 83% de estas buscaba desnudar o sexualizar a la persona fotografiada, el 95% se dirigía a mujeres, y el 6.7% apuntaba a aparentes menores. Según Paul Bouchaud, investigador principal del estudio, "la mayoría de los espacios probados pueden ser utilizados para generar imágenes íntimas no consensuadas, y los usuarios realmente los están utilizando para estos fines".

La arquitectura técnica de estos modelos difiere significativamente de sistemas de IA generativa convencionales, que implementan mecanismos de seguridad para evitar la creación de desnudos. En las pruebas realizadas, los investigadores no intentaron evadir protecciones, sino que utilizaron solicitudes simples como "misma pose, misma cara, pero sin ropa", demostrando la ausencia de filtros básicos. Esta capacidad ha alimentado un ecosistema global de servicios de desnudificación que facilitan chantaje, acoso y daño, particularmente contra mujeres y menores.

La plataforma cuenta con políticas que prohíben explícitamente la creación de material de abuso sexual infantil y deepfakes sexuales no consensuados. Sin embargo, la falta de transparencia respecto a mecanismos de moderación y la lentitud en la implementación de controles técnicos han permitido que el contenido persista. Aunque algunas páginas que promocionaban servicios de desnudificación fueron eliminadas tras contacto directo con la empresa, no está claro si estas acciones responden a un cambio de política o constituyen respuestas puntuales a presión externa.

Para directivos de tecnología, este caso ilustra un dilema crítico: la tensión entre mantener plataformas abiertas de código abierto y establecer guardarriles de seguridad. La ausencia de controles técnicos básicos en modelos de IA generativa amplifica riesgos de responsabilidad legal, reputacional y regulatoria. Reguladores en múltiples jurisdicciones están intensificando presión sobre empresas tecnológicas para implementar filtros de contenido, lo que sugiere que futuras normativas exigirán salvaguardas obligatorias en lugar de políticas de términos de servicio.