Un error en los sistemas de seguridad de Discord ha estado bloqueando cuentas incorrectamente desde mayo.
{ "title": "Fallo en moderación automatizada con IA bloquea miles de cuentas por falsos positivos", "subtitle": "Un error en los sistemas de detección de contenido dañino afectó aproximadamente 8,200 cuentas durante dos meses, expone los riesgos operativos de depender de IA sin supervisión humana efectiva.", "content": "Aproximadamente 8,200 cuentas de…
{ "title": "Fallo en moderación automatizada con IA bloquea miles de cuentas por falsos positivos", "subtitle": "Un error en los sistemas de detección de contenido dañino afectó aproximadamente 8,200 cuentas durante dos meses, expone los riesgos operativos de depender de IA sin supervisión humana efectiva.", "content": "Aproximadamente 8,200 cuentas de usuarios fueron bloqueadas de forma incorrecta entre mayo y julio de 2026 debido a un fallo en los sistemas de moderación automatizada de Discord, la plataforma de comunicación con más de 500 millones de usuarios registrados. El error fue identificado públicamente tras afectar a cerca de 200 cuentas adicionales en un solo fin de semana, lo que aceleró la respuesta del equipo de soporte.
El origen del problema se ubicó en el módulo de clasificación de imágenes: las publicaciones que contenían cuadros de cuadrícula —desde hojas de cálculo hasta tableros de ajedrez o capturas de inventario en videojuegos— fueron erróneamente catalogadas como material de abuso sexual infantil (CSAM, por sus siglas en inglés). Discord emplea herramientas de moderación basadas en inteligencia artificial que comparan el contenido publicado contra bases de datos de material dañino conocido. Sin embargo, el sistema presentó una tasa de falsos positivos que derivó en sanciones automáticas contra usuarios sin actividad ilícita.
El caso expone una vulnerabilidad estructural en los flujos de moderación con IA a escala. Según explicó el propio equipo de Confianza y Seguridad de Discord, el proceso previsto contemplaba que las cuentas marcadas fueran revisadas por un operador humano antes de ejecutar cualquier acción. "El comportamiento previsto es pausar temporalmente las cargas durante esa revisión, no prohibir la cuenta", señalaron. "Tuvimos un error que causó lo último. Cuando nuestro personal revisó y despejó esas cuentas, el mismo error impidió que la prohibición se levantara automáticamente". Para los equipos de tecnología y cumplimiento, este incidente ilustra que los sistemas de moderación automatizada requieren mecanismos de reversión robustos y auditorías periódicas, no solo capas de revisión humana. Discord ha comprometido la reinstalación inmediata de todas las cuentas afectadas y trabaja en reforzar las salvaguardias del sistema para evitar recurrencias.
