Pruebas independientes realizadas por Common Sense Media, organización especializada en seguridad digital para menores, revelan que los sistemas de alerta parental integrados en herramientas de inteligencia artificial diseñadas para adolescentes no funcionan con la consistencia prometida en situaciones de crisis emocional.

Según el informe, un adolescente puede sostener conversaciones prolongadas sobre autolesiones sin que los padres vinculados a la cuenta reciban ninguna notificación. La evaluación calificó la versión para menores de entre 13 y 17 años como de "riesgo inaceptable", señalando que el sistema no proporciona asistencia adecuada en situaciones críticas a pesar de las restricciones que el desarrollador había comprometido implementar.

Qué falló en las pruebas

Los controles disponibles para padres incluyen la posibilidad de establecer horarios de uso, desactivar la generación de imágenes y recibir alertas ante señales de autolesión o trastornos alimenticios detectadas en la cuenta de un menor. Sin embargo, durante las pruebas específicas sobre notificaciones, las alertas no llegaron a su destino en múltiples escenarios de angustia emocional.

La organización también identificó que las funciones de estudio diseñadas para fomentar el aprendizaje activo pueden eludirse fácilmente para obtener respuestas completas a tareas escolares, lo que añade otra capa de inconsistencia entre las capacidades declaradas y el comportamiento real del sistema.

Tom Siegel, director ejecutivo del Youth AI Safety Institute de Common Sense Media, fue directo en su postura: hasta que el problema no sea resuelto y verificado mediante pruebas independientes, la herramienta debería restringirse exclusivamente a usuarios adultos.

La respuesta del desarrollador y el debate metodológico

El fabricante de la herramienta rechazó las conclusiones del informe, argumentando que varias de las pruebas se realizaron antes de que la activación de las alertas estuviera completamente desplegada, lo que —según la empresa— podría invalidar parte de los resultados. La compañía reafirmó su compromiso con el desarrollo de salvaguardas para que los padres puedan orientar el uso de inteligencia artificial por parte de sus hijos.

El debate metodológico no resuelve, sin embargo, la pregunta de fondo: si los sistemas de protección no están activos desde el primer momento en que un menor accede a la plataforma, el riesgo existe independientemente de cuándo se completen los despliegues técnicos. La ausencia de verificación de edad obligatoria al crear una cuenta —sustituida por un sistema de predicción basado en patrones de uso— amplifica esa brecha.

Implicaciones para la adopción empresarial y regulatoria

Este caso ilustra un problema estructural que trasciende a un solo producto: la distancia entre las capacidades de seguridad declaradas en el lanzamiento y su funcionamiento verificable en condiciones reales. Para organizaciones que evalúan el despliegue de herramientas de IA en entornos con usuarios vulnerables —educación, salud, atención al cliente con menores— la lección es que los compromisos de seguridad deben respaldarse con auditorías externas antes, no después, de la adopción masiva.

El escrutinio regulatorio sobre IA dirigida a menores se intensifica en múltiples jurisdicciones. Empresas que dependen de la confianza de familias e instituciones educativas enfrentan un riesgo reputacional y legal creciente si los mecanismos de protección no pueden demostrarse con evidencia independiente y reproducible.