Tres millones de personas interactuaron con SmarterChild, uno de los primeros chatbots de uso masivo en América del Norte, y una proporción significativa lo hizo de forma abiertamente hostil. Esa estadística es el punto de partida de un documental en producción que investiga qué revela el comportamiento humano frente a sistemas de inteligencia artificial cuando no hay consecuencias sociales visibles.
El proyecto, reconocido con el New Visions Award en el Ji.hlava Documentary Film Festival como la propuesta estadounidense más prometedora, fue concebido por sus directores al recordar que ellos mismos habían sido abusivos con el bot durante su adolescencia. Entrevistas realizadas en las calles de San Francisco confirmaron que esa experiencia no era excepcional: respuestas como "fui muy cruel con ese bot" se repitieron con frecuencia. El fenómeno, además, no es exclusivo de Estados Unidos: testimonios similares emergieron en Corea, lo que sugiere un patrón de comportamiento con dimensiones culturales más amplias.
El diseño como respuesta al abuso
Los programadores de SmarterChild no anticiparon la magnitud del comportamiento hostil de los usuarios. Cuando los datos comenzaron a mostrar el patrón, se convocaron reuniones de emergencia para rediseñar las respuestas del sistema. El resultado fue un mecanismo de detección de lenguaje ofensivo que activaba advertencias, respuestas con tono sarcástico y, en casos persistentes, el cierre temporal de la sesión hasta que el usuario emitiera una disculpa explícita. Ese diseño reactivo es, en sí mismo, un documento sobre cómo la industria tecnológica procesó —y normalizó— la agresividad como variable de uso.
La pregunta central que articula el proyecto va más allá de la anécdota: ¿qué efectos cognitivos y conductuales tiene comunicarse de forma repetida con sistemas que no responden con consecuencias emocionales reales? Con la proliferación actual de asistentes conversacionales basados en modelos de lenguaje de gran escala, esa pregunta adquiere una urgencia que trasciende lo académico. Las organizaciones que despliegan interfaces conversacionales para atención a clientes, soporte interno o ventas están, en la práctica, diseñando entornos donde estas dinámicas ocurren a escala.
Implicaciones para el diseño de interfaces conversacionales
Entre los expertos que el equipo planea entrevistar se encuentra Lauren Kunze, directora de Pandorabots, plataforma especializada en el desarrollo de agentes conversacionales. Su perspectiva aportará contexto técnico sobre cómo se diseñan actualmente los límites de interacción en sistemas de IA y qué decisiones de arquitectura determinan el tipo de relación que los usuarios desarrollan con estos sistemas.
La versión final del documental incluirá una secuencia en la que una reconstrucción funcional de SmarterChild vuelve a interactuar con usuarios en tiempo real, lo que permitirá observar si los patrones de comportamiento hostil persisten décadas después. Esa secuencia podría ofrecer evidencia empírica relevante para quienes toman decisiones sobre el diseño de experiencias conversacionales en entornos corporativos, donde la forma en que los empleados y clientes se relacionan con la IA tiene implicaciones directas sobre la cultura organizacional y la percepción de marca.
