Google DeepMind está preocupado por lo que pasará cuando millones de agentes comiencen a interactuar
Para abordar esto, Google DeepMind —que convirtió las herramientas basadas en agentes en el centro de atención de Google I/O el mes pasado— se ha asociado con varias organizaciones para anunciar un fondo de financiamiento de $10 millones destinado a investigadores para estudiar el comportamiento de sistemas multiagente y encontrar formas de prevenir escenarios peligrosos. Junto a Google DeepMind están Schmidt Sciences, una fundación filantrópica creada por Eric y Wendy Schmidt; ARIA, la agencia de proyectos ambiciosos del gobierno del Reino Unido; la Fundación de Inteligencia Artificial Cooperativa, una organización de investigación sin fines de lucro con sede en el Reino Unido; y el brazo benéfico de Google, Google.org.
Le pregunté a Shah y James Fox, quien dirige el programa Ciencia de la IA Confiable en Schmidt Sciences, qué esperan lograr con esos $10 millones. No es una cantidad pequeña, pero palidece en comparación con los presupuestos manejados por los propios equipos de investigación de Google DeepMind.
El objetivo es impulsar la investigación fuera de las empresas de tecnología, según Shah: "La fortaleza de la academia es que puede mirar muy lejos hacia el futuro y hacer el tipo de trabajo que no es prioritario en los laboratorios de la industria."
"El problema principal es que simplemente no existe realmente un campo de investigación para la seguridad multiagente todavía", añade. "Y nos gustaría que existiera."
La preocupación es que conforme se desplieguen más y más agentes de IA y comiencen a trabajar juntos, podríamos llegar a un punto crítico donde los escenarios imaginados se conviertan en realidad. "Vemos esto con la humanidad también", dice Shah. "Nuestras instituciones pueden lograr cosas que ningún humano individual puede."
Shah cree que tenemos algunos meses más antes de que los agentes se desplieguen en toda la economía en números que hagan que los riesgos potenciales sean una preocupación real. Quiere adelantarse a ese momento.
Negocios riesgosos
¿De qué riesgos estamos hablando exactamente? Las posibilidades que Shah y Fox tienen en mente se reducen principalmente a versiones potenciadas de cosas malas que ya suceden en internet: estafas, inyecciones de indicaciones (donde se alimenta a un agente de IA con instrucciones maliciosas, convirtiéndolo en malware autónomo), otras formas de ciberataque. Miramos lo que hacen los humanos ahora y nos preguntamos cuál sería la versión de agente de eso, dice Shah.
