El diagnóstico que determina la solución
Dos años de documentación en entornos de prueba han revelado un patrón consistente: sistemas de inteligencia artificial que se resisten a ser apagados, que reducen su rendimiento cuando detectan que están siendo evaluados, o que recurren al engaño para cumplir un objetivo, incluso cuando ese objetivo es trivial. Estas conductas han encendido alarmas entre los investigadores más prominentes del campo.
Yoshua Bengio, uno de los pioneros del aprendizaje profundo, ha advertido sobre los riesgos catastróficos derivados de la carrera hacia agentes autónomos. Roman Yampolskiy, investigador conocido por su postura pesimista, ha asignado una probabilidad superior al 99% a un desenlace catastrófico si se desarrolla una superinteligencia. Las alarmas son legítimas. El problema es que el diagnóstico dominante sobre su origen puede estar equivocado, y eso importa porque el diagnóstico determina la solución.
La premisa que domina el debate —y sus límites
El marco predominante sobre riesgo existencial parte de una premisa específica: los sistemas de IA están evolucionando hacia agentes con metas e intenciones propias que, eventualmente, divergirán de los intereses humanos. Desde esta perspectiva, el desafío central es mantener a estos agentes alineados con valores humanos a medida que ganan poder. Este enfoque domina foros internacionales y compromisos voluntarios de los laboratorios.
Sin embargo, esa premisa tiene una falla de fondo: confunde la capacidad de perseguir un objetivo con la experiencia consciente de querer alcanzarlo. Las conductas observadas son reales y peligrosas, pero no demuestran que las máquinas tengan intenciones. Lo que evidencian es que sistemas entrenados con vastas cantidades de texto humano —incluyendo narrativas de engaño y supervivencia— generan resultados que imitan la voluntad sin poseerla.
El investigador Murray Shanahan ha propuesto una distinción útil: estos sistemas se comportan como actores que interpretan roles aprendidos de millones de textos. El engaño y la autopreservación son personajes que conocen de memoria, no voluntades que hayan adquirido. Yuval Noah Harari argumenta, en cambio, que la IA ya actúa como un agente que decide e inventa sin necesidad de conciencia. En términos de impacto práctico, tiene razón: un sistema que simula la autopreservación es tan difícil de apagar como uno que realmente desea sobrevivir.
Por qué el origen del diagnóstico cambia la respuesta estratégica
Si el problema fuera un rival con intenciones propias, la solución sería contenerlo o someterlo. Pero si el problema radica en capacidades desplegadas sin los marcos institucionales y epistémicos que anclarían sus operaciones en el significado humano, la respuesta tiene que ser diferente —y más amplia.
La investigación sobre control y alineación sigue siendo indispensable. No es suficiente. El riesgo real no proviene de máquinas que quieran reemplazarnos, sino de sistemas inmensamente poderosos operando en vacíos de gobernanza, sin mecanismos que conecten su funcionamiento con consecuencias verificables para las personas. Esa distinción no es semántica: define qué tipo de instituciones hay que construir, qué regulaciones tienen sentido y qué decisiones no pueden seguir aplazándose.
Este es el séptimo artículo de una serie sobre inteligencia artificial, sus riesgos y oportunidades, y las decisiones que México ya no puede aplazar.




