Jakub Pachocki, científico jefe de OpenAI, publicó recientemente una propuesta técnica que plantea usar la métrica perplexity como estándar compartido para medir y eventualmente limitar el ritmo de avance de los modelos de inteligencia artificial. La iniciativa surge en un contexto de presión creciente dentro del sector: exinvestigadores de OpenAI y Anthropic han advertido públicamente que el desarrollo acelerado y sin marcos de contención representa riesgos sistémicos que la industria aún no ha resuelto.
La perplexity evalúa qué tan bien un modelo predice el siguiente token en una secuencia de texto: a menor valor, mayor precisión predictiva. Pachocki argumenta que esta métrica supera a los criterios basados en capacidades finales —que han quedado obsoletos con rapidez ante la velocidad del progreso— porque ofrece una señal continua, cuantificable y comparable entre modelos. En su análisis, presenta datos históricos de los modelos de OpenAI: GPT-4 registró un valor cercano a 0.91, nivel en el que emergió el razonamiento en cadena productivo. Al caer por debajo de 0.8, se observaron capacidades transformadoras en ciberseguridad y matemáticas avanzadas.
Una métrica, un acuerdo posible
La propuesta de Pachocki no es solo técnica: tiene una dimensión de gobernanza. Si la industria adopta la perplexity como referencia común, las empresas podrían comprometerse a no superar un umbral determinado hasta alcanzar avances verificables en la comprensión y el monitoreo del comportamiento de los modelos. Este tipo de acuerdo —similar en lógica a los tratados de control de armamentos— requeriría coordinación entre competidores directos, algo que Dario Amodei, de Anthropic, ya ha impulsado al proponer normas de seguridad comunes para el sector.
La viabilidad del acuerdo depende, en gran medida, de que la métrica sea aceptada como neutral y verificable por actores con intereses divergentes. Ese es precisamente el desafío central: la perplexity es una medida interna de los modelos, lo que significa que su reporte honesto dependería de la transparencia voluntaria de cada empresa, a menos que se establezcan mecanismos de auditoría externos.
Implicaciones para mercados en expansión
Para organizaciones en México y América Latina que están integrando IA en operaciones críticas —desde análisis financiero hasta automatización de procesos— este debate tiene consecuencias directas. La ausencia de estándares globales de desarrollo genera incertidumbre regulatoria: las capacidades que hoy se consideran seguras pueden quedar obsoletas en meses, y las decisiones de adopción tecnológica tomadas sin ese contexto exponen a las empresas a riesgos de cumplimiento y reputación.
Si la industria logra consensuar un umbral basado en perplexity, el resultado sería un marco de referencia que permitiría a reguladores, auditores y equipos de tecnología evaluar en qué punto del espectro de riesgo se encuentra un modelo antes de desplegarlo. Eso convertiría una métrica técnica en una herramienta de decisión estratégica con alcance mucho más amplio que el laboratorio.




