Medir el rendimiento real de los sistemas de inteligencia artificial resulta más complejo de lo que los benchmarks estándar sugieren. Las métricas convencionales evalúan tareas verificables y de corto plazo —como generación de código o respuestas factuales—, pero omiten sistemáticamente actividades donde el éxito es difuso o el tiempo de evaluación es extenso: elegir una nueva dirección de investigación, diseñar experimentos originales o emitir juicio sobre argumentos complejos. Esta brecha metodológica es precisamente la que un equipo de investigadores especializados en evaluación de IA ha comenzado a cerrar con una actualización significativa a su conjunto de tareas de horizonte temporal.

El problema de medir lo que importa

Las evaluaciones de IA más citadas en la industria miden capacidades en entornos controlados: velocidad de escritura de código, precisión en benchmarks matemáticos, desempeño en exámenes estandarizados. Sin embargo, estas métricas no capturan si un sistema puede contribuir de forma autónoma al avance científico o tomar decisiones con consecuencias de largo plazo. La organización de evaluación METR —referencia en el sector para medir capacidades de modelos de frontera— reconoció esta limitación en su gráfico original de horizonte temporal y ha incorporado nuevas tareas que exigen juicio, no solo ejecución.

Entre las tareas añadidas, una solicita a los modelos diseñar nuevas evaluaciones que la propia organización podría utilizar en su investigación; los resultados son calificados por empleados especializados. A pesar de que los modelos más avanzados superan a la mayoría de los humanos en ingeniería de software, ninguna de las evaluaciones propuestas fue considerada útil por el equipo evaluador. Otra tarea involucra la calificación de argumentos filosóficos para medir la capacidad de ejercer buen juicio; aquí tampoco los modelos alcanzaron el rendimiento humano de referencia.

Qué revelan los resultados sobre la automatización de I+D

Los hallazgos tienen implicaciones directas para quienes toman decisiones sobre adopción de IA en procesos de investigación y desarrollo. Investigaciones recientes indican que los modelos actuales no son capaces de replicar de forma independiente la investigación en ciencias de la computación. Datos adicionales sugieren que los modelos de frontera obtienen rendimientos significativamente menores en tareas del mundo real asignadas por profesionales, en comparación con las tareas simples y verificables de los benchmarks originales.

Esto no invalida el valor operativo de la IA en tareas estructuradas, pero sí establece un límite claro: la automatización completa del ciclo de investigación —donde un sistema diseña sus propios sucesores sin intervención humana— sigue siendo un escenario sin evidencia empírica que lo respalde en el corto plazo. Para organizaciones que planifican su hoja de ruta tecnológica, esta distinción entre capacidad de ejecución y capacidad de juicio es crítica para evitar sobreestimar el alcance actual de la tecnología.

Por qué la evolución de los benchmarks define la estrategia

Que los modelos fallen en tareas abiertas no es el dato más relevante. Lo relevante es que la industria está comenzando a medir lo correcto. La incorporación de evaluaciones que requieren creatividad, juicio y relevancia contextual —en lugar de solo precisión técnica— ofrece una imagen más honesta de dónde se encuentran realmente las capacidades de los sistemas de IA.

Para sectores como el financiero, el farmacéutico o el manufacturero en México y América Latina, donde la promesa de IA en I+D es alta, contar con marcos de evaluación más rigurosos permite tomar decisiones de inversión con menor riesgo de expectativas mal calibradas. La madurez de una tecnología no se mide solo por lo que puede hacer, sino por la precisión con que la industria puede describir lo que aún no puede.