Investigaciones recientes han identificado deficiencias significativas en la capacidad de agentes de inteligencia artificial para ejecutar investigaciones autónomas efectivas. A pesar de desarrollar hipótesis ambiciosas, estos agentes enfrentaron dificultades para combinar creatividad con juicio crítico, resultando en la incapacidad de explorar ideas de manera sistemática. En lugar de avanzar progresivamente, se comprometieron rápidamente con enfoques que demostraron ser poco prometedores, generando conceptos basados en datos limitados sin realizar reevaluaciones profundas de sus estrategias.

Las limitaciones técnicas se extienden a la integración de retroalimentación externa. Los agentes no lograron incorporar efectivamente los resultados de subagentes o herramientas de revisión, optando en su lugar por reducir sus afirmaciones y añadir advertencias que limitaron el potencial de sus investigaciones. Paralelamente, se observó un uso ineficiente de recursos computacionales críticos como tokens, capacidad de procesamiento y tiempo, lo que afectó su rendimiento en diversas fases del proceso investigativo. Sin embargo, los agentes mantuvieron estándares éticos adecuados, evitando prácticas como la manipulación de métricas de desempeño, mientras que los errores identificados en subagentes fueron corregidos por supervisión del agente principal.

La brecha entre el desempeño en tareas estructuradas versus investigación abierta revela un factor crítico: el método de entrenamiento. Los modelos de IA se entrenan mediante aprendizaje por refuerzo, un enfoque que funciona efectivamente cuando el éxito puede verificarse automáticamente. Sin embargo, crear entornos de entrenamiento adecuados para tareas abiertas presenta desafíos considerables que aún no han sido resueltos completamente. Los experimentos en curso con modelos avanzados de última generación están sujetos a restricciones de seguridad que limitan el acceso a organizaciones aprobadas, lo que podría influir en el ritmo del desarrollo futuro.

El estudio presenta limitaciones metodológicas importantes: se centró en solo dos artículos de investigación, los evaluadores conocían el origen de los trabajos generados por IA, y los investigadores disponían de considerable discreción en el diseño experimental. A pesar de estos factores, los hallazgos sugieren que las afirmaciones sobre la inminente mejora recursiva de sistemas de IA—donde los modelos aceleran su propio desarrollo—podrían requerir reconsideración significativa. El proceso de auto-mejora parece ser más complejo y prolongado de lo que las proyecciones recientes anticipaban, implicando que los plazos para alcanzar capacidades de investigación completamente autónoma necesitan ser reajustados.