Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarMETR→ original

METR: la longitud de las tareas que un agente de IA resuelve con un 50% de probabilidad se duplica cada 3,6 meses

¿Cuánto trabajo complejo puede sacar adelante un agente de IA por sí solo? METR lo mide en horas de trabajo humano: si a un ingeniero una tarea le lleva medio día y el agente la resuelve en la mitad de los intentos, ese es su «horizonte». En modelos hasta Opus 5.5 y GPT-6 Astra, el horizonte se duplica aproximadamente cada 3,6 meses. Por eso, las tareas con una verificación clara pueden delegarse a agentes con más confianza, mientras que las soluciones sin una verificación rápida conviene dejarlas en manos de personas.

Procesado por IA desde METR; editado por Hamidun News
METR: la longitud de las tareas que un agente de IA resuelve con un 50% de probabilidad se duplica cada 3,6 meses
Fuente: METR. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalMETR ↗
Editor jefe
Dato clave #1Una tarea que cuesta el doble de desarrollar reduce, aproximadamente a la mitad, el horizonte del agente.
Dato clave #2Los modelos juez sobrevaloran los trabajos hechos por un modelo igual de fuerte.
Dato clave #3Un enjambre de agentes supera a la mejor de las respuestas individuales solo en tareas con verificación rápida.

Imagine que le asigna una tarea a un junior y necesita saber qué parte del trabajo será capaz de completar por su cuenta y dónde tendrá que intervenir. Con los agentes de IA, los investigadores tienen el mismo problema, solo que medirlo es cada vez más difícil. La organización METR, que evalúa las capacidades de los modelos, publicó un extenso informe de noviembre de 2026 sobre modelos públicos, entre ellos Opus 5.5 y GPT-6 Astra. La idea principal: las capacidades que importan para acelerar el propio desarrollo de la IA crecen rápido, y medirlas resulta cada vez más complicado.

Qué es el «horizonte de tareas», con un ejemplo sencillo

La métrica se llama time horizon, «horizonte temporal». Se toma una tarea y se calcula cuánto tiempo le llevaría a una persona experimentada. Supongamos que medio día. Si un agente completa ese tipo de tareas en el 50% de los intentos, su horizonte al 50% es de medio día. Cuanto mayor sea este indicador, más largos e independientes son los bloques de trabajo que se le pueden confiar.

Antes, METR usaba esta métrica para medir las capacidades agénticas de la IA en ingeniería de software. Ahora, el antiguo conjunto de tareas TH1.1 se queda corto: los modelos ya lo dominan casi por completo. Por eso, los investigadores lo combinaron con un nuevo conjunto más difícil, TH2. En el conjunto combinado, el horizonte se duplica aproximadamente cada 3,6 meses. Debido a la dificultad de TH2, el horizonte absoluto de cualquier modelo en el conjunto común es menor que en TH1.1 por separado.

Hay un matiz. En la parte verificable de TH2, sin TH1.1, la duplicación ocurre más deprisa. Puede que la aceleración reciente esté oculta dentro de la tendencia general. Pero METR advierte de que las explicaciones podrían ser otras. OpenAI señaló recientemente un ritmo similar para sus tareas internas de investigación.

Dónde los agentes destacan y dónde juzgan peor que las personas

Allí donde una tarea tiene una métrica clara y retroalimentación rápida, como la optimización de código, los modelos suelen no quedarse atrás de los expertos humanos. Cuando METR reclutó a sus propios ejecutores para comparar, normalmente no logró encontrar personas que superaran a los modelos de vanguardia. Donde la organización contaba con datos de diez o más especialistas, los modelos quedaban en un percentil muy alto, aunque sin llegar a la cima.

La situación cambia cuando hay que decidir sin una señal clara. Por ejemplo, cuando las pruebas dicen poco sobre si la solución funcionará en otras condiciones, o cuando la verificación lleva mucho tiempo. En esas tareas, el juicio de los agentes es peor que el de los expertos. En un ejemplo, los modelos juez sobrevaloraron la calidad del resultado cuando lo había producido un modelo igual o más fuerte. En la práctica, esto significa que la evaluación automática por un «modelo juez» tiende a elogiar a sus pares.

Además, METR introdujo el indicador de «coste del ciclo de vida»: cuánto cuesta idear una tarea, ejecutarla y verificarla. Las tareas realistas suelen ser más caras. Según METR, duplicar ese coste, con la misma longitud de tarea, equivale aproximadamente a reducir a la mitad el horizonte del agente. Al mismo tiempo, el ritmo de progreso en tareas baratas y caras es parecido, e incluso en las más caras los resultados mejoran con el tiempo.

Qué mostraron las pruebas y qué hacer en la práctica

Para tener una visión de conjunto, METR construyó un índice resumen, MCI. Se basa en la técnica estadística IRT, similar a la que sustenta el Epoch Capabilities Index. En la frontera pública no se observa una aceleración o desaceleración fuerte según este índice. Para desarrolladores concretos hay indicios poco firmes de un cambio de pendiente en la curva, pero el resultado es sensible a las decisiones metodológicas, y la propia METR no está segura de su fiabilidad.

Entre las pruebas de robustez, los investigadores buscaron el hackeo de métricas (reward hacking) y los fallos de los modelos. También evaluaron enjambres de agentes. Frente a elegir la mejor de varios intentos independientes, los enjambres ayudan en tareas verificables con una métrica clara y retroalimentación rápida. En el resto de tareas, el efecto no está claro o es negativo.

La posición final de METR es cautelosa. Los datos públicos no bastan para descartar una aceleración brusca del desarrollo de la IA en los próximos dos años. Por ello, la organización entiende una situación en la que las capacidades crecen tan rápido que las personas ya no pueden comprender con sentido los nuevos sistemas, evaluarlos ni responder a riesgos catastróficos.

Qué implica esto para los equipos:

  • Las tareas con verificación clara, por ejemplo la optimización de código según una métrica medible, pueden delegarse a agentes con más confianza.
  • Las soluciones sin retroalimentación rápida conviene mantenerlas bajo el control de expertos.
  • No confíe solo en un modelo juez, sobre todo si evalúa el trabajo de un modelo del mismo nivel.
  • Active enjambres de agentes donde el resultado se pueda verificar rápidamente.

También hay limitaciones. Se trata de un informe de la propia organización evaluadora, no de una auditoría independiente. METR califica de poco firmes algunas conclusiones, incluidas las tendencias por desarrollador. Además, el texto original del que disponemos está truncado: los detalles de la metodología y de los anexos permanecen en la versión completa del informe.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué es el «horizonte de tareas», con un ejemplo sencillo?

La métrica se llama time horizon, «horizonte temporal». Se toma una tarea y se calcula cuánto tiempo le llevaría a una persona experimentada. Supongamos que medio día. Si un agente completa ese tipo de tareas en el 50% de los intentos, su horizonte al 50% es de medio día. Cuanto mayor sea este indicador, más largos e independientes son los bloques de trabajo que se le pueden confiar. Antes, METR usaba esta métrica para medir las capacidades agénticas de la IA en ingeniería de software.

Dónde los agentes destacan y dónde juzgan peor que las personas?

Allí donde una tarea tiene una métrica clara y retroalimentación rápida, como la optimización de código, los modelos suelen no quedarse atrás de los expertos humanos. Cuando METR reclutó a sus propios ejecutores para comparar, normalmente no logró encontrar personas que superaran a los modelos de vanguardia. Donde la organización contaba con datos de diez o más especialistas, los modelos quedaban en un percentil muy alto, aunque sin llegar a la cima. La situación cambia cuando hay que decidir sin una señal clara.

¿Qué se sabe sobre Qué mostraron las pruebas y qué hacer en la práctica?

Para tener una visión de conjunto, METR construyó un índice resumen, MCI. Se basa en la técnica estadística IRT, similar a la que sustenta el Epoch Capabilities Index. En la frontera pública no se observa una aceleración o desaceleración fuerte según este índice. Para desarrolladores concretos hay indicios poco firmes de un cambio de pendiente en la curva, pero el resultado es sensible a las decisiones metodológicas, y la propia METR no está segura de su fiabilidad.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…