Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarMIT Technology Review→ original

METR actualiza su célebre gráfico de IA: la duración de las tareas se duplica cada 4 meses, pero el criterio sigue fallando

METR ha actualizado el gráfico que mide qué duración de tareas completa la IA por sí sola. La duración se calcula según el tiempo que tarda un humano en hacerlas. Hasta ahora, el horizonte de los modelos de frontera se duplicaba cada cuatro meses, y en programación la tendencia se mantiene. Sin embargo, el personal de METR no consideró útil ni una sola de las pruebas para IA que idearon los modelos. Por tanto, la fortaleza en código no puede trasladarse a tareas que exigen gusto y criterio.

Procesado por IA desde MIT Technology Review; editado por Hamidun News
METR actualiza su célebre gráfico de IA: la duración de las tareas se duplica cada 4 meses, pero el criterio sigue fallando
Fuente: MIT Technology Review. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalMIT Technology Review ↗
Editor jefe
Dato clave #1Cada 4 meses se duplicaba la duración de las tareas al alcance de los modelos
Dato clave #2Ninguna de las pruebas ideadas por la IA resultó útil a los investigadores de METR
Dato clave #3Opus 5.5 llegó a «casi sirve»; hace un año todos eran «claramente peores»

Si ha visto en redes sociales un gráfico con una curva ascendente que dice «la IA hace tareas cada vez más largas», lo más probable es que fuera de METR. Se ha resumido decenas de veces y, con la misma frecuencia, se ha interpretado mal. Ahora, este laboratorio sin ánimo de lucro que evalúa modelos ha publicado una gran actualización. Para quienes construyen productos con agentes, la noticia principal es que la curva en programación no se ha roto, pero en las tareas que requieren criterio los modelos siguen mostrando fallos notables.

Qué muestra realmente este gráfico

La idea es sencilla. METR toma un amplio conjunto de tareas, y todas ellas ya las han resuelto personas. La dificultad de cada tarea se mide por el tiempo que le llevó a un humano completarla. Después se observa qué «duración humana» de tareas es capaz de resolver con éxito un modelo. No es «una hora de trabajo de la IA», sino «una tarea que a un especialista le lleva una hora».

La primera versión del gráfico mostró que cada cuatro meses se duplica la duración de las tareas que resuelven los modelos de frontera. Pero el conjunto tenía un sesgo. Todas las tareas eran de las que permiten verificar el resultado de forma automática: la prueba se supera o no se supera. Y son precisamente esas tareas en las que mejor se entrena a las redes neuronales. El modelo intenta resolver la tarea muchas veces, y el aprendizaje por refuerzo potencia lo que condujo al éxito y debilita lo que condujo al fallo. Por eso la IA es tan fuerte en código y matemáticas, donde una máquina puede comprobar si la solución es correcta.

Qué se ha añadido en la nueva versión

El conjunto actualizado incluye tareas que a un humano le llevan mucho más tiempo, así como tareas más abiertas y sin un criterio de éxito claro. Por ejemplo, se encargó a los modelos que diseñaran nuevas pruebas para evaluar IA que METR pudiera usar en sus propias investigaciones, y el personal de la organización valoró el resultado. Aunque hoy los mejores modelos superan a casi cualquier persona en desarrollo de software, aquí perdieron: ninguna prueba creada por la IA se consideró útil para el trabajo.

En otra tarea, los modelos evaluaban argumentos filosóficos para medir la calidad de su criterio. También aquí quedaron por debajo de los humanos. Los propios investigadores reconocen que dentro de METR se discute hasta qué punto esta tarea guarda relación con la automatización de la investigación en IA.

Aun así, la dinámica es alentadora. Los modelos más recientes, como Opus 5.5, obtienen con más frecuencia la valoración «ligeramente por encima del listón» en las tareas de diseñar pruebas: para las investigaciones de METR todavía es poco, pero ya es un progreso apreciable. Hace un año, todos los modelos caían en la categoría «claramente por debajo del listón».

Por qué importa y dónde están los puntos débiles

El tema genera mucha tensión. A principios de este mes, METR publicó otro informe, muy redactado (con amplias partes censuradas), que decía que la IA puede acelerar aproximadamente al doble el ritmo de desarrollo en Anthropic. Eso despertó el temor de que la compañía esté cerca de la automejora recursiva, en la que la IA diseña a sus propios sucesores. El nuevo informe ni confirma ni desmiente esos temores, pero muestra que, por ahora, los modelos manejan mal justo lo que haría falta para esa automatización: elegir líneas de trabajo y evaluar ideas.

Los expertos citados por MIT Technology Review se muestran cautos. Sayash Kapoor, futuro profesor de UC Berkeley, afirma que ya es hora de que las evaluaciones de IA sean más ingeniosas y considera que el «gusto investigador» (la capacidad de elegir preguntas y experimentos prometedores) es el principal cuello de botella. No le sorprende el fracaso en las tareas abiertas: su preprint de agosto muestra que los modelos todavía no pueden reproducir por sí solos investigaciones humanas en informática.

El miércoles, OpenAI escribió en su blog que sus modelos rinden peor en tareas reales de sus empleados que en las tareas más simples y verificables del conjunto original de METR. Otros especialistas, en cambio, están convencidos de que los modelos entrenados con tareas verificables acabarán dominando también las abiertas.

El nuevo gráfico tiene limitaciones evidentes. El tiempo de ejecución de las tareas más largas es, en su mayor parte, una estimación y no una medición: pagar a personas por cientos de horas de trabajo o encontrar a los pocos expertos cualificados resulta demasiado caro. En la tarea de argumentos filosóficos, la mayoría de los argumentos los evaluó una sola persona, y a los agentes se les juzga por cuánto coincide su opinión con la de ella.

Además, el conjunto contiene pocas tareas abiertas, por lo que es difícil hacer proyecciones a partir de ellas. Matt Putz, de METR, dice sin rodeos que para este tipo de tareas no será posible construir tendencias tan nítidas como para las fáciles de formalizar. Najoung Kim, de la Universidad de Boston, señala que el crecimiento observado dice algo sobre el momento actual, pero que aún no está claro cómo extrapolarlo.

Qué implica esto para quien trabaja con agentes

Si desarrolla agentes para programación, testing u otras tareas con verificación automática, la curva de METR sigue siendo una referencia razonable: el horizonte crece rápido. En cambio, si encarga al agente evaluar ideas, elegir prioridades o diseñar métricas, incluya a una persona en el circuito de revisión. Los resultados en pruebas de código no pueden trasladarse automáticamente a esas tareas. Y al leer cualquier gráfico sobre la «duración de las tareas», recuerde que muestra cuánto tiempo dedica un humano a la tarea, no cuánto tiempo trabaja el modelo.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué muestra realmente este gráfico?

La idea es sencilla. METR toma un amplio conjunto de tareas, y todas ellas ya las han resuelto personas. La dificultad de cada tarea se mide por el tiempo que le llevó a un humano completarla. Después se observa qué «duración humana» de tareas es capaz de resolver con éxito un modelo. No es «una hora de trabajo de la IA», sino «una tarea que a un especialista le lleva una hora». La primera versión del gráfico mostró que cada cuatro meses se duplica la duración de las tareas que resuelven los modelos de frontera.

¿Qué se sabe sobre Qué se ha añadido en la nueva versión?

El conjunto actualizado incluye tareas que a un humano le llevan mucho más tiempo, así como tareas más abiertas y sin un criterio de éxito claro. Por ejemplo, se encargó a los modelos que diseñaran nuevas pruebas para evaluar IA que METR pudiera usar en sus propias investigaciones, y el personal de la organización valoró el resultado. Aunque hoy los mejores modelos superan a casi cualquier persona en desarrollo de software, aquí perdieron: ninguna prueba creada por la IA se consideró útil para el trabajo.

¿Qué se sabe sobre Por qué importa y dónde están los puntos débiles?

El tema genera mucha tensión. A principios de este mes, METR publicó otro informe, muy redactado (con amplias partes censuradas), que decía que la IA puede acelerar aproximadamente al doble el ritmo de desarrollo en Anthropic. Eso despertó el temor de que la compañía esté cerca de la automejora recursiva, en la que la IA diseña a sus propios sucesores.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…