METR obtiene estimaciones de ahorro de tiempo del 4–18 %, pero admite que la medición no es fiable
Al comprar agentes de IA para un equipo, es fácil confundir escribir código rápido con lanzar funcionalidades rápido. METR repitió el experimento con desarrolladores y obtuvo estimaciones de reducción de tiempo del 4–18 %, pero reconoció que no son fiables. Parte de las personas se negaba a trabajar sin IA, y los participantes retenían las tareas que no querían hacer a mano. Por eso es pronto para trasladar estos porcentajes al plan de lanzamientos: primero calcule la revisión, las correcciones y los costes de su propio equipo.
Procesado por IA desde Habr AI; editado por Hamidun News
Un agente escribió en un minuto código que antes llevaba media jornada. Estupendo, siempre que el equipo no dedicara después un día a revisar y corregir. Precisamente esa brecha entre la velocidad de generación y la velocidad del trabajo terminado es lo que METR intentó medir. El experimento repetido dio estimaciones de reducción de tiempo del 4–18 %, pero los investigadores consideraron el resultado poco fiable. Los desarrolladores rechazaban cada vez más participar si ello exigía trabajar sin IA.
Para un líder técnico, el problema práctico es: ¿qué ahorro conviene incluir en plazos y presupuesto? Imagine una migración de API. El agente actualizó decenas de llamadas, una persona comprobó la compatibilidad, corrigió las pruebas y esperó la revisión. Hay que contar todo ese trabajo. Y compararlo con la ejecución manual se complica cuando los participantes excluyen de antemano las tareas que les resultan especialmente desagradables de hacer por sí mismos.
Por qué la comparación quedó sesgada
En el estudio repetido participaron 57 desarrolladores. Según las condiciones del experimento, describían las tareas de antemano y después un sorteo determinaba si se permitía usar IA. Pero entre el 30 y el 50 % de los participantes encuestados dijeron que retenían algunas tareas: no querían que se les prohibiera la ayuda del modelo. Al mismo tiempo, resultó más difícil reclutar a personas dispuestas a trabajar sin ella.
Esto genera un sesgo incluso antes de medir. Supongamos que un desarrollador entrega gustoso al sorteo un pequeño error en un módulo conocido, pero deja la actualización masiva de archivos similares al agente, fuera del experimento. Los investigadores medirán bien el primer trabajo, pero casi nada sabrán del segundo. El beneficio esperado de la IA influye en qué llega siquiera al cronómetro.
En los participantes que repetían, la estimación de reducción de tiempo fue del 18 %; en los nuevos, del 4 %. Además, los intervalos de confianza admiten también una ralentización. Los autores consideran posible que el beneficio esté subestimado por la selección, pero estos datos no establecen el tamaño exacto del efecto. Los detalles se publicaron en el informe de METR del 24 de febrero de 2026. El resumen de noviembre debe leerse teniendo en cuenta esta fecha: se trata del resultado de un experimento anterior.
Negarse a trabajar a mano no demuestra aceleración
En el material original, la reticencia a prescindir de la IA se presenta casi como un voto a favor de su eficacia. Es una reacción comprensible, pero insuficiente para calcular la productividad. Una persona puede valorar la herramienta por el menor cansancio, por poder abordar tareas desagradables o por la comodidad de buscar en el código. Todo eso es útil, pero por sí solo no muestra cuánto antes saldrá una versión.
Las preferencias tienen un valor de producto propio. Si el asistente elimina la rutina y hace más llevadera la jornada, es un argumento razonable para comprarlo. Solo que el responsable debe tratar por separado la comodidad, la calidad y los plazos. De lo contrario, la promesa de ahorro se convierte sin darse cuenta en la exigencia de cerrar más tickets, aunque el equipo había adquirido la posibilidad de cansarse menos.
Tampoco puede trasladarse el resultado del primer trabajo de METR a cualquier equipo actual. Entonces, 16 participantes con experiencia realizaron 246 tareas en proyectos conocidos, y el uso de IA aumentó el tiempo un 19 %. Es una advertencia importante sobre la distancia entre la percepción y la medición, pero las herramientas concretas, las tareas y la experiencia de los participantes limitan la aplicabilidad del resultado. No se deduce que todo agente frene hoy a todo desarrollador.
Con agentes paralelos aparece un problema de contabilidad aparte. Mientras uno cambia código, la persona atiende otro ticket y un segundo agente ejecuta pruebas. Han pasado cuarenta minutos: ¿cuánto corresponde a la primera tarea? Sin una regla elegida de antemano, los equipos obtienen fácilmente informes vistosos pero incomparables. El tiempo activo de la persona y el plazo de calendario responden a preguntas distintas.
Qué medir dentro del equipo
Se puede empezar con un pequeño conjunto de trabajos repetitivos: corrección de errores, adición de pruebas, migraciones de dependencias. Para cada uno, definir de antemano qué significa estar terminado: código aceptado, comprobaciones superadas, comentarios de revisión resueltos. Después, contabilizar el tiempo humano, la espera, el coste de las herramientas y las correcciones posteriores. El enfoque propuesto es una conclusión práctica para equipos, no un resultado demostrado del experimento de METR.
También conviene examinar por separado dónde surge la ganancia. Un agente puede acortar la escritura de pruebas pero aumentar la revisión; acelerar una tarea desconocida pero estorbar al autor de su propio módulo. Si se reúne todo en una cifra media, el responsable pierde justo la información necesaria para elegir herramientas y repartir el trabajo.
Para el responsable de producto, la pregunta final es muy terrenal: ¿cuánto cuesta un cambio aceptado y con qué rapidez aporta valor al usuario? El gasto de tokens describe el consumo de la herramienta. Para justificar un presupuesto hay que vincularlo con el resultado. Mientras no exista ese vínculo, los porcentajes de un estudio ajeno conviene usarlos como motivo para hacer la propia medición, no como promesa al consejo de administración.
- 2 nov 2026Faros: en los equipos con agentes de IA, el tiempo mediano de revisión de código ha subido un 441%
- 12 nov 2026Los autores de AI 2027 revisan su pronóstico: la IA lleva cinco meses de ventaja sobre su escenario
- 8 nov 2026METR: Anthropic ha duplicado el ritmo de desarrollo de sus modelos, en gran medida gracias a la IA
- 8 nov 2026METR: los modelos de Anthropic mejoran el doble de rápido que hace un año, en gran parte gracias a la IA
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Por qué la comparación quedó sesgada?
En el estudio repetido participaron 57 desarrolladores. Según las condiciones del experimento, describían las tareas de antemano y después un sorteo determinaba si se permitía usar IA. Pero entre el 30 y el 50 % de los participantes encuestados dijeron que retenían algunas tareas: no querían que se les prohibiera la ayuda del modelo. Al mismo tiempo, resultó más difícil reclutar a personas dispuestas a trabajar sin ella. Esto genera un sesgo incluso antes de medir.
¿Qué se sabe sobre Negarse a trabajar a mano no demuestra aceleración?
En el material original, la reticencia a prescindir de la IA se presenta casi como un voto a favor de su eficacia. Es una reacción comprensible, pero insuficiente para calcular la productividad. Una persona puede valorar la herramienta por el menor cansancio, por poder abordar tareas desagradables o por la comodidad de buscar en el código. Todo eso es útil, pero por sí solo no muestra cuánto antes saldrá una versión. Las preferencias tienen un valor de producto propio.
¿Qué se sabe sobre Qué medir dentro del equipo?
Se puede empezar con un pequeño conjunto de trabajos repetitivos: corrección de errores, adición de pruebas, migraciones de dependencias. Para cada uno, definir de antemano qué significa estar terminado: código aceptado, comprobaciones superadas, comentarios de revisión resueltos. Después, contabilizar el tiempo humano, la espera, el coste de las herramientas y las correcciones posteriores. El enfoque propuesto es una conclusión práctica para equipos, no un resultado demostrado del experimento de METR.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.