En vivo 18.11 · Cohorte 318 nov, 19:00 MSK — taller práctico gratuito de agentes IA · Cohorte 3 en vivo inicia 23.11Taller 18 nov →Cohorte 3 (23.11)
IndustriaAnálisis · En radarHabr AI→ original

METR obtiene estimaciones de ahorro de tiempo del 4–18 %, pero admite que la medición no es fiable

Al comprar agentes de IA para un equipo, es fácil confundir escribir código rápido con lanzar funcionalidades rápido. METR repitió el experimento con desarrolladores y obtuvo estimaciones de reducción de tiempo del 4–18 %, pero reconoció que no son fiables. Parte de las personas se negaba a trabajar sin IA, y los participantes retenían las tareas que no querían hacer a mano. Por eso es pronto para trasladar estos porcentajes al plan de lanzamientos: primero calcule la revisión, las correcciones y los costes de su propio equipo.

Procesado por IA desde Habr AI; editado por Hamidun News
METR obtiene estimaciones de ahorro de tiempo del 4–18 %, pero admite que la medición no es fiable
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Dato clave #1Las negativas a trabajar sin IA cambian la composición de los participantes del experimento.
Dato clave #2El trabajo paralelo de los agentes dificulta contabilizar con precisión el tiempo humano.
Dato clave #3Calcule el coste del cambio aceptado, incluidas la verificación y las correcciones.

Un agente escribió en un minuto código que antes llevaba media jornada. Estupendo, siempre que el equipo no dedicara después un día a revisar y corregir. Precisamente esa brecha entre la velocidad de generación y la velocidad del trabajo terminado es lo que METR intentó medir. El experimento repetido dio estimaciones de reducción de tiempo del 4–18 %, pero los investigadores consideraron el resultado poco fiable. Los desarrolladores rechazaban cada vez más participar si ello exigía trabajar sin IA.

Para un líder técnico, el problema práctico es: ¿qué ahorro conviene incluir en plazos y presupuesto? Imagine una migración de API. El agente actualizó decenas de llamadas, una persona comprobó la compatibilidad, corrigió las pruebas y esperó la revisión. Hay que contar todo ese trabajo. Y compararlo con la ejecución manual se complica cuando los participantes excluyen de antemano las tareas que les resultan especialmente desagradables de hacer por sí mismos.

Por qué la comparación quedó sesgada

En el estudio repetido participaron 57 desarrolladores. Según las condiciones del experimento, describían las tareas de antemano y después un sorteo determinaba si se permitía usar IA. Pero entre el 30 y el 50 % de los participantes encuestados dijeron que retenían algunas tareas: no querían que se les prohibiera la ayuda del modelo. Al mismo tiempo, resultó más difícil reclutar a personas dispuestas a trabajar sin ella.

Esto genera un sesgo incluso antes de medir. Supongamos que un desarrollador entrega gustoso al sorteo un pequeño error en un módulo conocido, pero deja la actualización masiva de archivos similares al agente, fuera del experimento. Los investigadores medirán bien el primer trabajo, pero casi nada sabrán del segundo. El beneficio esperado de la IA influye en qué llega siquiera al cronómetro.

En los participantes que repetían, la estimación de reducción de tiempo fue del 18 %; en los nuevos, del 4 %. Además, los intervalos de confianza admiten también una ralentización. Los autores consideran posible que el beneficio esté subestimado por la selección, pero estos datos no establecen el tamaño exacto del efecto. Los detalles se publicaron en el informe de METR del 24 de febrero de 2026. El resumen de noviembre debe leerse teniendo en cuenta esta fecha: se trata del resultado de un experimento anterior.

Negarse a trabajar a mano no demuestra aceleración

En el material original, la reticencia a prescindir de la IA se presenta casi como un voto a favor de su eficacia. Es una reacción comprensible, pero insuficiente para calcular la productividad. Una persona puede valorar la herramienta por el menor cansancio, por poder abordar tareas desagradables o por la comodidad de buscar en el código. Todo eso es útil, pero por sí solo no muestra cuánto antes saldrá una versión.

Las preferencias tienen un valor de producto propio. Si el asistente elimina la rutina y hace más llevadera la jornada, es un argumento razonable para comprarlo. Solo que el responsable debe tratar por separado la comodidad, la calidad y los plazos. De lo contrario, la promesa de ahorro se convierte sin darse cuenta en la exigencia de cerrar más tickets, aunque el equipo había adquirido la posibilidad de cansarse menos.

Tampoco puede trasladarse el resultado del primer trabajo de METR a cualquier equipo actual. Entonces, 16 participantes con experiencia realizaron 246 tareas en proyectos conocidos, y el uso de IA aumentó el tiempo un 19 %. Es una advertencia importante sobre la distancia entre la percepción y la medición, pero las herramientas concretas, las tareas y la experiencia de los participantes limitan la aplicabilidad del resultado. No se deduce que todo agente frene hoy a todo desarrollador.

Con agentes paralelos aparece un problema de contabilidad aparte. Mientras uno cambia código, la persona atiende otro ticket y un segundo agente ejecuta pruebas. Han pasado cuarenta minutos: ¿cuánto corresponde a la primera tarea? Sin una regla elegida de antemano, los equipos obtienen fácilmente informes vistosos pero incomparables. El tiempo activo de la persona y el plazo de calendario responden a preguntas distintas.

Qué medir dentro del equipo

Se puede empezar con un pequeño conjunto de trabajos repetitivos: corrección de errores, adición de pruebas, migraciones de dependencias. Para cada uno, definir de antemano qué significa estar terminado: código aceptado, comprobaciones superadas, comentarios de revisión resueltos. Después, contabilizar el tiempo humano, la espera, el coste de las herramientas y las correcciones posteriores. El enfoque propuesto es una conclusión práctica para equipos, no un resultado demostrado del experimento de METR.

También conviene examinar por separado dónde surge la ganancia. Un agente puede acortar la escritura de pruebas pero aumentar la revisión; acelerar una tarea desconocida pero estorbar al autor de su propio módulo. Si se reúne todo en una cifra media, el responsable pierde justo la información necesaria para elegir herramientas y repartir el trabajo.

Para el responsable de producto, la pregunta final es muy terrenal: ¿cuánto cuesta un cambio aceptado y con qué rapidez aporta valor al usuario? El gasto de tokens describe el consumo de la herramienta. Para justificar un presupuesto hay que vincularlo con el resultado. Mientras no exista ese vínculo, los porcentajes de un estudio ajeno conviene usarlos como motivo para hacer la propia medición, no como promesa al consejo de administración.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Por qué la comparación quedó sesgada?

En el estudio repetido participaron 57 desarrolladores. Según las condiciones del experimento, describían las tareas de antemano y después un sorteo determinaba si se permitía usar IA. Pero entre el 30 y el 50 % de los participantes encuestados dijeron que retenían algunas tareas: no querían que se les prohibiera la ayuda del modelo. Al mismo tiempo, resultó más difícil reclutar a personas dispuestas a trabajar sin ella. Esto genera un sesgo incluso antes de medir.

¿Qué se sabe sobre Negarse a trabajar a mano no demuestra aceleración?

En el material original, la reticencia a prescindir de la IA se presenta casi como un voto a favor de su eficacia. Es una reacción comprensible, pero insuficiente para calcular la productividad. Una persona puede valorar la herramienta por el menor cansancio, por poder abordar tareas desagradables o por la comodidad de buscar en el código. Todo eso es útil, pero por sí solo no muestra cuánto antes saldrá una versión. Las preferencias tienen un valor de producto propio.

¿Qué se sabe sobre Qué medir dentro del equipo?

Se puede empezar con un pequeño conjunto de trabajos repetitivos: corrección de errores, adición de pruebas, migraciones de dependencias. Para cada uno, definir de antemano qué significa estar terminado: código aceptado, comprobaciones superadas, comentarios de revisión resueltos. Después, contabilizar el tiempo humano, la espera, el coste de las herramientas y las correcciones posteriores. El enfoque propuesto es una conclusión práctica para equipos, no un resultado demostrado del experimento de METR.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…