Habr AI: METR y Google Cloud No Ven la Aceleración Prometida de Desarrolladores con IA

En Habr AI se publicó un análisis de varios estudios sobre el impacto de las herramientas de IA en el trabajo de los programadores. La conclusión incómoda para el mercado: los desarrolladores frecuentemente sienten que trabajan más rápido, pero las métricas medibles aún no confirman la aceleración prometida.

Dónde No se Ve Crecimiento

Uno de los argumentos clave del artículo está relacionado con un análisis del ecosistema Python. El autor cita el análisis de Answer.AI, donde investigaron la dinámica de PyPI en busca de rastros de productividad "explosiva".

Si la IA realmente acelerara radicalmente el desarrollo, esto debería haberse reflejado en el número de nuevos paquetes, la frecuencia de lanzamientos y el volumen general de código publicado. Pero el panorama resultó ser mucho más modesto: ningún aumento notable en nuevos paquetes, y el crecimiento en la frecuencia de actualizaciones comenzó en 2019 y probablemente está más relacionado con las prácticas de CI/CD que con los modelos generativos. Un detalle interesante es que el crecimiento en la actividad es más visible en los proyectos de IA.

Estos paquetes se actualizan con más frecuencia, pero el autor interpreta esto no como un efecto universal de las herramientas, sino como consecuencia del hype y la afluencia de inversiones en el segmento. Una lógica similar se aplica a los datos de GitHub: según la revisión, tampoco hay un aumento masivo de nuevos repositorios, aunque este habría podido ser un indicador simple de que lanzar proyectos secundarios se hizo considerablemente más fácil. El veredicto es severo: la IA ayuda a crear prototipos impresionantes, pero no elimina los verdaderos cuellos de botella del desarrollo y el lanzamiento de productos.

Qué Muestran los Estudios

La brecha más notable es visible entre las percepciones de los equipos y las métricas operacionales. El artículo presenta el informe de Google Cloud sobre el impacto de la IA Generativa en el desarrollo de software: el 75% de los desarrolladores dicen que la IA les da una sensación de mayor productividad. Pero con una tasa de adopción del 25% de tales herramientas, el throughput de entrega disminuye un 1,5%, y la estabilidad de entrega disminuye un 7,2%. En otras palabras, trabajar con IA es subjetivamente más agradable, pero no necesariamente significa más resultado útil en la salida.

• 75% de los desarrolladores experimentan mayor productividad
• el throughput de entrega disminuye un 1,5%
• la estabilidad de entrega cae un 7,2%
• el aumento de actividad es más notable en el segmento de IA

Aún más severo es el estudio de METR citado por el autor. En él, desarrolladores experimentados esperaban que herramientas de IA como Cursor y Claude acelerasen su trabajo aproximadamente un 20%. En realidad, ocurrió lo contrario: la ejecución de tareas se ralentizó alrededor de ese mismo 20%. La explicación parece plausible: los ingenieros escriben menos código manualmente, pero gastan más tiempo verificando, haciendo correcciones, esperando respuestas del modelo y ejecutando pruebas nuevamente. En otras palabras, parte de la rutina mecánica desaparece, pero una nueva capa de control de calidad toma su lugar.

"Hoy tenemos hechos de que la IA hace que muchos de nosotros seamos

menos, no más productivos."

Esta brecha entre expectativa y realidad importa no solo para los ingenieros, sino también para los negocios. El artículo también cita el ejemplo de Notion: después de agregar funciones de IA, el margen del producto, según el CEO de la empresa, cayó del 90% al 80%. La lógica es clara: el mercado impulsa la integración de IA en casi todo, pero los costos adicionales por inference e infraestructura no garantizan ni crecimiento de audiencia ni crecimiento de ingresos. Para las empresas, esto significa que implementar IA en el desarrollo y producto no puede evaluarse por el factor sorpresa — se necesitan métricas de velocidad, estabilidad y economía.

Qué Significa Esto

El análisis de Habr AI enfría efectivamente las expectativas alrededor de aceleraciones "10 veces" en la programación. En la etapa actual, la codificación con IA tiende a mejorar la experiencia de trabajo y acelerar ciertas partes del proceso, en lugar de garantizar un aumento en la productividad del equipo o del negocio. Para los gerentes, la conclusión es sencilla: antes de implementar tales herramientas a gran escala, mida no el sentimiento de los desarrolladores, sino el tiempo de ciclo, la calidad de entrega y el costo final de los cambios.