Habr AI: METR и Google Cloud не увидели обещанного ускорения разработчиков с AI

На Habr AI вышел разбор нескольких исследований о влиянии AI-инструментов на работу программистов. Главный вывод для рынка неудобный: разработчики часто чувствуют, что работают быстрее, но измеримые показатели пока не подтверждают обещанного ускорения.

Где не видно роста Один из ключевых аргументов в статье связан с анализом экосистемы Python.

Автор ссылается на разбор Answer.AI, где исследовали динамику PyPI в поисках следов «взрывной» продуктивности. Если AI действительно радикально ускорял бы разработку, это должно было бы проявиться в числе новых пакетов, частоте релизов и общем объёме публикуемого кода.

Но картина оказалась куда скромнее: заметного скачка по новым пакетам не видно, а рост частоты обновлений начался ещё в 2019 году и, вероятно, связан скорее с CI/CD-практиками, чем с генеративными моделями. Интересная деталь в том, что прирост активности заметен прежде всего в AI-проектах. Такие пакеты обновляются чаще, но автор интерпретирует это не как универсальный эффект инструментов, а как следствие хайпа и притока инвестиций в сегмент.

Похожая логика применяется и к данным GitHub: если верить обзору, массового всплеска новых репозиториев тоже нет, хотя именно он мог бы стать простым индикатором того, что запускать сайд-проекты стало существенно легче. Вывод жёсткий: AI помогает делать эффектные прототипы, но не убирает реальные узкие места разработки и запуска продукта.

Что показывают исследования

Самый показательный разрыв виден между ощущениями команд и операционными метриками. В статье приводится отчёт Google Cloud о влиянии GenAI на software development: 75% разработчиков говорят, что AI даёт им чувство большей продуктивности. Но при 25-процентном уровне внедрения таких инструментов delivery throughput снижается на 1,5%, а delivery stability — на 7,2%.

Иначе говоря, работать с AI субъективно приятнее, но это не обязательно означает больше полезного результата на выходе. 75% разработчиков ощущают рост продуктивности delivery throughput снижается на 1,5% delivery stability падает на 7,2% всплеск активности сильнее всего заметен в AI-сегменте Ещё жёстче выглядит исследование METR, на которое ссылается автор. В нём опытные разработчики ожидали, что AI-инструменты вроде Cursor и Claude ускорят их работу примерно на 20%.

По факту получилось наоборот: выполнение задач замедлилось примерно на те же 20%. Объяснение выглядит правдоподобно: инженеры меньше печатают код руками, но больше времени тратят на проверку, исправления, ожидание ответа модели и повторные прогоны. То есть часть механической рутины уходит, но на её месте появляется новый слой контроля качества.

«Сегодня у нас есть факты, что AI делает многих из нас не более, а менее продуктивными».

Этот разрыв между ожиданием и реальностью важен не только для инженеров, но и для бизнеса. В материале приводится и пример Notion: после добавления AI-функций маржинальность продукта, по словам CEO компании, снизилась с 90% до 80%. Логика понятна: рынок подталкивает встраивать AI почти во всё, но дополнительные расходы на inference и инфраструктуру не гарантируют ни роста аудитории, ни роста выручки. Для компаний это означает, что внедрение AI в разработку и продукт нельзя оценивать по вау-эффекту — нужны метрики скорости, стабильности и экономики.

Что это значит

Разбор Habr AI хорошо охлаждает ожидания вокруг «десятикратных» ускорений в программировании. На текущем этапе AI-кодинг скорее улучшает опыт работы и ускоряет отдельные куски процесса, чем даёт гарантированный прирост производительности команды или бизнеса. Для менеджеров вывод простой: прежде чем масштабно раскатывать такие инструменты, нужно мерить не настроение разработчиков, а cycle time, качество поставки и итоговую стоимость изменений.