Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизКод / SDK · В работуHabr AI→ оригинал

Правила команды изменили план кодинг-агента на 5 баллов из 5, повторные аудиты — на 1

Лишний контекст размывает внимание кодинг-агента. Автор строил с ним сервис на Rust, подавал данные порциями и после каждой оценивал, как меняется план: 1 — ничего, 5 — новые разделы и развилки для человека. Правила команды и её репозитории дали 5 из 5: агент узнал про внутренний фреймворк redup-servicekit и сменил стек, а повторные аудиты — 1.

AI-обработка оригинала Habr AI; редакция Hamidun News
Правила команды изменили план кодинг-агента на 5 баллов из 5, повторные аудиты — на 1
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Максимум в 5 баллов получили 2 шага из 24правила команды и примеры репозиториев
1 балл дали 5 шагов из 24уточнения и три контрольных аудита без новых правок
Ранний аудит нашёл багрежим sync добавлял лишний /search к адресу и ловил 404

Когда даёшь кодинг-агенту задачу, хочется приложить всё: техзадание, документацию API, правила команды, примеры кода — «на всякий случай». Но окно контекста конечно, а лишний текст размывает внимание модели. Автор статьи на Habr проверил, какой контекст действительно помогает, и измерял это так: после каждой порции данных агент пересматривал план реализации и оценивал по шкале от 1 до 5, насколько план изменился. Оценка 1 значит «план менять не нужно», а 5 — «в плане появились новые разделы и развилки, между которыми агент выбрать не может, нужен человек». Например, правила команды дали 5 из 5, а повторные аудиты кода — 1. Практический вывод: класть в контекст стоит то, чего агент не выведет сам, а повторы и подтверждения только тратят токены.

Как измеряли пользу контекста

Задача была реальной: написать на Rust сервис текстового поиска поверх Yandex Search API. Контекст агенту выдавали порциями, а не одним куском. Оценивали не итоговый код, а план: он реагирует на новые данные быстрее кода и хорошо показывает, что агент действительно учёл.

В папке проекта лежали четыре файла: readme.md с описанием проекта, plan.md с самим планом, logqa.md с сырой историей вопросов и ответов и influence.md с оценками каждой порции. Первый журнал отвечает на вопрос «что происходило», второй — «насколько это было существенно».

Шкала выглядела так:

  • 1 — план менять не нужно;
  • 2 — косметические правки и переименования;
  • 3 — небольшие изменения без новых разделов;
  • 4 — серьёзные изменения и новые разделы;
  • 5 — новые разделы плюс альтернативные пути, между которыми агент выбрать не может.

Пятёрка здесь означает, что без человека не обойтись: нужны договорённости команды, политики безопасности или внешние ограничения.

Что перевернуло план, а что не изменило ничего

Из 24 шагов максимум получили два. Первый — корпоративные правила разработки. После них в плане появились разделы про наблюдаемость, деплой, модель репозиториев и тесты. Заодно всплыли вопросы, на которые агент ответить не мог: REST/JSON или gRPC/proto, как называть репозитории, нужны ли сразу helm и k8s, как доставлять логи в OpenSearch. Это договорённости команды, а не техника.

Второй — набор реальных репозиториев компании. Агент увидел, что в команде уже есть внутренний фреймворк redup-servicekit с готовой наблюдаемостью, и выбросил собранный вручную стек metrics, prometheus и tower-http. Поменялись конфиг (YAML вместо toml), способ подключения proto (git-сабмодуль) и схема деплоя. Ничего из этого нельзя было угадать по абстрактному ТЗ: знание жило в головах команды и в её репозиториях.

Документация внешнего API получила 4 балла: выяснилось, что нужен Yandex Search API v2, а не старый «Яндекс.XML». Живой запрос к нему позже дал лишь 3: он уточнил детали, но направление не менял.

Пять шагов получили 1 балл: вопрос про оформление зависимости, просьба перечислить оставшиеся решения и три контрольных аудита кода подряд. Когда все средние замечания уже исправили, агента ещё несколько раз просили «проанализировать и исправить». Он отвечал: нового нет, регрессий нет, код не менялся.

При этом аудиты первых циклов окупились. Один из них нашёл критичный баг: sync-режим добавлял /search к уже полному адресу и получал 404. Ценность аудита падала по мере того, как исправлялось найденное.

Выводы для практики

Из шкалы автор выводит несколько правил.

  • ТЗ кладите файлом в проект. Агент может перечитать его в любой момент, а пересказ в чате искажает смысл и съедает окно.
  • Правила команды и реальные репозитории отдавайте в начале. Именно они дают пятёрки. Если подать их позже, план придётся переписывать заново, а это лишние токены и время.
  • Документацию внешних систем давайте как источник фактов. Параллельно ведите список открытых вопросов и помечайте блокирующие.
  • Развилки с пятью баллами отдавайте человеку. Если агент упёрся в политику безопасности или договорённость команды, пусть спросит, а не угадывает.
  • Закрытые решения сразу записывайте в план. Тогда агент не будет возвращаться к вопросу заново.
  • Не гоняйте повторные проверки без новых данных. Каждый такой прогон стоит токенов и минут, а отдача близка к нулю.

Автор объясняет это так: высокий балл означает, что перед человеком появилось пространство выбора, которого раньше не было. Низкий балл значит, что всё уже определено. Полезность одной и той же информации падает по мере того, как план обретает форму: первые тяжёлые порции дают больше всего, потом отдача убывает.

Ограничения

Эксперимент один: одна задача, один агент, один автор. Баллы выставлял сам агент по заданной шкале, поэтому это не независимая оценка и не бенчмарк. Результаты вряд ли переносятся на другие стеки и команды один в один. Но метод можно повторить у себя без особых затрат: достаточно завести журнал и файл оценок и посмотреть, какие части вашего контекста реально работают. Заодно станет понятно, где вы платите токенами за шум.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как измеряли пользу контекста?

Задача была реальной: написать на Rust сервис текстового поиска поверх Yandex Search API. Контекст агенту выдавали порциями, а не одним куском. Оценивали не итоговый код, а план: он реагирует на новые данные быстрее кода и хорошо показывает, что агент действительно учёл. В папке проекта лежали четыре файла: readme.md с описанием проекта, plan.md с самим планом, logqa.md с сырой историей вопросов и ответов и influence.md с оценками каждой порции.

Что известно по теме: что перевернуло план, а что не изменило ничего?

Из 24 шагов максимум получили два. Первый — корпоративные правила разработки. После них в плане появились разделы про наблюдаемость, деплой, модель репозиториев и тесты. Заодно всплыли вопросы, на которые агент ответить не мог: REST/JSON или gRPC/proto, как называть репозитории, нужны ли сразу helm и k8s, как доставлять логи в OpenSearch. Это договорённости команды, а не техника. Второй — набор реальных репозиториев компании.

Что известно по теме: выводы для практики?

Из шкалы автор выводит несколько правил. ТЗ кладите файлом в проект. Агент может перечитать его в любой момент, а пересказ в чате искажает смысл и съедает окно. Правила команды и реальные репозитории отдавайте в начале. Именно они дают пятёрки. Если подать их позже, план придётся переписывать заново, а это лишние токены и время. Документацию внешних систем давайте как источник фактов. Параллельно ведите список открытых вопросов и помечайте блокирующие. Развилки с пятью баллами отдавайте человеку.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…