Cloudflare снизила стоимость ИИ-ревью кода на 68%: с $2,43 до $0,77

Средняя стоимость одного ревью в ИИ-ревьюере Cloudflare с марта по август выросла с $1,22 до $2,32, а в самые дорогие две недели достигла $2,43. Архитектура при этом не менялась: координатор раздавал задачи тем же специалистам, а глубину проверки по-прежнему определяли те же уровни риска. В середине сентября команда поручила собственным агентам найти, куда уходят токены, и срезать расходы. Итог: $0,77 за ревью при включённом высоком уровне усилий для проверки качества кода, минус 68%. Побочный эффект — медианное время ревью упало с 4м09с до 1м32с.

Откуда взялся рост

Небольшую часть подорожания объясняет структура нагрузки: доля ревью в самом дорогом уровне (полное ревью) выросла с 59% в марте до 65% в августе, инженеры стали присылать более крупные изменения. Основной вклад дали смены моделей. В начале августа все ревьюеры перевели на модели Anthropic, поскольку на внутренних тестах они лучше справлялись с этой задачей. Стоимость задачи выросла с $1,38 до $2,03. Ревьюер внутренних стандартов Codex оказался на Claude Opus 4.7, и его цена за ревью подскочила с $0,25 до $0,88, дороже самого координатора.

Структура расходов перед оптимизацией: 23% — выходные токены, 43% — запись в кеш, 34% — чтение из кеша. Основные деньги уходили на контекст, который модель уже видела. Ревьюер качества кода делал в среднем 16,6 вызова LLM за ревью, записывал 72 тысячи токенов в кеш и читал 1,08 млн, потому что каждый вызов передаёт весь диалог. Доля попаданий в кеш выросла с 85,7% до 97%, но число токенов на ревью выросло с 0,91 до 2,99 млн, и высокий hit rate этого не компенсировал. Запись в кеш Anthropic стоит 1,25 от цены входа, чтение — 0,1, запись живёт пять минут без обращений.

Общий префикс и меньше вызовов

С 14 сентября команда стала логировать токены первого вызова каждой сессии и хеш первого системного блока. Выяснилось, что первый запрос находил готовый кеш лишь в 14–26% случаев, хотя 11–21 тысяча токенов определений инструментов и промпта агента одинаковы во всех репозиториях. Причина сидела в OpenCode v1: он собирал один блок из промпта агента и секции окружения (рабочий каталог, дата) и ставил единственную точку кеша в конце. Общая часть не сохранялась отдельно.

16 сентября в конец промпта добавили маркер, а плагин разделил блок надвое, поставив точку кеша после общей части. Всё репозиторно-специфичное убрали вперёд, список skills отключили. В тот же день индекс стандартов Codex встроили прямо в промпт: раньше первые три хода сессии уходили на чтение этих файлов, теперь вызовов 9,6 вместо 15,9, а стоимость запуска упала с $1,12 до $0,72. Вместе это снизило цену ревью с $2,47 до $2,02.

Следующие правки 21 и 23 сентября сняли около $0,20 с ревью:

• Скрыли от субревьюеров инструмент публикации финального комментария: в 57–76% сессий они пытались его вызвать, получали отказ сервера и тратили лишний вызов. Экономия — около 2,9 тысячи токенов определений на запрос.
• Параллельное чтение файлов: в 64% ходов ревьюер качества делал ровно один вызов инструмента. Теперь общий контекст и все патчи читаются в первом ответе, до 150 КБ.
• Пропуск ревьюеров при повторных ревью: примерно две трети задач — повторные. На полных повторных ревью проверки AGENTS.md пропускаются в 56% случаев, производительности — в 23%, документации — в 13%.
• Остановка после публикации ревью: OpenCode гонял ещё один ход ради невидимой сводки, около $0,07 за задачу.
• Таймаут медленного ревьюера перестали считать сбоем провайдера; таймауты ревьюера безопасности упали с 1,8% запусков почти до нуля.
• Отмена отменённых задач: из 446 отменённых задач в GitLab 358 продолжали работать. Теперь задача проверяет статус каждые 15 секунд.

Самая сложная правка — общий префикс для трёх ревьюеров (качество кода, безопасность, производительность): одинаковые инструменты, файл правил, merge request со всеми патчами. Один ревьюер пишет кеш, два других читают. Поскольку запись доступна после начала стриминга ответа, остальные ждут до 20 секунд. Это замедляет их слегка, но экономит около девяти центов на ревьюера.

Модели, усилия и качество

Из $1,67 снижения $0,65 дали правки кода, $1,06 — смена моделей и effort. Сравнение шло по будним часам до и после изменений, так что это не строгий эксперимент. Координатору оставили одну связку: на medium задачи полного уровня заканчивались на 20% быстрее. Opus 5.5 на medium не показал измеримой разницы по итогам и критичным находкам против Opus 5, а high стоил больше без значимого прироста находок. Цена за токен объясняет только около $0,20 падения, остальное дали меньшие объёмы: чтение кеша на ревью упало на 82%, запись на 54%, вывод на 67%.

3 октября ревьюеров на Sonnet разделили 50/50 между Sonnet 5 и 5.5. Через два с половиной дня Sonnet 5.5 был дешевле на 62% для code quality, 58% для performance и 47% для security. Цена токена одинакова, вся экономия из меньшего числа токенов. Code quality на 5.5 medium делает 1,7 вызова вместо 6,2, больше половины запусков заканчиваются одним вызовом. На high — 3,4 вызова, +61% к стоимости запуска (около двух центов на ревью) и +58% критичных и предупреждающих находок, поэтому code quality перевели на high.

Доля ревью дольше пяти минут упала с 37,9% до 0,7%, 99-й перцентиль быстрее, чем три четверти ревью в апреле. Медиана полного уровня: с 5м16с до 1м54с, lite — с 2м58с до 1м14с, trivial — с 77 до 30 секунд. Параллельно ревьюер перешёл на OpenCode v2: в теневом режиме решения об одобрении совпали в 98% merge request, полные ревью на v2 завершаются примерно на 13% быстрее. Команда также пробует запуск целиком на Durable Objects с pi-durable.

Главный вопрос: не стало ли ревью поверхностнее. Критичных и предупреждающих находок у code quality на 40% меньше, чем в конце августа, у security — на 56%, у performance — на 71%. Но авторы стали действовать по серьёзным замечаниям code quality в 59% случаев против 34% раньше, при фоновом уровне случайных правок около 15%. Ревьюер шумит меньше, а доля находок, приводящих к правке, выросла.

Практический вывод для тех, кто строит агентов: сначала измерьте, из чего состоит счёт (у Cloudflare 77% уходило на кеш), затем проверьте, попадает ли первый запрос сессии в общий префикс, уберите инструменты, которые агенту нельзя вызывать, и только потом сравнивайте модели и effort на реальных данных. Новое поколение моделей может сократить число вызовов в разы без потери полезных находок.