Devin Review 2.0 удешевил проверку кода на 82%: PR теперь за $0,25–0,75

Представьте: разработчик с помощью агента за день собрал десяток пул-реквестов (PR — набор правок, который ждёт проверки перед слиянием в основной код), а живой ревьюер успевает внимательно прочитать два-три. Остальные либо висят в очереди, либо проходят «по диагонали». Создатели Devin считают, что первую линию проверки стоит отдать другому агенту, и выпустили Devin Review 2.0. Главный аргумент релиза — цена: с августа проверка одного PR подешевела на 82% (это примерно в пять раз) и теперь обходится в $0,25–0,75. За такие деньги бота можно запускать на каждом PR, как автотесты в CI, а не выбирать «важные» вручную.

Сколько это стоит и что получаем

По данным компании, экономия пришла из двух источников: подобрали более удачное сочетание моделей для разных этапов проверки и оптимизировали обвязку вокруг них (harness). Качество при этом не просело: среднее число найденных багов выросло с 1,22 до 1,32 на PR.

Ещё несколько цифр из блога. Медианное время проверки сократилось со 139 до 94 секунд, то есть примерно в 1,5 раза. Около 80% PR стоят меньше доллара, если считать все пуши в ветку. А средняя цена одного реально исправленного бага у клиентов — около $2,25. Это не замена человеку, но сравнение с часом работы инженера получается в пользу бота.

Как не платить за одно и то же

Главное техническое изменение — инкрементальное ревью. Если в PR добавили ещё один коммит, Devin Review разбирает только изменившиеся части, а не весь PR заново. Это включено по умолчанию. Плюсов два: счёт меньше, потому что каждый пуш мельче всего PR, и меньше шума, потому что новые замечания относятся к свежим правкам, а не повторяют старые.

Запускать проверку можно по-разному:

• комментарием /devin review в GitHub или GitLab;
• со страницы Devin Review в Devin Cloud или Devin Desktop;
• автоматически, когда PR готов к ревью, или на каждый пуш.

Автозапуск настраивается правилами: можно включать черновики, фильтровать по путям файлов, веткам и меткам. Клиенты используют это, чтобы не тратить деньги на малоценные PR. Есть и лимит расходов на один PR, поэтому бесконечно растущий PR не раздует счёт. Кроме того, бот строит «экскурсию» по PR: кратко объясняет, что изменилось и куда смотреть, — человеку проще войти в контекст. Её тоже можно обновлять на каждом пуше.

Связка с Devin и тонкая настройка

Devin Review умеет проверять PR из любых источников, но, по словам создателей, лучше всего работает вместе с самим Devin. В этой связке агент сам разбирает каждое замечание и решает: исправить, отклонить или передать человеку. К моменту, когда разработчик возвращается в сессию, остаются только настоящие баги и спорные решения.

Добавились два режима. Первый — уровни усилия. По умолчанию ревью настроено на экономию, но в биллинге или коде безопасности пропущенный баг стоит гораздо дороже проверки. Для таких мест есть Devin Review Ultra: проверка тщательнее и дороже. Второй — Custom Reviewers, пока в бете. Это собственные ревьюеры с вашими инструкциями. Внутри компании их используют для проверки практик безопасности бэкенда, безопасных миграций БД, производительных SQL-запросов и доступных UI-компонентов. У каждого ревьюера могут быть свои правила запуска, его находки попадают в общий отчёт и в автоисправление Devin, а расходы ограничены теми же лимитами.

Что с этим делать

Практический вывод: если ревью стоит меньше доллара, его выгоднее включить на всех PR, чем выбирать вручную. Разумно начать с автозапуска на готовых PR, отсечь мелочь фильтрами по путям и меткам, а Ultra оставить для платежей и авторизации. Custom Reviewers стоит попробовать на замечаниях, которые ваша команда повторяет в ревью снова и снова.

Оговорки тоже есть. Все цифры взяты из собственного блога компании, а «1,32 бага на PR» — среднее по клиентам, без сравнения с независимыми инструментами. Метрика «найденные баги» не говорит, сколько из них действительно важные. Поэтому на своём репозитории лучше пару недель понаблюдать за долей полезных замечаний и фактическим счётом, прежде чем делать бота обязательным шагом в CI.