Anthropic показала, как проверяет код, который на 90% пишет Claude Code
Когда агент пишет около 90% кода, вручную читать каждый дифф нереально, поэтому команда Claude Code строит проверку как отдельную систему. Главный инструмент — сквозные тесты: агент сам запускает приложение и проходит сценарий пользователя. Во внутреннем тесте отдельный проверяющий агент с чек-листом повысил успех задач на 10 пунктов. Вывод: дайте агенту способ доказать результат, и параллельно можно гонять десятки экземпляров.
AI-обработка оригинала Hacker News AI; редакция Hamidun News
Если почти весь код пишут агенты, узким местом становится не генерация, а проверка. В команде Claude Code около 90% кода создаёт сам Claude, и в Anthropic рассказали, как устроен контроль качества при таком объёме. Без надёжной проверки вы можете вести одного-двух агентов, потому что всё приходится смотреть самому. С ней можно запускать десятки и даже сотни параллельно.
Цифра из внутреннего тестирования: при генерации структурированных файлов отдельный агент-проверяющий сверял работу Claude с рубрикой критериев. Это повысило долю успешно выполненных задач на 10 пунктов по сравнению с обычным циклом «промпт — ответ». Сильнее всего выигрывали самые сложные задачи.
Три типа тестов, в которые стоит вкладываться
Если выбирать что-то одно, команда советует сквозные (end-to-end) тесты. Они описывают реальный путь пользователя: положил товар в корзину, оформил заказ, увидел страницу подтверждения. Обмануть такой тест трудно: фича либо работает целиком, либо нет. Юнит-тест выдаст «Timeout after 30 seconds», а сквозной может показать скриншот с описанием того, что сломалось. Юнит-тесты быстрее и стабильнее, но их можно пройти и всё равно сломать функцию, потому что ни агент, ни тест не видят задачу целиком.
Второй тип — property-тесты. Вы формулируете утверждение, которое не должно нарушаться, а библиотека генерирует тысячи входных данных, пытаясь его опровергнуть. Примеры: если закодировать данные и раскодировать обратно, получится исходное значение; баланс счёта никогда не уходит в минус; повторная миграция даёт тот же результат, что и первая; оптимизированный код совпадает с простым, но заведомо верным. Такие тесты ловят граничные случаи, которые агент не придумал бы сам, потому что они не создаются с тем же перекосом, что и исходный код.
Третий тип — дифференциальные тесты. Старую и новую версии системы запускают на одинаковых входных данных и сравнивают результаты. Любое расхождение — либо баг, либо изменение, которое надо одобрить явно. Метод удобен при переписывании, когда поведение должно остаться прежним. Входы лучше брать случайные или из выборки реального трафика, незначимые различия вроде пробелов нормализовать, а допустимые отличия вести списком.
Отдельное предупреждение: нестабильные тесты учат агента перезапускать проверку, а не чинить код. Медленные тесты заставляют запускать их реже и усложняют поиск причины.
Как это устроено внутри команды
Проверка — это запуск изменения. Для этого в репозитории создают навык (skill) verify в папке .claude/skills/, ближе к нужному коду. Он описывает, как поднять приложение или симулятор; Claude использует его перед коммитом. Для веба подключают расширение Chrome, для мобильных — MCP для iOS или Android, для десктопа — computer use, для бэкенда — локальный запуск сервиса.
Человека зовут по сигналу провала: если проверка не проходит после трёх раундов исправлений, Claude останавливается и передаёт задачу людям. Проверки пишут владельцы кода, а при вызове ревьюера проверка объясняет причину, чтобы не разбираться по диффу.
Есть чек-лист надёжности из 39 пунктов. У каждого есть триггер, читаемый из диффа, сама проверка и ссылки на инциденты. Claude смотрит дифф и применяет только подходящие пункты, обычно 3–10.
Главное правило защиты: изменение не должно менять проверку, которая его судит. Code Review читает REVIEW.md из базовой ветки, а не из pull request. Результат ревью актуален только для конкретного коммита.
Новый «шлюз» коммитов запускают по очереди в режимах off, observe и enforce. В observe он лишь логирует, что заблокировал бы, чтобы разобрать ложные срабатывания. В enforce блокирует коммит без /code-review или /verify, но после двух блокировок в сессии пропускает следующий, чтобы агент не застрял. Каждый коммит маркируют способом проверки, включая «none».
Проверка самих проверяющих
Команда следит, сколько влитых изменений откатили, сколько отклонил мейнтейнер, и сравнивает с чистой выборкой такого же размера. Для оценки ревьюера собирают набор по прошлым инцидентам: репозиторий восстанавливают на момент ревью и дают ответ в одно предложение о том, в чём баг. Баллы начисляют только за верное описание. Настроечная выборка отделена от тестовой, а полноту поиска считают отдельно для сырых находок, после проверки и в финале, чтобы видеть, не теряются ли уже найденные баги. Находки помечают как Important, Nit или Pre-existing.
Новые правила рождаются двумя путями: из повторяющихся комментариев ревью и откатов (минимум два PR, три агента пытаются опровергнуть, человек утверждает) и из повторного прогона трёх поисковиков багов на PR с известным инцидентом. Нестабильные тесты Claude не может пропускать, добавлять паузы или перезапускать до зелёного: без найденной причины тест удаляют с записью почему.
Что взять себе
Это описание практики одной команды, а не независимое исследование: цифра +10 пунктов взята из внутренних тестов. Но набор приёмов универсален: сделайте проверку быстрой и стабильной, закройте её от правок проверяемым изменением, оценивайте на реальных багах и регулярно чистите правила. Тогда ваша работа смещается от чтения каждого диффа к определению того, что такое «готово», и проверке доказательств.
- 21 нояб. 2026 г.Anthropic снизила цену Claude Fable 5.2 на 20%, а в тесте на код она почти равна Opus 5.5
- 21 нояб. 2026 г.Dreamteam привлёк $53M на CRM, которая сама заполняется из почты и звонков
- 21 нояб. 2026 г.Нейросеть Claude Opus 5.5 достраивает хоррор Dimension 9 из 15 комнат автора
- 21 нояб. 2026 г.22 агента Claude шесть недель искали ответы по чёрным дырам — и решили две задачи
Вопросы и ответы по материалу
Что известно по теме: три типа тестов, в которые стоит вкладываться?
Если выбирать что-то одно, команда советует сквозные (end-to-end) тесты. Они описывают реальный путь пользователя: положил товар в корзину, оформил заказ, увидел страницу подтверждения. Обмануть такой тест трудно: фича либо работает целиком, либо нет. Юнит-тест выдаст «Timeout after 30 seconds», а сквозной может показать скриншот с описанием того, что сломалось. Юнит-тесты быстрее и стабильнее, но их можно пройти и всё равно сломать функцию, потому что ни агент, ни тест не видят задачу целиком.
Что известно по теме: как это устроено внутри команды?
Проверка — это запуск изменения. Для этого в репозитории создают навык (skill) verify в папке .claude/skills/, ближе к нужному коду. Он описывает, как поднять приложение или симулятор; Claude использует его перед коммитом. Для веба подключают расширение Chrome, для мобильных — MCP для iOS или Android, для десктопа — computer use, для бэкенда — локальный запуск сервиса. Человека зовут по сигналу провала: если проверка не проходит после трёх раундов исправлений, Claude останавливается и передаёт задачу людям.
Что известно по теме: проверка самих проверяющих?
Команда следит, сколько влитых изменений откатили, сколько отклонил мейнтейнер, и сравнивает с чистой выборкой такого же размера. Для оценки ревьюера собирают набор по прошлым инцидентам: репозиторий восстанавливают на момент ревью и дают ответ в одно предложение о том, в чём баг. Баллы начисляют только за верное описание. Настроечная выборка отделена от тестовой, а полноту поиска считают отдельно для сырых находок, после проверки и в финале, чтобы видеть, не теряются ли уже найденные баги.
Соберите рабочего ИИ-агента или сервис своими руками без ручного кода
В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.