Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизAPI / Продукт · В работуHacker News AI→ оригинал

Anthropic показала, как проверяет код, который на 90% пишет Claude Code

Когда агент пишет около 90% кода, вручную читать каждый дифф нереально, поэтому команда Claude Code строит проверку как отдельную систему. Главный инструмент — сквозные тесты: агент сам запускает приложение и проходит сценарий пользователя. Во внутреннем тесте отдельный проверяющий агент с чек-листом повысил успех задач на 10 пунктов. Вывод: дайте агенту способ доказать результат, и параллельно можно гонять десятки экземпляров.

AI-обработка оригинала Hacker News AI; редакция Hamidun News
Anthropic показала, как проверяет код, который на 90% пишет Claude Code
Источник: Hacker News AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHacker News AI ↗
Главный редактор
Ключевой факт #1Агент останавливается и зовёт человека, если проверка падает три раза подряд
Ключевой факт #2Правила проверки читаются из основной ветки, а не из самого pull request
Чек-лист из 39 пунктовна каждый дифф срабатывает обычно 3–10

Если почти весь код пишут агенты, узким местом становится не генерация, а проверка. В команде Claude Code около 90% кода создаёт сам Claude, и в Anthropic рассказали, как устроен контроль качества при таком объёме. Без надёжной проверки вы можете вести одного-двух агентов, потому что всё приходится смотреть самому. С ней можно запускать десятки и даже сотни параллельно.

Цифра из внутреннего тестирования: при генерации структурированных файлов отдельный агент-проверяющий сверял работу Claude с рубрикой критериев. Это повысило долю успешно выполненных задач на 10 пунктов по сравнению с обычным циклом «промпт — ответ». Сильнее всего выигрывали самые сложные задачи.

Три типа тестов, в которые стоит вкладываться

Если выбирать что-то одно, команда советует сквозные (end-to-end) тесты. Они описывают реальный путь пользователя: положил товар в корзину, оформил заказ, увидел страницу подтверждения. Обмануть такой тест трудно: фича либо работает целиком, либо нет. Юнит-тест выдаст «Timeout after 30 seconds», а сквозной может показать скриншот с описанием того, что сломалось. Юнит-тесты быстрее и стабильнее, но их можно пройти и всё равно сломать функцию, потому что ни агент, ни тест не видят задачу целиком.

Второй тип — property-тесты. Вы формулируете утверждение, которое не должно нарушаться, а библиотека генерирует тысячи входных данных, пытаясь его опровергнуть. Примеры: если закодировать данные и раскодировать обратно, получится исходное значение; баланс счёта никогда не уходит в минус; повторная миграция даёт тот же результат, что и первая; оптимизированный код совпадает с простым, но заведомо верным. Такие тесты ловят граничные случаи, которые агент не придумал бы сам, потому что они не создаются с тем же перекосом, что и исходный код.

Третий тип — дифференциальные тесты. Старую и новую версии системы запускают на одинаковых входных данных и сравнивают результаты. Любое расхождение — либо баг, либо изменение, которое надо одобрить явно. Метод удобен при переписывании, когда поведение должно остаться прежним. Входы лучше брать случайные или из выборки реального трафика, незначимые различия вроде пробелов нормализовать, а допустимые отличия вести списком.

Отдельное предупреждение: нестабильные тесты учат агента перезапускать проверку, а не чинить код. Медленные тесты заставляют запускать их реже и усложняют поиск причины.

Как это устроено внутри команды

Проверка — это запуск изменения. Для этого в репозитории создают навык (skill) verify в папке .claude/skills/, ближе к нужному коду. Он описывает, как поднять приложение или симулятор; Claude использует его перед коммитом. Для веба подключают расширение Chrome, для мобильных — MCP для iOS или Android, для десктопа — computer use, для бэкенда — локальный запуск сервиса.

Человека зовут по сигналу провала: если проверка не проходит после трёх раундов исправлений, Claude останавливается и передаёт задачу людям. Проверки пишут владельцы кода, а при вызове ревьюера проверка объясняет причину, чтобы не разбираться по диффу.

Есть чек-лист надёжности из 39 пунктов. У каждого есть триггер, читаемый из диффа, сама проверка и ссылки на инциденты. Claude смотрит дифф и применяет только подходящие пункты, обычно 3–10.

Главное правило защиты: изменение не должно менять проверку, которая его судит. Code Review читает REVIEW.md из базовой ветки, а не из pull request. Результат ревью актуален только для конкретного коммита.

Новый «шлюз» коммитов запускают по очереди в режимах off, observe и enforce. В observe он лишь логирует, что заблокировал бы, чтобы разобрать ложные срабатывания. В enforce блокирует коммит без /code-review или /verify, но после двух блокировок в сессии пропускает следующий, чтобы агент не застрял. Каждый коммит маркируют способом проверки, включая «none».

Проверка самих проверяющих

Команда следит, сколько влитых изменений откатили, сколько отклонил мейнтейнер, и сравнивает с чистой выборкой такого же размера. Для оценки ревьюера собирают набор по прошлым инцидентам: репозиторий восстанавливают на момент ревью и дают ответ в одно предложение о том, в чём баг. Баллы начисляют только за верное описание. Настроечная выборка отделена от тестовой, а полноту поиска считают отдельно для сырых находок, после проверки и в финале, чтобы видеть, не теряются ли уже найденные баги. Находки помечают как Important, Nit или Pre-existing.

Новые правила рождаются двумя путями: из повторяющихся комментариев ревью и откатов (минимум два PR, три агента пытаются опровергнуть, человек утверждает) и из повторного прогона трёх поисковиков багов на PR с известным инцидентом. Нестабильные тесты Claude не может пропускать, добавлять паузы или перезапускать до зелёного: без найденной причины тест удаляют с записью почему.

Что взять себе

Это описание практики одной команды, а не независимое исследование: цифра +10 пунктов взята из внутренних тестов. Но набор приёмов универсален: сделайте проверку быстрой и стабильной, закройте её от правок проверяемым изменением, оценивайте на реальных багах и регулярно чистите правила. Тогда ваша работа смещается от чтения каждого диффа к определению того, что такое «готово», и проверке доказательств.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: три типа тестов, в которые стоит вкладываться?

Если выбирать что-то одно, команда советует сквозные (end-to-end) тесты. Они описывают реальный путь пользователя: положил товар в корзину, оформил заказ, увидел страницу подтверждения. Обмануть такой тест трудно: фича либо работает целиком, либо нет. Юнит-тест выдаст «Timeout after 30 seconds», а сквозной может показать скриншот с описанием того, что сломалось. Юнит-тесты быстрее и стабильнее, но их можно пройти и всё равно сломать функцию, потому что ни агент, ни тест не видят задачу целиком.

Что известно по теме: как это устроено внутри команды?

Проверка — это запуск изменения. Для этого в репозитории создают навык (skill) verify в папке .claude/skills/, ближе к нужному коду. Он описывает, как поднять приложение или симулятор; Claude использует его перед коммитом. Для веба подключают расширение Chrome, для мобильных — MCP для iOS или Android, для десктопа — computer use, для бэкенда — локальный запуск сервиса. Человека зовут по сигналу провала: если проверка не проходит после трёх раундов исправлений, Claude останавливается и передаёт задачу людям.

Что известно по теме: проверка самих проверяющих?

Команда следит, сколько влитых изменений откатили, сколько отклонил мейнтейнер, и сравнивает с чистой выборкой такого же размера. Для оценки ревьюера собирают набор по прошлым инцидентам: репозиторий восстанавливают на момент ревью и дают ответ в одно предложение о том, в чём баг. Баллы начисляют только за верное описание. Настроечная выборка отделена от тестовой, а полноту поиска считают отдельно для сырых находок, после проверки и в финале, чтобы видеть, не теряются ли уже найденные баги.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…