Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РазборНаучная статья · В песочницуHabr AI→ оригинал

После сбоя агенты откатывают работу лишь в 47% случаев, хотя решают 84% задач

Агент починил код, прогнал тесты, а заодно поменял таймаут в конфиге и разослал уведомления — git revert вернёт только файлы. В бенчмарке UndoBench агенты решали 84% задач, но после сбоя откатились лишь в 47% прогонов, успешных в норме. Пять докладов сходятся: снимок состояния и запреты нужны в коде обвязки, а не в промпте. Иначе «успешный» агент оставит поломку.

AI-обработка оригинала Habr AI; редакция Hamidun News
После сбоя агенты откатывают работу лишь в 47% случаев, хотя решают 84% задач
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
EvoUndoв 197 из 600 улучшений агента сломался откат; расширенный язык вернул 180
Harveyодин баг запустил около 900 агентов за 4 часа при норме 50 задач в день
Claude Codeauto mode блокирует 89% опасных команд, люди ловили около 14%

Агент поправил код, прогнал тесты, получил зелёную сборку и повесил релизный тег. Потом падает интеграция, и оказывается, что заодно он сменил таймаут в конфиге, дёрнул внешний API и разослал уведомления. Команда git revert вернёт файлы репозитория, но не настройки среды и не отправленные письма.

Эту дыру измерили авторы UndoBench — набора тестов на обратимость действий агента: в обычном запуске агенты завершали 84% задач, а когда в прогон добавляли искусственный сбой, восстанавливались лишь в 47% тех прогонов, что в норме были успешными. Знаменатели у цифр разные, авторы об этом честно предупреждают, но разрыв всё равно показателен. Автор разбора на Habr изучил пять докладов с недавних AI-конференций, и практический вывод для разработчика такой: возможность отката нужно проектировать вокруг модели, а не надеяться, что она сама отменит свою работу.

UndoBench и EvoUndo: агент решил задачу, но отменить её не умеет

UndoBench проверяли на 2880 парных испытаниях: обычный запуск против запуска со сбоем. Git отслеживает только файлы репозитория, а coding-агенты правят конфиги среды, включают middleware, обновляют реестры инструментов и ходят во внешние сервисы вроде деплоя или баз данных. Откат коммита таких эффектов не касается.

Следующий проект тех же авторов, EvoUndo, показал ещё более неприятную картину. На 600 задачах самоэволюции агенты улучшили показатели в 478 случаях, но в 197 из них (около 42%) сломалось восстановление: агент становился умнее и терял обратимость. Просить модель починить откат в промпте оказалось бесполезно — четыре стратегии ремонта с верификатором вернули ноль из 197 правок.

Помогли две вещи. Первая — привязка к состоянию: чтобы вернуть таймаут с 60 обратно на 30, нужно знать старое значение. Когда агенту выдали такие данные, восстановление выросло с нуля до 38 из 48 случаев. Вторая — более богатый язык отката: в изолированном опыте восстановление поднялось с нуля до 142 из 143 случаев, а на всём наборе вернулись 180 из 197 правок (около 92%). Допустимых улучшений стало 461 из 600 вместо 281. Работает это так: перед правкой сохраняют снимок исходного состояния, в тестовой среде агент вносит изменение и сразу гонит план отката, а независимый верификатор сверяет результат со снимком. Правку принимают, только если качество выросло и значения вернулись назад. Если откат невозможен, агент останавливается и зовёт человека.

Таймаут, субагенты и квоты: Microsoft и Harvey

Принципал-инженер Microsoft, автор open source-моста MCP Pacemaker (он оговаривает, что выражает личное мнение), напоминает: таймаут означает лишь то, что ответ не дошёл, а не то, что операция провалилась. В UndoBench агент просит трекер завести тикет, сервер создаёт тикет 781, но подтверждение теряется, и агент повторяет запрос вслепую. При потере ответа наивные повторы давали дубликаты в 54% испытаний.

Вторая проблема — субагенты. При частичном сбое они выдают гладкий текст с той же уверенностью, что и при полной проверке, а оркестратор видит вывод, но не видит, сколько работы за ним стоит. Свои правила автор собрал в схему SAFE, не претендуя на универсальный стандарт: у фактов есть источник и срок годности; внешняя запись происходит не более одного раза с одноразовым разрешением, которое проверяет код на шлюзе; параллельные старты ограничены; субагент возвращает явный статус с доказательствами, а отчёт перепроверяется скриптом. Сам откат SAFE не делает — для отмены внешних операций нужны компенсирующие шаги по паттерну Saga.

Harvey показали цену отсутствия квот. В августе баг породил алерт на каждое рабочее пространство, и вместо обычных 50 задач в день за четыре часа запустилось около 900 агентов. В октябре один инженер поставил около 950 задач за три часа и снова забил очередь. Повторные алерты стали цеплять к открытому расследованию, запуски пустили через честную очередь с приоритетом для людей, а правило автоматизации отключается после пяти падений подряд. На тесте в 300 задач старт ускорился, по словам докладчика, с почти двух секунд до 70 миллисекунд.

Запреты в коде и лестница автономии: Anthropic и Meta

Lydia из команды Claude Code рассказала, что число изменений выросло с 2500 в день в мае до более 30 000 в сентябре. С августа по умолчанию включён auto mode: он блокирует 89% заведомо опасных команд, тогда как люди ловили около 14%. Но примерно каждая десятая опасная команда всё равно проходит, поэтому гарантии даёт обвязка, а не промпт. Необратимое — чтение .env, удаление незакоммиченных правок — закрывают deny rules и sandbox уровня ОС: правило разрешения проверяет лишь имя команды, а не то, куда полезет процесс внутри. Есть и ловушка: при exit code 1 Claude Code помечает задачу выполненной, а чтобы вернуть агента к правке, хук должен отдавать exit code 2.

Команда инцидентов Meta (по их оценке, около трёх четвертей нового кода там пишется с ИИ) поставила на дежурство одного AI-напарника с лестницей автономии, как у нового инженера. Сначала он только расследует, затем пишет патчи, которые одобряет человек, и лишь потом сам закрывает шумные алерты и дубликаты через CI. В примере утренней сводки из 23 элементов 18 агент закрыл сам, 2 вёл, 3 передал человеку.

Что делать на практике

Снимайте состояние до любой мутации вне Git. Требуйте от субагентов явный статус и проверяйте внешнее состояние до повтора запроса. Выносите необратимые запреты в deny rules и sandbox. Ставьте лимиты на параллельные запуски и автоотключение автоматизаций. Выдавайте автономию по типу действия: учитывайте цену ошибки и историю успехов.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: UndoBench и EvoUndo: агент решил задачу, но отменить её не умеет?

UndoBench проверяли на 2880 парных испытаниях: обычный запуск против запуска со сбоем. Git отслеживает только файлы репозитория, а coding-агенты правят конфиги среды, включают middleware, обновляют реестры инструментов и ходят во внешние сервисы вроде деплоя или баз данных. Откат коммита таких эффектов не касается. Следующий проект тех же авторов, EvoUndo, показал ещё более неприятную картину.

Что известно по теме: таймаут, субагенты и квоты: Microsoft и Harvey?

Принципал-инженер Microsoft, автор open source-моста MCP Pacemaker (он оговаривает, что выражает личное мнение), напоминает: таймаут означает лишь то, что ответ не дошёл, а не то, что операция провалилась. В UndoBench агент просит трекер завести тикет, сервер создаёт тикет 781, но подтверждение теряется, и агент повторяет запрос вслепую. При потере ответа наивные повторы давали дубликаты в 54% испытаний. Вторая проблема — субагенты.

Что известно по теме: запреты в коде и лестница автономии: Anthropic и Meta?

Lydia из команды Claude Code рассказала, что число изменений выросло с 2500 в день в мае до более 30 000 в сентябре. С августа по умолчанию включён auto mode: он блокирует 89% заведомо опасных команд, тогда как люди ловили около 14%. Но примерно каждая десятая опасная команда всё равно проходит, поэтому гарантии даёт обвязка, а не промпт.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…