Поток 3 · Старт 23.11Живой Поток 3 интенсива «Вайбкодинг и ИИ-агенты» (23 ноября, 18:30 МСК): 3 недели практики, 9 живых встречПоток 3 (23.11) →
РазборAPI / Продукт · В работуHabr AI→ оригинал

EvoNova Labs открыла хаос-бенчмарк из 10 сбоев круглосуточных ИИ-агентов

Агент, который отлично отвечает на тестах, через четыре часа круглосуточной работы может сломаться: память утекает, шлюз сыплет 429/503, а после рестарта дублируется платёж. EvoNova Labs описала 10 таких сбоев (F01–F10) и выложила бенчмарк на чистом Python, который гоняет их за доли секунды. Поэтому проверку устойчивости агента стоит ставить в CI отдельно от оценки качества ответов.

AI-обработка оригинала Habr AI; редакция Hamidun News
EvoNova Labs открыла хаос-бенчмарк из 10 сбоев круглосуточных ИИ-агентов
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
F07после рестарта побочный эффект срабатывает ровно 1 раз
F09AST-проверка блокирует обход песочницы до запуска кода
Ключевой факт #3Лицензии MIT и CC0-1.0, тесты в GitHub Actions на Python 3.11 и 3.12

Когда прототип агента переезжает с ноутбука в круглосуточный продакшен, привычные метрики качества перестают говорить о том, выживет ли система. Модель может блестяще рассуждать в одном вызове, а через четыре часа непрерывной работы цикл ломается: заполняется память, провайдер начинает отвечать ошибками 429 и 503, агент зацикливается на вызове инструмента или после аварийного перезапуска повторяет уже выполненную операцию. Команда EvoNova Labs собрала такие сбои в таксономию F01–F10 и открыла бенчмарк, который можно запустить у себя в CI.

Важная оговорка: это материал самих авторов инструментов, а не независимое исследование. Итоговых цифр сравнения «наивного» и «защищённого» агентов в тексте нет, так что воспринимать набор стоит как готовый чек-лист и заготовку для тестов, а не как доказанный стандарт.

Десять сбоев, которые не ловят обычные eval-наборы

Авторы опираются на исследование MAST (arXiv:2503.13657): в более чем 1600 трассах многоагентной работы значительная доля отказов возникала не из-за слабой модели, а на стыке архитектуры рантайма, излишнего соглашательства агентов и отсутствия жёсткой проверки границ. Эту классификацию они совместили с OWASP Top 10 for Agentic Applications (2026) и получили матрицу в репозитории awesome-autonomous-agent-resilience:

  • F01–F03 — деградация контекста, ошибки 429/503 и зацикливание. Симптомы: потеря системного промпта, падение воркера, сгоревший бюджет. Защита: скользящее окно с сохранённым ядром инструкций, трёхфазный Circuit Breaker и потолок числа шагов.
  • F04–F06 — соглашательство, инъекции и избыточные права. Агент выдумывает параметры, сливает секреты или выполняет несанкционированный DROP. Защита: детерминированный верификатор, каузальный граф, изоляция данных и подтверждение человеком опасных действий.
  • F07–F08 — внезапная смерть процесса и убийство по памяти. Итог — двойные списания или отправки и рост RSS до SIGKILL. Защита: журнал намерений на SQLite WAL (PENDING → COMMITTED) и ограниченный LRU-кэш.
  • F09–F10 — побег сгенерированного кода из песочницы и галлюцинации оферт, вроде обещанной скидки 99%. Защита: статический AST-инспектор до исполнения и жёсткая схемная проверка политики.

Как работает бенчмарк

Файл benchmarks/resilience_bench.py написан на чистом Python 3.11+ без внешних зависимостей и прогоняет все десять сценариев за доли секунды. Внутри две эталонные реализации: NaiveBaselineAgent — типичный наивный цикл, и HardenedReferenceAgent со встроенными защитами. Итоговый балл — доля пройденных инвариантов в процентах.

Примеры проверок. В F07 тест принудительно повторяет шаг с тем же ключом идемпотентности на SQLite в режиме WAL и убеждается, что реальный побочный эффект сработал ровно один раз, а не дважды. В F09 инспектор разбирает синтаксическое дерево фрагмента вроде ().__class__.__base__.__subclasses__() и блокирует его до запуска интерпретатора.

Запуск: python -m benchmarks.resilience_bench --target compare --json report.json --badge badge.svg. Команда выдаёт JSON-отчёт и SVG-бейдж для README. У авторов тест идёт в GitHub Actions на Python 3.11 и 3.12 при каждом коммите.

Остальные инструменты экосистемы

Вокруг бенчмарка авторы выложили набор библиотек под MIT, а часть материалов — под CC0-1.0.

sci-integrity-guard (команды sci-guard check и sci-guard omml) проверяет научные и аналитические тексты, которые пишут агенты. TableConsistencyGuard сверяет числа одного эксперимента в разных таблицах с настраиваемым допуском и помечает «осиротевшие» проценты в аннотации как ORPHANED_PROSE_METRIC. CitationVerifier аккуратно вытаскивает DOI со скобками и точками с запятой и проверяет их через CrossRef с запасным переходом на OpenAlex. LatexToOmmlConverter чинит испорченные литералы вроде \x0crac вместо \frac и собирает формулы в формат Word OMML.

evonova-causal-guard работает с причинными связями: направленные графы CausalDAG, оператор вмешательства, алгоритм d_separated (Bayes-Ball) и поиск множеств корректировки по бэкдор-критерию Перла. Он должен не давать агенту принять корреляцию за причину. TabuMemory хранит отпечатки SHA-256 с TTL и не позволяет заново предлагать уже опровергнутые утверждения, а DebateArbiter запускает дебаты Proposer → Skeptic → Judge.

Рантайм-слой состоит из agent-bunker (журнал намерений, контроль RSS, трёхфазные выключатели), orchestration-engine (асинхронная оркестрация волн DAG по алгоритму Кана), agent-security-sandbox (перехват опасных импортов через AST) и agentic-vector-memory (эпизодическая память с экспоненциальным затуханием).

Что из этого взять

Главная мысль авторов практична: нейросеть генерирует гипотезы и планы, а журналы восстановления, изоляцию кода, сверку чисел и валидацию ссылок берёт на себя лёгкая детерминированная обвязка. Если вы выпускаете агента в продакшен, начните с трёх вещей: ключи идемпотентности для всех действий с побочными эффектами, потолок шагов и бюджета, а также статическую проверку генерируемого кода. Матрицу F01–F10 удобно использовать как список для собственных стресс-тестов, даже если вы не будете брать код авторов целиком.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: десять сбоев, которые не ловят обычные eval-наборы?

Авторы опираются на исследование MAST (arXiv:2503.13657): в более чем 1600 трассах многоагентной работы значительная доля отказов возникала не из-за слабой модели, а на стыке архитектуры рантайма, излишнего соглашательства агентов и отсутствия жёсткой проверки границ. Эту классификацию они совместили с OWASP Top 10 for Agentic Applications (2026) и получили матрицу в репозитории awesome-autonomous-agent-resilience: F01–F03 — деградация контекста, ошибки 429/503 и зацикливание.

Что известно по теме: как работает бенчмарк?

Файл benchmarks/resilience_bench.py написан на чистом Python 3.11+ без внешних зависимостей и прогоняет все десять сценариев за доли секунды. Внутри две эталонные реализации: NaiveBaselineAgent — типичный наивный цикл, и HardenedReferenceAgent со встроенными защитами. Итоговый балл — доля пройденных инвариантов в процентах. Примеры проверок. В F07 тест принудительно повторяет шаг с тем же ключом идемпотентности на SQLite в режиме WAL и убеждается, что реальный побочный эффект сработал ровно один раз, а не дважды.

Что известно по теме: остальные инструменты экосистемы?

Вокруг бенчмарка авторы выложили набор библиотек под MIT, а часть материалов — под CC0-1.0. sci-integrity-guard (команды sci-guard check и sci-guard omml) проверяет научные и аналитические тексты, которые пишут агенты. TableConsistencyGuard сверяет числа одного эксперимента в разных таблицах с настраиваемым допуском и помечает «осиротевшие» проценты в аннотации как ORPHANED_PROSE_METRIC.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…