HERA учит ИИ-агентов отказываться от невыполнимых задач: точность 61,7% → 83,3%

Агент, который уверенно делает то, чего сделать нельзя, опаснее агента, который просто ошибается. Он вызывает инструменты, тратит бюджет и докладывает об успехе там, где решения не существует. Авторы статьи HERA, попавшей в Hugging Face Daily Papers, предлагают способ это лечить. На отложенных задачах их эволюционировавшая обвязка подняла точность отказов с 61,7% до 83,3%. Доля выполненных решаемых задач при этом выросла с 68,3% до 76,7%. Лучшая обвязка затем перенеслась на 19 других LLM и в среднем добавила им 15,3 процентного пункта точности отказов.

Проблема: агенты не умеют говорить «не могу»

В работе это называется agentic abstention: способность агента распознать, что задача невыполнима в текущей среде, и остановиться. Раньше надёжность в таких случаях пытались повысить двумя путями: дообучали модель или настраивали обвязку (harness), то есть всё, что окружает модель: инструкции, правила работы с инструментами, проверки. Оба подхода оптимизировали под фиксированный набор задач. Результат предсказуем: на заранее известных ловушках работает, на новых типах сбоев нет.

HERA атакует именно эту узость. Фреймворк состоит из двух частей, и вторая важнее первой.

Как устроен HERA

Первая часть — конвейер, который автоматически строит проверяемые пары задач: выполнимую и невыполнимую. Невыполнимая получается из выполнимой контролируемой мутацией среды. Например, из окружения убирают то, без чего решение невозможно. Пара даёт чистый контраст: агент должен справиться с одной версией и отказаться от другой. Проверяемость здесь ключевая: правильный ответ известен по построению, ручная разметка не нужна.

Вторая часть — процедура коэволюции. Провалы на прошлых задачах двигают адаптацию обвязки, а те же слабые места становятся заказом на генерацию новых сред и задач. Обвязка улучшается, среда становится жёстче в тех местах, где агент ломался, и цикл повторяется. Вместо статичного бенчмарка получается тренажёр, который подстраивается под слабости.

Цифры

• Точность отказов на отложенных задачах: 61,7% → 83,3% (+21,6 п.п.).
• Выполнение решаемых задач: 68,3% → 76,7% (+8,4 п.п.).
• По обоим показателям HERA лидирует среди сравниваемых методов.
• Перенос на 19 других LLM: в среднем +15,3 п.п. точности отказов без оптимизации под конкретную модель.
• Малые модели с такой обвязкой, по оценке авторов, дотягиваются до более мощных при примерно на 85% меньших затратах.

Отдельно стоит отметить рост на решаемых задачах. Обычная цена осторожности — перестраховка: агент начинает отказываться там, где решение есть. Здесь этого не произошло, обе метрики выросли одновременно. Наша арифметика: шаги значений кратны 1,67 п.п., что указывает на отложенную выборку порядка 60 задач. Выборка небольшая, поэтому разницу в отдельных пунктах между методами стоит читать осторожно. Перенос на 19 моделей при этом работает как независимая проверка: усреднённый результат по такому числу LLM менее зависит от удачи на одном наборе.

Самая практичная часть результата — экономика. Обвязка, подобранная один раз, переносится на другие модели, и малая модель с хорошей обвязкой закрывает часть сценариев вместо дорогой флагманской. Оценка в 85% экономии именно оценка, авторы не выдают её за измеренную цену в продакшене, и в реальной нагрузке цифра будет зависеть от тарифов и профиля задач.

Командам, которые строят агентов, из статьи следуют три вывода. Во-первых, невыполнимые задачи нужно включать в тестовый набор как отдельный класс и считать по ним отдельную метрику. Во-вторых, мутация среды — дешёвый способ получать такие кейсы: берёте работающий сценарий и ломаете условие, от которого зависит решение. В-третьих, перед тем как платить за более сильную модель, стоит проверить, не закрывает ли проблему переработанная обвязка. Ограничения остаются: результаты получены на конкретных средах авторов, и устойчивость к сбоям, которых мутации не покрывают, ещё предстоит проверить.