Δτ-Bench: лучший ИИ-агент решает лишь 42,3% задач в меняющемся мире

Исследователи из University College London и их соавторы представили Δτ-Bench — исполняемый бенчмарк, в котором набор инструментов для ИИ-агента не стоит на месте. 1 588 проверенных многошаговых задач из 42 доменов прогоняются через шесть последовательных состояний экосистемы. Лучший из оценённых вариантов, модель или агентская обвязка, решает только 42,3% задач. Вместе с бенчмарком авторы предлагают Steward — менеджер экосистемы, который удерживает успешность выше при смене состояний и тратит меньше ресурсов на обслуживание навыков.

Тест, где учебник переписывают посреди экзамена

Большинство агентских бенчмарков устроены как экзамен с неизменным учебником: набор API фиксирован, документация аккуратная, правильный маршрут один. В реальных системах всё иначе. Сервисы развиваются независимо друг от друга. Знакомый инструмент исчезает или его заменяют, функциональность разных сервисов пересекается, документация шумит.

Δτ-Bench встраивает эту динамику в сам тест. Экосистема проходит шесть состояний, а переходы между ними построены через capability-preserving transformations, то есть преобразования, сохраняющие принципиальную возможность выполнить задачу. Задача остаётся решаемой, меняется только путь к ней. Такой дизайн проверяет два умения, которые раньше мерили порознь:

• проактивно находить более эффективные цепочки вызовов, а не держаться за первую работающую;
• быстро пересматривать накопленное процедурное знание, когда старые рецепты ломаются.

Почему навыки устаревают быстрее, чем агенты учатся

Самая тревожная часть результатов касается методов skill-learning, где агент накапливает повторно используемые процедуры. На старте они дают заметный выигрыш, но по мере эволюции экосистемы этот выигрыш не превращается в стабильную адаптацию. Накопленный опыт начинает работать против агента: он уверенно идёт по маршруту, который уже закрыт, или упускает новый инструмент, который делает ту же работу короче.

Общий потолок тоже невысок. Сильнейший из оценённых вариантов достигает 42,3% успешных задач. Для сравнения: на статичных бенчмарках агентов обычно оценивают в стабильной среде, а здесь стабильности нет, и значительная часть задач остаётся нерешённой.

Steward: садовник для инструментов и знаний

На основе этих наблюдений авторы собрали Steward. Идея в том, что инструменты и процедурные знания нужно вести вместе, а не отдельными подсистемами. Менеджер работает через два механизма:

• инкрементальное сопровождение навыков: правится только то, что устарело, без полной пересборки библиотеки;
• динамическая подача инструментов прямо во время выполнения задачи: агент получает актуальные варианты, когда они нужны.

По данным экспериментов, Steward держит более высокую успешность на протяжении всех изменений экосистемы при меньших затратах на поддержку навыков. Он лучше восстанавливает сломанные рабочие процессы и чаще переходит на более эффективные альтернативы.

Ключевые параметры Δτ-Bench

• Формат: исполняемый бенчмарк для агентов с многошаговыми диалогами.
• Объём: 1 588 валидированных задач.
• Охват: 42 домена.
• Динамика: шесть последовательных состояний экосистемы, созданных преобразованиями с сохранением возможностей.
• Помехи: перекрывающаяся функциональность, шумная документация, исчезающие и заменяемые инструменты.
• Лучший результат: 42,3% успешных задач.
• Предложенный метод: Steward с инкрементальным сопровождением навыков и динамической подачей инструментов.
• Авторы: Shuofei Qiao, Xuanguang Pan, Yijun Chen, Wendi Feng, Bin Wu, Runnan Fang, Yuqi Zhu, Shumin Deng, Emine Yilmaz.
• Материалы: статья arXiv 2610.34238 и репозиторий zjunlp/delta-tau-bench на GitHub.

Что проверить в своём агентском стеке

Если вы строите агентов на MCP-серверах, внутренних API или наборе плагинов, Δτ-Bench подсказывает конкретные вопросы к собственной системе. Что происходит с библиотекой навыков, когда один из сервисов меняет схему или исчезает? Есть ли механизм, который замечает появление более короткого пути, а не только поломку старого? Сколько стоит поддержка накопленных рецептов в токенах и человеческих часах?

Практический вывод простой. Оценивать агента по разовому прогону на замороженном наборе инструментов недостаточно. Нужен регулярный прогон на «дрейфующей» версии окружения, а память агента должна иметь политику устаревания и точечного обновления. Код бенчмарка открыт, так что такой стресс-тест можно собрать на своих доменах уже сейчас.