AWS открыла UAEF: бесплатный тест для ИИ-агентов по 36 метрикам

Знакомая история: вы поправили одну строчку в системном промпте, агент стал лучше отвечать на ваш любимый тестовый вопрос, и вы выкатили изменение. Через неделю выясняется, что он стал путать аргументы при вызове внутреннего API, а на часть запросов отвечает слишком уверенно. Никто этого не заметил, потому что агента проверяли на глаз. AWS выпустила бесплатный open-source инструмент UAEF как раз против такого сценария.

Какую проблему решает UAEF

Обычный код проверяют тестами: изменил функцию, прогнал набор, увидел красное. С агентами так не работает. Результат зависит от модели, промпта, набора инструментов и даже от порядка шагов, которые агент выбрал на этот раз. Поменяли модель на более новую или дешёвую, и где-то качество выросло, а где-то незаметно просело.

По данным анонса, UAEF проверяет агента по 36 измерениям. Они охватывают широкий диапазон: от того, как агент пользуется инструментами, до безопасности. Ключевая функция в том, что инструмент сравнивает состояния и показывает, стало ли хуже после очередной правки промпта или замены модели. Это та самая регрессия, которую обычно находят уже пользователи.

Что известно на сегодня

Первоисточник даёт немного деталей, поэтому опираемся только на подтверждённое:

• инструмент бесплатный и открытый, его выпустила Amazon Web Services;
• проверок 36, они покрывают и качество работы, и безопасность;
• он работает с несколькими агентными фреймворками, то есть не требует переписывать агента под один конкретный стек;
• он сигнализирует, когда изменение промпта или модели ухудшило агента.

Последний пункт важнее остальных. Многим командам не хватает не красивого отчёта, а простого ответа на вопрос: можно ли выкатывать эту версию. Если инструмент даёт такой ответ автоматически, его реально встроить в процесс.

Как это применить на практике

Представьте агента поддержки, который ищет заказ, проверяет статус доставки и при необходимости оформляет возврат. Сейчас он работает на одной модели. Вы хотите перейти на другую: она дешевле на треть. Без регрессионного набора вы сравниваете десяток диалогов вручную и надеетесь на лучшее.

С инструментом вроде UAEF логика другая:

1. Зафиксируйте текущую версию агента как базовую линию.
2. Прогоните ту же проверку на новой модели или новом промпте.
3. Посмотрите, по каким из метрик просадка, например по корректности вызова инструментов или по безопасности.
4. Решайте, оправдывает ли экономия найденную просадку.

Если у вас уже есть CI, логично поставить такую проверку перед релизом любого изменения промпта, а не только перед сменой модели. Промпты ломают поведение не реже.

Продакту это даёт язык для обсуждения качества: вместо «вроде стало лучше» можно говорить «по таким-то измерениям лучше, по таким-то хуже». Основателю — способ не привязываться к одному поставщику моделей, потому что смена провайдера перестаёт быть прыжком в неизвестность.

Чего пока не хватает

Есть оговорки. В доступном описании не раскрыто, как именно считаются метрики, какие фреймворки поддерживаются из коробки, нужны ли свои эталонные сценарии и сколько стоит прогон с учётом вызовов моделей-оценщиков. Это придётся проверять в репозитории и документации.

Ещё одно предостережение: 36 универсальных метрик не заменят тесты под ваш бизнес-процесс. Они хорошо ловят общие провалы, но не знают, что в вашей компании возврат свыше определённой суммы должен идти на ручное согласование. Такие сценарии всё равно придётся писать самим.

И всё же направление правильное. Оценка агентов остаётся слабым местом большинства команд, и появление бесплатного инструмента от крупного облачного вендора, который работает поверх разных фреймворков, снижает порог входа. Практический шаг простой: возьмите своего самого важного агента, прогоните его на UAEF и сохраните результат как точку отсчёта до следующего изменения промпта.