CRM-Agent-Bench проверил 16 ИИ-агентов: лучший строго выполнил 83,6% задач

Агент в чате может звучать безупречно и при этом оставить в CRM испорченную запись, не тот статус заказа или лишний возврат денег. Новый бенчмарк CRM-Agent-Bench оценивает именно это расхождение между «сказал» и «сделал». Его авторы, Monojit Banerjee, Zhujun Lan и Defu Cao, собрали 555 задач с состоянием и несколькими репликами диалога в девяти бизнес-доменах. Шестнадцать оценённых систем показали строгий успех от 64,32% до 83,60%. Код опубликован в репозитории salesforce-misc/crm-agent-bench, у проекта есть отдельная страница.

Контракт вместо «похоже на правду»

Большинство агентных бенчмарков смотрят либо на финальный ответ, либо на итоговое состояние среды. Авторы считают этого недостаточно для боевого развёртывания и предлагают оценивать сразу четыре грани:

• исход, то есть к какому результату пришёл агент;
• траекторию, то есть какими шагами он шёл;
• операционную жизнеспособность: задержку и стоимость;
• соблюдение политик, заданных в задаче.

CRM для такой проверки подходит почти идеально: записи изменяются, поверх них лежат операционные правила, а ошибка имеет денежные последствия. Поэтому каждая из 555 задач снабжена собственным исполняемым контрактом. Контракт собирается из проверок шести видов:

• действия, которые агент должен выполнить;
• аргументы вызовов инструментов;
• порядок операций;
• содержание ответа пользователю;
• целевое состояние данных после работы;
• защищённое состояние, которое трогать нельзя.

Последний пункт важнее остальных. Агент, который закрыл тикет и заодно перезаписал чужую запись, формально выполнил просьбу, но в реальной компании устроил инцидент. Успех в бенчмарке определяется как строгая конъюнкция: засчитывается задача, только если прошли все проверки, объявленные именно для неё. Частичные баллы за «почти правильно» не начисляются.

Шестнадцать систем, потолок на 83,6%

Оценивается не голая модель, а система целиком: оболочка агента, инструменты, логика диалога. Это ближе к тому, что компании реально покупают и запускают. Помимо доли успешных задач бенчмарк фиксирует охват оценкой, задержку и стоимость прогона.

Результаты на проверенном финальном релизе такие: шестнадцать систем уложились в диапазон от 64,32% до 83,60% строгого успеха. Разброс почти в двадцать процентных пунктов показывает, что задачи не насыщены и бенчмарк различает системы. Лидеры при этом сгруппированы плотно, но по цене и по надёжности в отдельных доменах расходятся резко. Одна система может быть сильна в одной предметной области и проседать в другой, а средний процент это прячет.

Задачи размечены 36 тегами способностей, поэтому провалы можно разбирать по конкретным навыкам и доменам, а не по общей цифре. Авторы называют фреймворк аудируемым и переносимым: структуру можно расширять по мере того, как модели будут упираться в потолок.

Как этим пользоваться при выборе агента

Для команд, которые внедряют агентов в службу поддержки, продажи или back-office, главный урок в том, что точность ответа не гарантирует корректности транзакции. Оценивать нужно итоговое состояние данных, порядок действий и отсутствие побочных эффектов.

Второе практическое следствие: цифры нужно смотреть парой «успех плюс стоимость». Если лидеры различаются по цене существенно, а по качеству почти нет, выбор самого дорогого варианта плохо обоснован.

Третье: итоговый процент не заменяет разбор по доменам. Прежде чем доверять агенту платежи, возвраты или изменение клиентских записей, стоит прогнать задачи своего профиля и посмотреть на защищённое состояние. Структуру контрактов из CRM-Agent-Bench можно перенести на собственные процессы: описать для каждого сценария ожидаемые действия, допустимые аргументы и данные, которые трогать нельзя.

Остаётся и ограничение: максимум в 83,6% означает, что примерно каждая шестая задача даже у лучшей системы проваливается по строгим критериям. Для процессов, где ошибка стоит денег, этого мало без человеческого контроля и откатов.