Vercel: агент заказал верный кофе в 60% попыток, но пять раз подряд — лишь в 8%
Агент может «успешно» заказать горячий латте вместо холодного: логи чистые, а клиент недоволен. Vercel предлагает прогонять одну задачу несколько раз и считать долю верных исходов. В демо Claude Code с Opus 5.5 справился в 3 из 5 попыток (60%): хотя бы один верный заказ за пять попыток — около 99%, а пять верных подряд — около 8%. Для ежедневного заказа кофе важнее второе число.
AI-обработка оригинала Vercel Blog; редакция Hamidun News
Представьте, что вы выпустили API для заказа кофе, а клиентами стали не люди, а ИИ-агенты. Один из них оформляет «успешный» заказ горячего латте, хотя пользователь просил холодный. Запрос прошёл, логи зелёные, мониторинг молчит, а человек остался без нужного напитка. Именно такие провалы Vercel предлагает ловить с помощью evals: одну и ту же задачу дают агенту много раз и считают, как часто результат верный. В демонстрационном прогоне Claude Code с моделью Opus 5.5 справился с заказом в 3 попытках из 5, то есть в 60%. Шанс получить хотя бы один верный заказ за пять попыток около 99%, а шанс получить пять верных заказов подряд — всего около 8%. Дальше разберём, откуда берутся эти числа и почему второе важнее для продукта.
Чем eval отличается от обычного теста
Обычный тест отвечает на вопрос «сработало или нет». Eval отвечает на вопрос «как часто и насколько хорошо». Это нужно, потому что ответы LLM меняются от запуска к запуску: один удачный ручной прогон ничего не доказывает. Чтобы понять, помогло ли исправление, задачи надо повторять до и после изменения и сравнивать результаты.
Vercel делит тесты агентского софта по числу вызовов модели. Детерминированные тесты не используют LLM вообще: например, проверяют, что команда поиска возвращает только нужные кафе, а заказ списывает ровно ту сумму, которую назвали в расчёте. One-turn eval использует один вызов и проверяет одно решение, скажем, какую команду агент запустит первой. E2E-eval использует несколько вызовов: агент проходит задачу целиком, а проверяется итог. Чем больше вызовов, тем дороже и дольше тест, поэтому основную массу проверок должны составлять дешёвые нижние уровни. Но успех зависит от всей цепочки (найти кафе, отфильтровать по условиям, оформить заказ), и каждый шаг по отдельности может выглядеть разумно. Поэтому для проверки успеха нужен E2E-eval. Такие же, к примеру, популярные бенчмарки SWE-bench и Terminal-Bench.
Кофейный пример: цель и метрики
В демо Vercel взят вымышленный сервис SF Beans с командой sfbeans. Запрос клиента: большой холодный латте на цельном молоке, к 9:00, дешевле $8 с налогом и чаевыми, пользователь в районе Mission. Из четырёх кафе три не подходят: у Fog City Roasters сломан льдогенератор, у 24th St Beans латте с налогом и чаевыми стоит $9,27, у Dolores Drip самая ранняя выдача в 9:20. Подходит только Valencia Grind: $7,42 и готовность в 8:50.
Цель Vercel советует брать узкую: один результат, важный пользователям. Искать её можно в мониторинге, обращениях клиентов или роадмапе. У sfbeans большинство агентов — Claude Code и Codex, а самая частая жалоба — «агент заказал не тот напиток». Критерий готовности жёсткий: заказ верен в каждой попытке, а не «в основном».
Метрик три. Success rate — доля пройденных попыток. Pass@k — шанс, что хотя бы одна из k попыток удалась; он отвечает на вопрос, умеет ли агент это вообще. Pass^k — шанс, что удались все k попыток; он отвечает на вопрос, можно ли на агента полагаться каждый раз. Время, шаги и стоимость считают только по успешным попыткам, потому что неудачные короче: агент пропускает работу, например не запрашивает итоговую цену.
В пяти попытках агент трижды заказал в Valencia Grind. Один раз он пропустил расчёт и заказал в 24th St Beans за $9,27, ещё раз выбрал Dolores Drip с выдачей в 9:20. Расчёт такой: pass@5 = 1 − 0,4⁵ ≈ 99%, pass^5 = 0,6⁵ ≈ 8%. При ежедневном заказе человек получит хотя бы один неверный кофе в 92% недель. Успешная попытка в среднем занимает около 9 шагов и 3 минуты 50 секунд и стоит $0,56, но с учётом оплаченных неудач выходит $0,78 за один успех.
Какую метрику ставить на первое место, определяет цена ошибки. Утренний кофе повторить нельзя, поэтому sfbeans смотрит на pass^5. Кодовый агент с набором тестов может поправить себя по обратной связи, ему подходит pass@k. Письмо, которое человек всё равно прочитает перед отправкой, оценивают обычным success rate.
Как собрать набор задач и чего не стоит ждать
Хорошая задача состоит из инструкции, окружения с одинаковым стартом для каждой попытки, верификатора (проверки итогового состояния, лучше по каждому ограничению отдельно) и, по желанию, эталонного решения. В наборе должны быть типовой случай, пограничные случаи и хотя бы один запрос, где правильно ничего не делать. В примере четыре задачи: обычный заказ, «любимое кафе не делает нужный напиток», групповой заказ на 6 напитков и $45 с одним местом выдачи, а также невозможный запрос, где нужно сообщить пользователю, что ничего не подходит. Для последнего верификатор читает журнал команд, недоступный агенту для записи, чтобы убедиться, что тот искал, прежде чем сдаться. Запускают всё это через Harbor, открытый фреймворк от авторов Terminal-Bench: он гоняет агентов в контейнерах, проверяет результаты и записывает их действия.
Честные оговорки. Покрыть все возможные действия LLM с вашим продуктом нельзя, поэтому начинайте с одной проблемы и горстки задач. Общие средние скрывают задачу, которая падает постоянно, так что смотрите результаты по каждой. А при пяти попытках 100% означает лишь «ошибок пока не видели», но не «никогда не ошибается». Цифры в кофейном примере иллюстративные.
Практический вывод: возьмите самую частую жалобу на агентов, превратите её в несколько задач с автоматической проверкой и запускайте каждую по нескольку раз. Метрику выбирайте по цене ошибки, а для повторяющихся сценариев ориентируйтесь на надёжность «каждый раз».
- 21 нояб. 2026 г.Агент Skein стирает старые этапы из контекста: 97% удачных запусков, но дороже OpenCode
- 21 нояб. 2026 г.Вместо Cursor: шесть открытых кодинг-агентов, у OpenCode 228 тысяч звёзд на GitHub
- 21 нояб. 2026 г.Агент ClawDOS пишет и запускает код на IBM PC 5160: простые числа за 64 секунды
- 21 нояб. 2026 г.Apple готовит ИИ-агента и усложнила доступ чужим: разрешение теперь в 14 шагов, а не в 4
Вопросы и ответы по материалу
Что известно по теме: чем eval отличается от обычного теста?
Обычный тест отвечает на вопрос «сработало или нет». Eval отвечает на вопрос «как часто и насколько хорошо». Это нужно, потому что ответы LLM меняются от запуска к запуску: один удачный ручной прогон ничего не доказывает. Чтобы понять, помогло ли исправление, задачи надо повторять до и после изменения и сравнивать результаты. Vercel делит тесты агентского софта по числу вызовов модели.
Что известно по теме: кофейный пример: цель и метрики?
В демо Vercel взят вымышленный сервис SF Beans с командой sfbeans. Запрос клиента: большой холодный латте на цельном молоке, к 9:00, дешевле $8 с налогом и чаевыми, пользователь в районе Mission. Из четырёх кафе три не подходят: у Fog City Roasters сломан льдогенератор, у 24th St Beans латте с налогом и чаевыми стоит $9,27, у Dolores Drip самая ранняя выдача в 9:20. Подходит только Valencia Grind: $7,42 и готовность в 8:50. Цель Vercel советует брать узкую: один результат, важный пользователям.
Что известно по теме: как собрать набор задач и чего не стоит ждать?
Хорошая задача состоит из инструкции, окружения с одинаковым стартом для каждой попытки, верификатора (проверки итогового состояния, лучше по каждому ограничению отдельно) и, по желанию, эталонного решения. В наборе должны быть типовой случай, пограничные случаи и хотя бы один запрос, где правильно ничего не делать.
Соберите рабочего ИИ-агента или сервис своими руками без ручного кода
В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.