Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарVercel Blog→ оригинал

Vercel: агент заказал верный кофе в 60% попыток, но пять раз подряд — лишь в 8%

Агент может «успешно» заказать горячий латте вместо холодного: логи чистые, а клиент недоволен. Vercel предлагает прогонять одну задачу несколько раз и считать долю верных исходов. В демо Claude Code с Opus 5.5 справился в 3 из 5 попыток (60%): хотя бы один верный заказ за пять попыток — около 99%, а пять верных подряд — около 8%. Для ежедневного заказа кофе важнее второе число.

AI-обработка оригинала Vercel Blog; редакция Hamidun News
Vercel: агент заказал верный кофе в 60% попыток, но пять раз подряд — лишь в 8%
Источник: Vercel Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникVercel Blog ↗
Главный редактор
Pass@5 ≈ 99%хотя бы одна из пяти попыток верна
Pass^5 ≈ 8%все пять попыток подряд верны (0,6 в пятой степени)
Ключевой факт #3При ежедневном заказе неверный кофе бывает в 92% недель

Представьте, что вы выпустили API для заказа кофе, а клиентами стали не люди, а ИИ-агенты. Один из них оформляет «успешный» заказ горячего латте, хотя пользователь просил холодный. Запрос прошёл, логи зелёные, мониторинг молчит, а человек остался без нужного напитка. Именно такие провалы Vercel предлагает ловить с помощью evals: одну и ту же задачу дают агенту много раз и считают, как часто результат верный. В демонстрационном прогоне Claude Code с моделью Opus 5.5 справился с заказом в 3 попытках из 5, то есть в 60%. Шанс получить хотя бы один верный заказ за пять попыток около 99%, а шанс получить пять верных заказов подряд — всего около 8%. Дальше разберём, откуда берутся эти числа и почему второе важнее для продукта.

Чем eval отличается от обычного теста

Обычный тест отвечает на вопрос «сработало или нет». Eval отвечает на вопрос «как часто и насколько хорошо». Это нужно, потому что ответы LLM меняются от запуска к запуску: один удачный ручной прогон ничего не доказывает. Чтобы понять, помогло ли исправление, задачи надо повторять до и после изменения и сравнивать результаты.

Vercel делит тесты агентского софта по числу вызовов модели. Детерминированные тесты не используют LLM вообще: например, проверяют, что команда поиска возвращает только нужные кафе, а заказ списывает ровно ту сумму, которую назвали в расчёте. One-turn eval использует один вызов и проверяет одно решение, скажем, какую команду агент запустит первой. E2E-eval использует несколько вызовов: агент проходит задачу целиком, а проверяется итог. Чем больше вызовов, тем дороже и дольше тест, поэтому основную массу проверок должны составлять дешёвые нижние уровни. Но успех зависит от всей цепочки (найти кафе, отфильтровать по условиям, оформить заказ), и каждый шаг по отдельности может выглядеть разумно. Поэтому для проверки успеха нужен E2E-eval. Такие же, к примеру, популярные бенчмарки SWE-bench и Terminal-Bench.

Кофейный пример: цель и метрики

В демо Vercel взят вымышленный сервис SF Beans с командой sfbeans. Запрос клиента: большой холодный латте на цельном молоке, к 9:00, дешевле $8 с налогом и чаевыми, пользователь в районе Mission. Из четырёх кафе три не подходят: у Fog City Roasters сломан льдогенератор, у 24th St Beans латте с налогом и чаевыми стоит $9,27, у Dolores Drip самая ранняя выдача в 9:20. Подходит только Valencia Grind: $7,42 и готовность в 8:50.

Цель Vercel советует брать узкую: один результат, важный пользователям. Искать её можно в мониторинге, обращениях клиентов или роадмапе. У sfbeans большинство агентов — Claude Code и Codex, а самая частая жалоба — «агент заказал не тот напиток». Критерий готовности жёсткий: заказ верен в каждой попытке, а не «в основном».

Метрик три. Success rate — доля пройденных попыток. Pass@k — шанс, что хотя бы одна из k попыток удалась; он отвечает на вопрос, умеет ли агент это вообще. Pass^k — шанс, что удались все k попыток; он отвечает на вопрос, можно ли на агента полагаться каждый раз. Время, шаги и стоимость считают только по успешным попыткам, потому что неудачные короче: агент пропускает работу, например не запрашивает итоговую цену.

В пяти попытках агент трижды заказал в Valencia Grind. Один раз он пропустил расчёт и заказал в 24th St Beans за $9,27, ещё раз выбрал Dolores Drip с выдачей в 9:20. Расчёт такой: pass@5 = 1 − 0,4⁵ ≈ 99%, pass^5 = 0,6⁵ ≈ 8%. При ежедневном заказе человек получит хотя бы один неверный кофе в 92% недель. Успешная попытка в среднем занимает около 9 шагов и 3 минуты 50 секунд и стоит $0,56, но с учётом оплаченных неудач выходит $0,78 за один успех.

Какую метрику ставить на первое место, определяет цена ошибки. Утренний кофе повторить нельзя, поэтому sfbeans смотрит на pass^5. Кодовый агент с набором тестов может поправить себя по обратной связи, ему подходит pass@k. Письмо, которое человек всё равно прочитает перед отправкой, оценивают обычным success rate.

Как собрать набор задач и чего не стоит ждать

Хорошая задача состоит из инструкции, окружения с одинаковым стартом для каждой попытки, верификатора (проверки итогового состояния, лучше по каждому ограничению отдельно) и, по желанию, эталонного решения. В наборе должны быть типовой случай, пограничные случаи и хотя бы один запрос, где правильно ничего не делать. В примере четыре задачи: обычный заказ, «любимое кафе не делает нужный напиток», групповой заказ на 6 напитков и $45 с одним местом выдачи, а также невозможный запрос, где нужно сообщить пользователю, что ничего не подходит. Для последнего верификатор читает журнал команд, недоступный агенту для записи, чтобы убедиться, что тот искал, прежде чем сдаться. Запускают всё это через Harbor, открытый фреймворк от авторов Terminal-Bench: он гоняет агентов в контейнерах, проверяет результаты и записывает их действия.

Честные оговорки. Покрыть все возможные действия LLM с вашим продуктом нельзя, поэтому начинайте с одной проблемы и горстки задач. Общие средние скрывают задачу, которая падает постоянно, так что смотрите результаты по каждой. А при пяти попытках 100% означает лишь «ошибок пока не видели», но не «никогда не ошибается». Цифры в кофейном примере иллюстративные.

Практический вывод: возьмите самую частую жалобу на агентов, превратите её в несколько задач с автоматической проверкой и запускайте каждую по нескольку раз. Метрику выбирайте по цене ошибки, а для повторяющихся сценариев ориентируйтесь на надёжность «каждый раз».

Сюжет

Вопросы и ответы по материалу

Что известно по теме: чем eval отличается от обычного теста?

Обычный тест отвечает на вопрос «сработало или нет». Eval отвечает на вопрос «как часто и насколько хорошо». Это нужно, потому что ответы LLM меняются от запуска к запуску: один удачный ручной прогон ничего не доказывает. Чтобы понять, помогло ли исправление, задачи надо повторять до и после изменения и сравнивать результаты. Vercel делит тесты агентского софта по числу вызовов модели.

Что известно по теме: кофейный пример: цель и метрики?

В демо Vercel взят вымышленный сервис SF Beans с командой sfbeans. Запрос клиента: большой холодный латте на цельном молоке, к 9:00, дешевле $8 с налогом и чаевыми, пользователь в районе Mission. Из четырёх кафе три не подходят: у Fog City Roasters сломан льдогенератор, у 24th St Beans латте с налогом и чаевыми стоит $9,27, у Dolores Drip самая ранняя выдача в 9:20. Подходит только Valencia Grind: $7,42 и готовность в 8:50. Цель Vercel советует брать узкую: один результат, важный пользователям.

Что известно по теме: как собрать набор задач и чего не стоит ждать?

Хорошая задача состоит из инструкции, окружения с одинаковым стартом для каждой попытки, верификатора (проверки итогового состояния, лучше по каждому ограничению отдельно) и, по желанию, эталонного решения. В наборе должны быть типовой случай, пограничные случаи и хотя бы один запрос, где правильно ничего не делать.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…