Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизAPI / Продукт · В работуVercel Blog→ оригинал

Агент с 60% успехом хотя бы раз из пяти заказывает кофе верно с шансом 99%, пять подряд — 8%

Когда ИИ-агент заказывает кофе через ваш API, логи могут быть зелёными, хотя вместо айс-латте он взял горячий. Vercel советует прогонять одну задачу много раз и считать долю успехов. В демо агент справился в 3 из 5 попыток, то есть в 60%: шанс хотя бы одного верного заказа за пять попыток — 99%, а пяти верных подряд — всего 8%. Если пользователю нужен верный результат каждое утро, смотреть надо на второе число.

AI-обработка оригинала Vercel Blog; редакция Hamidun News
Агент с 60% успехом хотя бы раз из пяти заказывает кофе верно с шансом 99%, пять подряд — 8%
Источник: Vercel Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникVercel Blog ↗
Главный редактор
Pass@5 = 99%хотя бы один из пяти заказов верный; pass^5 = 8%: все пять
Ключевой факт #2Дешёвые тесты без LLM — основа пирамиды, дорогие E2E-прогоны — сверху
Ключевой факт #3Harbor от авторов Terminal-Bench гоняет агентов в контейнерах

Представьте, что вы сделали API для заказа кофе, а клиентом стал не человек, а ИИ-агент. Он оформил заказ, запрос отработал, логи зелёные, но пользователь просил айс-латте, а ему привезли горячий. Именно такие тихие ошибки и разбирает команда Vercel. Её главный пример: агент справляется с задачей в 3 из 5 попыток, то есть в 60%. Если дать ему пять попыток, хотя бы одна окажется верной с вероятностью около 99%. Но все пять заказов подряд он выполнит верно лишь примерно в 8% случаев. Обе цифры правильные, просто отвечают они на разные вопросы.

Агент — это тоже пользователь вашего продукта

Если вы делаете API, CLI, MCP-сервер или SDK, у вас появился новый тип клиента. Агент не видел вашего запуска и рекламы, но проходит ту же воронку, что и человек: находит продукт, выбирает его, получает доступ и пытается решить задачу. На каждом этапе до конца доходит меньше агентов. Vercel сосредоточилась на последнем шаге, успехе: выполнил ли агент то, о чём просили.

Проверить это труднее, чем кажется. Ответы LLM меняются от запуска к запуску, поэтому один удачный ручной тест не доказывает, что исправление помогло. Нужен eval: тест, который запускают много раз и оценивают результат до и после правки.

Vercel делит тесты для агентского софта по числу обращений к модели. Детерминированные тесты не вызывают LLM вообще. One-turn evals используют один вызов и проверяют одно решение, например какую команду агент запустит первой. E2E evals дают агенту пройти задачу целиком и проверяют итог. SWE-bench и Terminal-Bench относятся именно к ним. Чем выше уровень, тем дороже и медленнее тест, поэтому основную массу должны составлять дешёвые. Но успех можно проверить только на верхнем уровне: каждый шаг по отдельности выглядит разумно, а заказ всё равно получается неверным.

Кофе на 8:30: три метрики вместо одной

В примере сервис SF Beans принимает заказы на кофе в Сан-Франциско через CLI sfbeans. Запрос такой: большой айс-латте на цельном молоке, к 9:00, дешевле $8 с налогом и чаевыми. Из четырёх кофеен подходит только Valencia Grind: в Fog City Roasters сломана машина для льда, в 24th St Beans выходит $9,27 после налога и чаевых, а в Dolores Drip заказ будет готов не раньше 9:20.

Тест строят на Harbor, открытом фреймворке от создателей Terminal-Bench. Он запускает агентов в контейнерах, проверяет результат и записывает все действия. Проверка смотрит, что заказ ровно один, напиток верный, время подходит и бюджет не превышен.

Метрики такие:

  • Доля успехов: 3 из 5 попыток дают 60%.
  • Pass@k: вероятность, что хотя бы одна из k попыток удалась. Для пяти попыток это около 99%. Показатель отвечает на вопрос, умеет ли агент задачу вообще.
  • Pass^k: вероятность, что удались все k попыток. Для пяти это около 8%. Показатель отвечает на вопрос, можно ли на агента положиться каждый раз.

В иллюстративной таблице Vercel для Claude Code с Opus 5.5 пользователь, который заказывает кофе каждый будний день, получает хотя бы один неверный заказ в 92% недель. Для утреннего кофе повтора нет, поэтому SF Beans оптимизирует именно pass^5. Для кодинг-агента с тестами важнее pass@k: он сам видит ошибки и пробует снова. Для черновика письма, который человек всё равно прочтёт, хватает обычной доли успехов.

Шаги, время и стоимость считают только по успешным прогонам: провалы короче, потому что агент пропустил работу, например не запросил цену. В демо успешный прогон занимает около 9 шагов и 3:50 и стоит $0,56. Если учесть оплаченные неудачи, цена одного успеха растёт до $0,78.

С чего начать

Покрыть тестами всё, что LLM может сделать с продуктом, нельзя. Vercel советует взять один исход, важный пользователям, и искать его в наблюдаемости, обращениях клиентов и роадмапе. У SF Beans главным оказался тикет «агент заказал не тот напиток», поэтому цель такая: верный заказ в каждой попытке у Claude Code и Codex, откуда идёт основной трафик.

Набор задач включает типовой заказ, два пограничных случая (любимая кофейня без нужного напитка и групповой заказ на шесть напитков и $45) и ситуацию, где правильно ничего не заказывать и сообщить, что вариантов нет. Для последней проверка читает журнал команд, в который агент писать не может, чтобы убедиться, что он искал, прежде чем сдаться.

Ограничение простое: при пяти попытках 100% значит лишь «сбоев пока не видели». Общие средние могут скрывать задачу, которая падает часто, поэтому результаты смотрите по каждой задаче отдельно. Практический порядок такой: возьмите одну болевую задачу, прогоните её несколько раз и выберите главную метрику по цене ошибки для пользователя.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: агент — это тоже пользователь вашего продукта?

Если вы делаете API, CLI, MCP-сервер или SDK, у вас появился новый тип клиента. Агент не видел вашего запуска и рекламы, но проходит ту же воронку, что и человек: находит продукт, выбирает его, получает доступ и пытается решить задачу. На каждом этапе до конца доходит меньше агентов. Vercel сосредоточилась на последнем шаге, успехе: выполнил ли агент то, о чём просили. Проверить это труднее, чем кажется.

Что известно по теме: кофе на 8:30: три метрики вместо одной?

В примере сервис SF Beans принимает заказы на кофе в Сан-Франциско через CLI sfbeans. Запрос такой: большой айс-латте на цельном молоке, к 9:00, дешевле $8 с налогом и чаевыми. Из четырёх кофеен подходит только Valencia Grind: в Fog City Roasters сломана машина для льда, в 24th St Beans выходит $9,27 после налога и чаевых, а в Dolores Drip заказ будет готов не раньше 9:20. Тест строят на Harbor, открытом фреймворке от создателей Terminal-Bench.

Что известно по теме: с чего начать?

Покрыть тестами всё, что LLM может сделать с продуктом, нельзя. Vercel советует взять один исход, важный пользователям, и искать его в наблюдаемости, обращениях клиентов и роадмапе. У SF Beans главным оказался тикет «агент заказал не тот напиток», поэтому цель такая: верный заказ в каждой попытке у Claude Code и Codex, откуда идёт основной трафик.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ ИИ-агенты на практике · Академия & Nomad

От чтения про ИИ-агентов — к запуску своего агента за вечер

Пошаговая сборка автономных агентов и MCP-связок в Hamidun Academy (academy.hamidun.com) (72 часа бесплатно) или мгновенный запуск готовых мультишаговых агентов в облаке Nomad.

Попробовать Академию (72ч бесплатно) →Запустить Nomad Agent
Что вы думаете?
Загружаем комментарии…