Агент с 60% успехом хотя бы раз из пяти заказывает кофе верно с шансом 99%, пять подряд — 8%
Когда ИИ-агент заказывает кофе через ваш API, логи могут быть зелёными, хотя вместо айс-латте он взял горячий. Vercel советует прогонять одну задачу много раз и считать долю успехов. В демо агент справился в 3 из 5 попыток, то есть в 60%: шанс хотя бы одного верного заказа за пять попыток — 99%, а пяти верных подряд — всего 8%. Если пользователю нужен верный результат каждое утро, смотреть надо на второе число.
AI-обработка оригинала Vercel Blog; редакция Hamidun News
Представьте, что вы сделали API для заказа кофе, а клиентом стал не человек, а ИИ-агент. Он оформил заказ, запрос отработал, логи зелёные, но пользователь просил айс-латте, а ему привезли горячий. Именно такие тихие ошибки и разбирает команда Vercel. Её главный пример: агент справляется с задачей в 3 из 5 попыток, то есть в 60%. Если дать ему пять попыток, хотя бы одна окажется верной с вероятностью около 99%. Но все пять заказов подряд он выполнит верно лишь примерно в 8% случаев. Обе цифры правильные, просто отвечают они на разные вопросы.
Агент — это тоже пользователь вашего продукта
Если вы делаете API, CLI, MCP-сервер или SDK, у вас появился новый тип клиента. Агент не видел вашего запуска и рекламы, но проходит ту же воронку, что и человек: находит продукт, выбирает его, получает доступ и пытается решить задачу. На каждом этапе до конца доходит меньше агентов. Vercel сосредоточилась на последнем шаге, успехе: выполнил ли агент то, о чём просили.
Проверить это труднее, чем кажется. Ответы LLM меняются от запуска к запуску, поэтому один удачный ручной тест не доказывает, что исправление помогло. Нужен eval: тест, который запускают много раз и оценивают результат до и после правки.
Vercel делит тесты для агентского софта по числу обращений к модели. Детерминированные тесты не вызывают LLM вообще. One-turn evals используют один вызов и проверяют одно решение, например какую команду агент запустит первой. E2E evals дают агенту пройти задачу целиком и проверяют итог. SWE-bench и Terminal-Bench относятся именно к ним. Чем выше уровень, тем дороже и медленнее тест, поэтому основную массу должны составлять дешёвые. Но успех можно проверить только на верхнем уровне: каждый шаг по отдельности выглядит разумно, а заказ всё равно получается неверным.
Кофе на 8:30: три метрики вместо одной
В примере сервис SF Beans принимает заказы на кофе в Сан-Франциско через CLI sfbeans. Запрос такой: большой айс-латте на цельном молоке, к 9:00, дешевле $8 с налогом и чаевыми. Из четырёх кофеен подходит только Valencia Grind: в Fog City Roasters сломана машина для льда, в 24th St Beans выходит $9,27 после налога и чаевых, а в Dolores Drip заказ будет готов не раньше 9:20.
Тест строят на Harbor, открытом фреймворке от создателей Terminal-Bench. Он запускает агентов в контейнерах, проверяет результат и записывает все действия. Проверка смотрит, что заказ ровно один, напиток верный, время подходит и бюджет не превышен.
Метрики такие:
- Доля успехов: 3 из 5 попыток дают 60%.
- Pass@k: вероятность, что хотя бы одна из k попыток удалась. Для пяти попыток это около 99%. Показатель отвечает на вопрос, умеет ли агент задачу вообще.
- Pass^k: вероятность, что удались все k попыток. Для пяти это около 8%. Показатель отвечает на вопрос, можно ли на агента положиться каждый раз.
В иллюстративной таблице Vercel для Claude Code с Opus 5.5 пользователь, который заказывает кофе каждый будний день, получает хотя бы один неверный заказ в 92% недель. Для утреннего кофе повтора нет, поэтому SF Beans оптимизирует именно pass^5. Для кодинг-агента с тестами важнее pass@k: он сам видит ошибки и пробует снова. Для черновика письма, который человек всё равно прочтёт, хватает обычной доли успехов.
Шаги, время и стоимость считают только по успешным прогонам: провалы короче, потому что агент пропустил работу, например не запросил цену. В демо успешный прогон занимает около 9 шагов и 3:50 и стоит $0,56. Если учесть оплаченные неудачи, цена одного успеха растёт до $0,78.
С чего начать
Покрыть тестами всё, что LLM может сделать с продуктом, нельзя. Vercel советует взять один исход, важный пользователям, и искать его в наблюдаемости, обращениях клиентов и роадмапе. У SF Beans главным оказался тикет «агент заказал не тот напиток», поэтому цель такая: верный заказ в каждой попытке у Claude Code и Codex, откуда идёт основной трафик.
Набор задач включает типовой заказ, два пограничных случая (любимая кофейня без нужного напитка и групповой заказ на шесть напитков и $45) и ситуацию, где правильно ничего не заказывать и сообщить, что вариантов нет. Для последней проверка читает журнал команд, в который агент писать не может, чтобы убедиться, что он искал, прежде чем сдаться.
Ограничение простое: при пяти попытках 100% значит лишь «сбоев пока не видели». Общие средние могут скрывать задачу, которая падает часто, поэтому результаты смотрите по каждой задаче отдельно. Практический порядок такой: возьмите одну болевую задачу, прогоните её несколько раз и выберите главную метрику по цене ошибки для пользователя.
- 21 нояб. 2026 г.Anthropic закрыла первую неделю на бирже с оценкой $1,6 трлн, но за день упала на 8,5%
- 21 нояб. 2026 г.15 субагентов Claude Code написали систему для цеха, а релиз принимает агент без права правки
- 21 нояб. 2026 г.Математик Anthropic заявил: Claude помог за 6 недель доказать гипотезу Римана
- 21 нояб. 2026 г.OpenAI открыла ChatGPT Spaces подписчикам Plus: совместные документы с ИИ
Вопросы и ответы по материалу
Что известно по теме: агент — это тоже пользователь вашего продукта?
Если вы делаете API, CLI, MCP-сервер или SDK, у вас появился новый тип клиента. Агент не видел вашего запуска и рекламы, но проходит ту же воронку, что и человек: находит продукт, выбирает его, получает доступ и пытается решить задачу. На каждом этапе до конца доходит меньше агентов. Vercel сосредоточилась на последнем шаге, успехе: выполнил ли агент то, о чём просили. Проверить это труднее, чем кажется.
Что известно по теме: кофе на 8:30: три метрики вместо одной?
В примере сервис SF Beans принимает заказы на кофе в Сан-Франциско через CLI sfbeans. Запрос такой: большой айс-латте на цельном молоке, к 9:00, дешевле $8 с налогом и чаевыми. Из четырёх кофеен подходит только Valencia Grind: в Fog City Roasters сломана машина для льда, в 24th St Beans выходит $9,27 после налога и чаевых, а в Dolores Drip заказ будет готов не раньше 9:20. Тест строят на Harbor, открытом фреймворке от создателей Terminal-Bench.
Что известно по теме: с чего начать?
Покрыть тестами всё, что LLM может сделать с продуктом, нельзя. Vercel советует взять один исход, важный пользователям, и искать его в наблюдаемости, обращениях клиентов и роадмапе. У SF Beans главным оказался тикет «агент заказал не тот напиток», поэтому цель такая: верный заказ в каждой попытке у Claude Code и Codex, откуда идёт основной трафик.
От чтения про ИИ-агентов — к запуску своего агента за вечер
Пошаговая сборка автономных агентов и MCP-связок в Hamidun Academy (academy.hamidun.com) (72 часа бесплатно) или мгновенный запуск готовых мультишаговых агентов в облаке Nomad.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.