Лучшие ИИ-агенты проходят до 98% тестов, но рабочий продукт собирают максимум в 65% случаев

Представьте, что вы просите ИИ-агента сделать приложение для такси. Сначала он делает заказ поездок, потом вы просите штрафы за отмену, водителей с несколькими машинами, заработок за поездку и раздельную оплату. Каждая новая функция ложится на код, который агент написал раньше.

Если она сломала старую, например заработок перестал учитывать штрафы, продуктом пользоваться нельзя, даже когда почти всё остальное работает. Именно так сегодня «вайб-кодят» на платформе Replit, а привычные бенчмарки проверяют лишь одну чётко описанную задачу, и многие уже почти исчерпаны. Поэтому Replit выпустил ViBench 2.

0. Результат такой: три сильнейшие модели проходят до 98% тестовых сценариев, но целиком рабочий продукт выдают максимум в 65% сборок. Доля полностью рабочих сборок с первой попытки называется pass@1.

Если вы строите продукт на агенте, смотреть нужно именно на неё.

Как устроен тест

Агент стартует с пустого проекта и получает требования по одной функции в одном длинном диалоге. В каждом продукте от 9 до 18 запросов, диалог может превысить 200 тысяч токенов, а на каждый этап отводится не больше 300 шагов агента и двух часов. Всего в бенчмарке 17 полноценных веб-продуктов по мотивам Amazon, Asana, Discord, Figma, GitHub, Google Docs, Jira и Uber. В них 241 запрос на новые функции и 544 тестовых сценария, причём 85% сценариев проверяют сразу несколько функций вместе.

Между запросами никто не проверяет результат. Оценку ставят один раз, когда продукт готов, и ставит её браузерный агент: он открывает приложение в настоящем Chromium и действует как пользователь. Сборка засчитывается, только если прошли все сценарии продукта, а их у каждого от 26 до 41. Архитектуру выбирает сам агент, поэтому тесты проверяют результат, а не конкретный дизайн. Подпись «Waiting at stop» вместо «At Stop» ошибкой не считается.

Авторы проверили и самого проверяющего. Проваленный сценарий он перепроверяет до четырёх раз, пока три оценки не совпадут. Все 34 специально внесённых бага он поймал, а ложных «зачётов» у него только 0,8%. Проверяющий и подготовка тестовых данных работают на Opus 5.5.

Разрыв между «почти» и «готово»

Авторы протестировали девять моделей. Лидеры, GPT-6.1 Sol, GPT-6 Astra и Opus 5.5, проходят до 98% сценариев. Но полностью рабочий продукт они выдают не больше чем в 65% сборок. Большинство неудачных сборок у этой тройки не прошли всего один-два сценария. Запас роста лежит в надёжности, а не в способности сделать хоть что-то. Ни одна открытая модель ни разу не выдала полностью рабочий продукт.

Динамика при этом быстрая. В трёх релизах одного семейства моделей pass@1 на публичных продуктах вырос с 3% до 53%, а стоимость одной сборки упала больше чем вдвое. Это важно и для других бенчмарков: на Vibe Code Bench лучший результат вырос с 61,8% в марте 2026 года до более 90% у шести моделей к концу октября. Тесты, где агент делает одну задачу, быстро упираются в потолок. Долгая сборка с проверкой готового продукта пока не упирается.

Что с этим делать

Средний процент пройденных тестов скрывает главное: одна сломанная старая функция делает сборку непригодной. Оценивайте модели по доле безупречных сборок. Проверяйте продукт целиком, как это сделал бы пользователь, а не только отдельные шаги. Сама Replit использует ViBench 2.0 при выборе моделей для платформы и при оценке изменений в своём продакшен-агенте.

Есть и оговорки. Replit сам автор теста и сам им пользуется. Но запуск проверила внешняя команда Fireworks: она подняла опубликованный бенчмарк и прогнала каждую модель одной командой без правок. Восемь продуктов опубликованы на GitHub вместе с запускалкой и проверяющим. Ещё девять скрыты, чтобы модели не обучали на тесте. Публичные файлы помечены специальной строкой, по которой их можно отфильтровать из обучающих данных.