Replit выпустила ViBench 2.0: лучшая модель доводит продукт до рабочего вида в 65% сборок

Платформа Replit, где пользователи собирают целые продукты, не написав ни строчки кода, представила ViBench 2.0 — бенчмарк для долгих задач по созданию ПО. Агент стартует с пустого проекта, получает требования по одной функции за раз в единой беседе и в итоге должен выдать работающий веб-продукт. Проверяют его не юнит-тестами, а так, как это сделал бы пользователь: через браузер и только после последнего запроса. Результат неприятен для лидеров рынка: лучшая модель, GPT-6.1 Sol, проходит до 98% тестовых планов, но безупречный продукт собирает в 64,7% сборок.

Как устроен бенчмарк

В ViBench 2.0 входят 17 полноценных веб-продуктов, устроенных по образцу известных сервисов: Amazon, Asana, Discord, Figma, GitHub, Google Docs, Jira и Uber. Каждый растёт на протяжении 9–18 запросов, всего их 241. Например, агент сначала строит приложение для вызова такси, а потом по очереди получает комиссии за отмену, водителей с несколькими машинами, заработок за поездку и раздельную оплату. Каждая новая функция опирается на код, который агент написал сам, а переписка может превышать 200 тысяч токенов. После каждого этапа никакой обратной связи нет, а старые функции должны пережить все последующие изменения.

Проверяет результат браузерный агент: он управляет настоящим Chromium через Playwright и исполняет 544 тестовых плана. 85% планов проверяют сразу несколько функций вместе, например что заработок водителя учитывает комиссии и не ломается из-за раздельной оплаты. Сборка засчитывается (pass@1), только если прошли все планы. Это сознательно жёсткая метрика: у пользователя, который не читает код, «почти работает» означает «не работает».

Условия для всех моделей одинаковы: агент на базе OpenHands SDK с терминалом и редактором файлов, средний уровень рассуждения, до 300 шагов и двух часов на этап. Тестировались шесть закрытых моделей — GPT-6.1 Sol, GPT-6 Astra, Opus 5.5, Sonnet 5.5, Grok 4.7 и Gemini 3.8 Flash — и три открытые: DeepSeek V4.1 Flash, Kimi K3 и GLM 5.3. Каждая строила каждый продукт по четыре раза, итого 612 сборок.

Разрыв между «почти» и «готово»

Лидерская тройка выглядит так: Sol — 64,7% по pass@1, Astra — 60,3%, Opus 5.5 — 48,5%. Доля пройденных планов у них 93,7–98,0%. Из 84 неудачных сборок, дошедших до проверки, 42 провалили ровно один план, а 62 — не больше двух. Astra собрала хотя бы один полностью рабочий продукт для 16 из 17 заданий, Sol — для 15, Opus — для 13. Единственный продукт, который не удался ни разу из 36 попыток лидеров, — клон Figma: ломались совместное редактирование и отмена действий.

Открытые модели пока далеки от этого уровня: ни одна из 204 их сборок не прошла все планы. По доле пройденных планов они, впрочем, различаются: DeepSeek V4.1 Flash набрал 77,4% и оказался в пределах двух пунктов от Sonnet 5.5, при этом обходится примерно в 60% его стоимости.

Цена и скорость разнятся сильно. Сборка стоит от $2,5 до $89,9, а занимает от 26 минут до более чем четырёх часов. Astra обходится примерно в семь раз дороже Sol при разнице pass@1 менее пяти пунктов. Opus строит в 2,4 раза быстрее Sol (73 минуты) при лишь на 6% меньшем числе выходных токенов — авторы связывают это со скоростью инференса.

Динамика быстрая. В трёх релизах одной линейки моделей pass@1 на публичных продуктах выросла с 3% до 53%, а стоимость сборки упала более чем вдвое. Причём pass@1 заметно растёт, лишь когда доля пройденных планов превышает около 70%.

Насколько можно верить оценщику

Самый уязвимый элемент такой системы — оценщик на основе ИИ. Авторы проверили его отдельно. При единичной оценке он ошибочно проваливает рабочий план в 0,2% случаев, поэтому проваленные планы перепроверяют до пяти раз, пока три оценки не совпадут. Ложные «пройдено» встречаются реже: GPT-6.1 Sol перепроверил 477 планов, которые одобрил Opus, и после ручного разбора лишь 4 (0,8%) оказались ложными. Из 34 намеренно внедрённых багов, 24 из которых тонкие (например, сумма, отличающаяся на цент), оценщик нашёл все. Аудит 178 проваленных планов выявил 13 ошибочных вердиктов и два места, где спецификация была неполной. Всё это исправили до релиза, а остальные 159 провалов — реальные баги.

Независимо от Replit бенчмарк прогнала команда Fireworks: она запустила его одной командой на каждую модель без изменений. Все цифры в статье взяты из этих прогонов.

Ограничения и практический вывод

Публично доступны восемь продуктов вместе с запуском и оценщиком; ещё девять скрыты, чтобы модели не обучали на этих задачах, а независимые результаты считают по всем 17. Оценщик и «сидирующий» агент в экспериментах — Opus 5.5, что теоретически может влиять на оценки, хотя второй оценщик это в основном не подтвердил. Кроме того, бенчмарк создан под решения Replit о том, какие модели подключать, поэтому отражает именно её сценарии: веб-продукты с нуля, а не работу с чужой кодовой базой.

Для команд, которые выбирают модель для агентной разработки, вывод практичный: сравнивать стоит не долю пройденных тестов, а вероятность получить целиком рабочий результат. Именно там у лучших моделей остаётся основной запас, а открытым моделям — самый большой разрыв.