Replit lança o ViBench 2.0: o melhor modelo entrega um produto funcionando em 65% das builds

A Replit, plataforma em que usuários montam produtos inteiros sem escrever uma linha de código, apresentou o ViBench 2.0, um benchmark para tarefas longas de criação de software. O agente parte de um projeto vazio, recebe os requisitos uma funcionalidade por vez em uma única conversa e, no fim, precisa entregar um produto web funcional. A avaliação não usa testes unitários: é feita como um usuário faria, pelo navegador, e só depois do último pedido. O resultado é incômodo para os líderes do mercado: o melhor modelo, o GPT-6.1 Sol, passa em até 98% dos planos de teste, mas só entrega um produto impecável em 64,7% das builds.

Como funciona o benchmark

O ViBench 2.0 reúne 17 produtos web completos, inspirados em serviços conhecidos como Amazon, Asana, Discord, Figma, GitHub, Google Docs, Jira e Uber. Cada um cresce ao longo de 9–18 pedidos, e são 241 no total. Por exemplo, o agente primeiro constrói um aplicativo de corridas de táxi e depois recebe, um de cada vez, taxas de cancelamento, motoristas com vários carros, ganhos por corrida e pagamento dividido. Cada nova funcionalidade se apoia em código que o próprio agente escreveu, e a conversa pode passar de 200 mil tokens. Não há nenhum feedback após cada etapa, e as funcionalidades antigas precisam sobreviver a todas as mudanças seguintes.

Quem avalia o resultado é um agente de navegador: ele controla um Chromium de verdade via Playwright e executa 544 planos de teste. Dos planos, 85% verificam várias funcionalidades ao mesmo tempo, por exemplo se os ganhos do motorista levam em conta as taxas e não quebram por causa do pagamento dividido. A build só é contabilizada (pass@1) se todos os planos passarem. A métrica é rígida de propósito: para um usuário que não lê código, "quase funciona" significa "não funciona".

As condições são iguais para todos os modelos: um agente baseado no OpenHands SDK, com terminal e editor de arquivos, nível médio de raciocínio, até 300 passos e duas horas por etapa. Foram testados seis modelos fechados — GPT-6.1 Sol, GPT-6 Astra, Opus 5.5, Sonnet 5.5, Grok 4.7 e Gemini 3.8 Flash — e três abertos: DeepSeek V4.1 Flash, Kimi K3 e GLM 5.3. Cada um construiu cada produto quatro vezes, o que dá 612 builds no total.

A distância entre "quase" e "pronto"

O trio líder ficou assim: Sol com 64,7% de pass@1, Astra com 60,3% e Opus 5.5 com 48,5%. A taxa de planos aprovados deles fica entre 93,7% e 98,0%. Das 84 builds malsucedidas que chegaram à avaliação, 42 falharam em exatamente um plano e 62 em no máximo dois. A Astra montou ao menos um produto totalmente funcional em 16 das 17 tarefas, o Sol em 15 e o Opus em 13. O único produto que nunca deu certo em 36 tentativas dos líderes foi o clone do Figma: a edição colaborativa e o desfazer de ações quebravam.

Os modelos abertos ainda estão longe desse nível: nenhuma das 204 builds deles passou em todos os planos. Na taxa de planos aprovados, porém, há diferenças: o DeepSeek V4.1 Flash chegou a 77,4%, ficando a menos de dois pontos do Sonnet 5.5, e custa cerca de 60% do preço dele.

Preço e velocidade variam bastante. Uma build custa de $2,5 a $89,9 e leva de 26 minutos a mais de quatro horas. A Astra sai cerca de sete vezes mais cara que o Sol, com diferença de pass@1 inferior a cinco pontos. O Opus constrói 2,4 vezes mais rápido que o Sol (73 minutos), com apenas 6% menos tokens de saída — os autores atribuem isso à velocidade de inferência.

A evolução é rápida. Em três lançamentos de uma mesma linha de modelos, o pass@1 nos produtos públicos subiu de 3% para 53%, e o custo da build caiu mais de pela metade. Além disso, o pass@1 só cresce de forma perceptível quando a taxa de planos aprovados passa de cerca de 70%.

Quanto dá para confiar no avaliador

O elo mais vulnerável desse tipo de sistema é o avaliador baseado em IA, e os autores o verificaram separadamente. Em uma avaliação única, ele reprova por engano um plano que funciona em 0,2% dos casos; por isso, os planos reprovados são reavaliados até cinco vezes, até que três avaliações coincidam. Falsos "aprovados" são mais raros: o GPT-6.

1 Sol reavaliou 477 planos que o Opus havia aprovado e, após análise manual, apenas 4 (0,8%) eram falsos. Dos 34 bugs inseridos de propósito, 24 deles sutis (por exemplo, uma soma que difere em um centavo), o avaliador encontrou todos. A auditoria de 178 planos reprovados revelou 13 veredictos errados e dois pontos em que a especificação estava incompleta.

Tudo isso foi corrigido antes do lançamento, e as outras 159 falhas são bugs reais.

De forma independente da Replit, a equipe da Fireworks rodou o benchmark com um único comando por modelo, sem alterações. Todos os números do artigo vêm dessas execuções.

Limitações e conclusão prática

Oito produtos estão publicamente disponíveis, junto com o ambiente de execução e o avaliador; outros nove ficam ocultos para que os modelos não sejam treinados nessas tarefas, e os resultados independentes são calculados sobre os 17. O avaliador e o agente de seeding nos experimentos são o Opus 5.5, o que, em teoria, pode influenciar as notas, embora um segundo avaliador, em geral, não tenha confirmado esse efeito. Além disso, o benchmark foi criado em função das decisões da Replit sobre quais modelos integrar e, por isso, reflete justamente os cenários dela: produtos web do zero, e não trabalho com a base de código de terceiros.

Para equipes que escolhem um modelo para desenvolvimento com agentes, a conclusão é prática: o que vale comparar não é a taxa de testes aprovados, mas a probabilidade de obter um resultado totalmente funcional. É aí que os melhores modelos ainda têm a maior margem de melhoria e que os modelos abertos têm a maior distância a vencer.