Claude Fable 5.2 no Devin atinge 49,1% no FrontierCode 2.0, contra 32,4% da 5.1

Uma história conhecida: o agente informa que a tarefa foi resolvida, os testes estão verdes, mas na revisão descobre-se que o código não pode ser mergeado. Ele não segue as convenções do repositório, quebra um módulo vizinho ou arrasta mudanças desnecessárias. É exatamente essa diferença entre «funciona» e «pode ir para a main» que o benchmark FrontierCode 2.0, da equipe da Windsurf, tenta medir. Agora ele tem um novo líder: o Claude Fable 5.2, que passou a estar disponível no Devin.

O que os números mostram

Segundo a Windsurf, o Fable 5.2 marcou 49,1% no FrontierCode 2.0. Para comparação:

• Fable 5.1 — 32,4%.
• Opus 5.5 — 45,5%.

O ganho em relação à versão anterior é de quase 17 pontos percentuais. Não é uma atualização cosmética, e sim um salto perceptível na qualidade do código. A diferença para o Opus 5.5 é mais modesta, cerca de 3,6 pontos, mas o modelo ainda assim ficou em primeiro lugar.

A segunda parte da declaração é mais interessante para quem conta o dinheiro. Segundo os autores, mesmo no nível baixo de reasoning effort, o Fable 5.2 supera o melhor resultado do Fable 5.1 e custa menos de um terço do preço por tarefa. Se isso se confirmar nos seus dados, a atualização traz dois efeitos de uma vez: o código fica melhor e a conta da API fica menor. Normalmente é preciso trocar uma coisa pela outra.

Como funciona a avaliação e por que isso importa

O FrontierCode 2.0 avalia modelos em tarefas reais de engenharia segundo critérios de qualidade e «mergeabilidade». A nota final é a soma ponderada dos itens de uma rubrica. Há também uma regra rígida: a solução que não passa nos critérios bloqueantes recebe zero. Isso é fundamentalmente diferente dos testes habituais do tipo «passou nos testes unitários ou não». Código que formalmente funciona, mas viola os padrões do projeto, não é contabilizado aqui.

No gráfico, a Windsurf calcula o custo como o valor médio em dólares por execução, a preços públicos da API e considerando descontos abertos. Ou seja, não é o custo interno, mas o que você pagaria. Esses números pelo menos permitem uma projeção aproximada para o seu orçamento.

Limitações e o que fazer na prática

A principal ressalva é óbvia: o benchmark foi criado e é mantido pela própria Windsurf, que também vende o Devin. Isso não significa que os números sejam pouco confiáveis. Mas significa que não há verificação independente. Também faltam detalhes que valeria conhecer antes de tirar conclusões: quantas tarefas há no conjunto, quais linguagens e stacks, quão estável é o resultado entre execuções. A diferença de 3,6 pontos entre o Fable 5.2 e o Opus 5.5 pode estar dentro do ruído, ou pode não estar; a publicação não permite saber.

Por isso, a conclusão prática é a seguinte.

• Se você já usa o Devin, experimente o Fable 5.2 em algumas das suas tarefas típicas, incluindo as desagradáveis: refatoração, correção de bugs em código alheio, alterações que exigem respeitar convenções.
• Comece com reasoning baixo. A economia declarada, um terço do custo do melhor resultado da versão anterior, é potencialmente a parte mais valiosa do lançamento. Verifique se esse modo basta antes de pagar pelo alto.
• Meça a métrica que importa para você. A fração de PRs aceitos sem alterações e o tempo de revisão mostrarão mais do que qualquer leaderboard público.

Resumo: o Fable 5.2 parece uma atualização forte para o desenvolvimento com agentes, sobretudo pela combinação «melhor e mais barato». Mas, por ora, é uma declaração do fabricante no seu próprio benchmark, e a decisão de migrar deve se basear nos resultados da sua base de código.