Claude Haiku 5.5 chega ao Devin: 58,4% no FrontierCode com custo oito vezes menor que o do Sonnet 5

O Claude Haiku 5.5 chegou ao Devin, e o principal número do lançamento é este: 58,4% no FrontierCode 1.1. Trata-se de um benchmark proprietário da equipe do Devin, que avalia os modelos em tarefas reais de engenharia pela qualidade da solução e pela possibilidade de fazer o merge dela na branch principal. Nessa escala, o modelo mais enxuto da linha supera o Sonnet 5 (56,2%) e, segundo a Windsurf, custa cerca de oito vezes menos por tarefa.

O que o FrontierCode 1.1 mostrou

O ranking tem onze posições, e o Haiku 5.5 fica no meio dele. Acima estão GPT-6.1 Sol, GPT-6 Sol, SWE-2, Claude Fable 5.1, Sonnet 5.5 e Opus 5.5. Abaixo ficam Kimi K3, Gemini 3.7 Flash, Sonnet 5 e GPT-6 Luna. A distância até o topo continua expressiva: faltam 6 pontos para o Sonnet 5.5 (64,4%) e quase 7 para o Opus 5.5 (65,3%). Em compensação, a vantagem de 2,2 pontos sobre o Sonnet 5 é do Haiku.

Principais números da publicação:

• Claude Haiku 5.5: 58,4%
• Claude Sonnet 5: 56,2%
• Kimi K3: 58,2%
• Gemini 3.7 Flash: 56,3%
• GPT-6 Luna: 56,1%
• Claude Sonnet 5.5: 64,4%
• Claude Opus 5.5: 65,3%
• Custo por tarefa do Haiku 5.5: cerca de 1/8 do Sonnet 5

Vale considerar também a margem de variação. Haiku 5.5 e Kimi K3 estão separados por apenas 0,2 ponto, ou seja, nesse benchmark ficam praticamente na mesma liga. Nos gráficos de custo por execução, o eixo vai de $0,02 a $20 e, a julgar por eles, os preços dos modelos diferem em ordens de grandeza. O texto não traz os valores exatos de cada modelo, então a única referência confiável é a proporção declarada de "cerca de oito vezes".

Fusion: o modelo menor como assistente

A segunda parte do anúncio trata do Devin Fusion. O Haiku 5.5 entrou na linha de modelos sidekick, isto é, assistentes que trabalham ao lado do modelo principal. Com o Haiku 5.5 nesse papel, o Fusion atinge 66,2 pontos no FrontierCode. Isso supera o Opus 5.5 sozinho (65,3%). Segundo os autores, o custo e a latência também diminuem.

A lógica é simples: o modelo caro planeja e toma as decisões-chave, e o barato assume o trabalho de maior volume. A diferença de 0,9 ponto a favor da combinação é pequena, e o benchmark não divulga intervalos de confiança. O argumento central é outro: qualidade no nível de um modelo de ponta com gasto menor.

É possível testar agora mesmo no Devin CLI, onde o Opus 5.5 atua como modelo principal. Também há o Devin Desktop.

Onde isso ajuda na prática

Primeiro, as ressalvas. O FrontierCode pertence ao próprio Devin, a metodologia e a composição das tarefas não são conhecidas, e os resultados foram publicados no blog da própria empresa. Para uma comparação independente, isso é pouco. Mas, para escolher um modelo dentro de um produto específico, esses dados são úteis: a equipe mede o que de fato acontece no seu agente.

O que dá para fazer:

• Se as tarefas são em sua maioria rotineiras (ajustes a partir de tickets, pequenas refatorações, testes), vale testar o Haiku 5.5 no lugar do Sonnet 5. Pelos números declarados, ele não fica atrás em qualidade e custa bem menos.
• Para mudanças complexas, em várias etapas, mantenha o Opus 5.5 como modelo principal e coloque o Haiku como assistente via Fusion.
• Antes de migrar todo o fluxo, rode de 20 a 30 tarefas do seu próprio repositório e compare a proporção de alterações aprovadas em code review. É exatamente isso que o benchmark tenta medir.
• Calcule o custo por tarefa, não por token: assim a comparação com o Sonnet 5 fica mais justa.

Se a proporção de oito vezes se confirmar no seu código, a economia em grandes volumes de trabalho agêntico passará a pesar de forma perceptível no orçamento.