GPT-6.1 Sol no Devin mantém 60,4% no FrontierCode por $0,31 por tarefa

A OpenAI lançou o GPT-6.1 Sol, e o Devin o integrou no dia do lançamento: o modelo está disponível no Devin Desktop e no Devin CLI. No FrontierCode 1.1, benchmark próprio da equipe da Windsurf, ele alcança 60,4%. O GPT-6 Sol faz 60,7%, e o GPT-5.6 Sol, 60,6%. A diferença de qualidade cabe na margem de ruído estatístico, mas o preço por tarefa caiu de forma radical: no nível médio de reasoning effort, o GPT-6.1 Sol custa $0,31, enquanto o GPT-6 Sol gasta $1,66 no nível máximo para chegar ao seu melhor resultado. A economia é de 81%.

Mesmo resultado, outra conta

O FrontierCode 1.1 avalia os modelos em tarefas reais de engenharia, com dois critérios: a qualidade da solução e a mergeability, ou seja, se as mudanças podem entrar na base de código sem precisar ser reescritas. Isso se aproxima mais do trabalho diário de um desenvolvedor do que os testes clássicos de "resolveu ou não resolveu a tarefa".

Segundo a Windsurf, o quadro em todos os modos é este:

• GPT-6.1 Sol, pontuação final: 60,4%, contra 60,7% do GPT-6 Sol e 60,6% do GPT-5.6 Sol.
• Nível médio de esforço: $0,31 por tarefa.
• Máximo do GPT-6 Sol: $1,66 por tarefa para o melhor resultado.
• Economia em cada nível de esforço: de 44% a 57% em relação ao GPT-6 Sol, com resultado dentro de um ponto ou superior.
• Nível baixo de esforço: 58,1% por $0,21, contra 50,5% do GPT-6 Sol nas mesmas configurações.

A principal mudança está na base da escala

O novo modelo não elevou o teto de qualidade, e os números mostram isso. O mais interessante está na parte inferior da curva. No nível baixo de esforço, o GPT-6.1 Sol ganha 7,6 pontos sobre o GPT-6 Sol: de 50,5% para 58,1%. O preço continua em $0,21 por tarefa. No leaderboard do FrontierCode, é o melhor resultado entre todos os modelos que custam menos de $0,30 por tarefa.

Para cenários com agentes, isso pesa. Quando um agente roda centenas de vezes por dia em tarefas pequenas, como ajustar testes, fazer refatoração ou atualizar dependências, a diferença entre $0,21 e $1,66 vira uma linha visível no orçamento. Agora é possível obter por esse preço um resultado que antes exigia o modo máximo.

Posição no panorama geral

O GPT-6.1 Sol não é o líder absoluto. No leaderboard, estão acima dele o Claude Opus 5.5 (65,3%), o Claude Fable 5 (64,9%), o GPT-6 Astra (64,5%), o Claude Sonnet 5.5 (64,4%), o Claude Fable 5.1 (63,6%), o SWE-2 (62,5%) e o Grok 4.6 (61,3%). Abaixo ficou o Grok 4.7, com 59,4%. Faltam 4,9 pontos para o primeiro lugar. Mas, no gráfico de preço contra qualidade, o modelo fica no canto inferior esquerdo: os preços no eixo vão de $0,25 a $5 por rollout, e na faixa barata o GPT-6.1 Sol quase não tem concorrentes.

A ressalva é óbvia: o FrontierCode é um benchmark proprietário da própria Windsurf, e os números foram publicados no blog de uma empresa que vende acesso aos modelos. O material não traz verificação independente. Ainda assim, a metodologia, que avalia se o código está apto a ser integrado, parece mais sensata que a de muitos testes públicos.

Como usar na prática

Equipes que já trabalham no Devin podem rodar tarefas típicas no GPT-6.1 Sol em nível médio de esforço e comparar com a configuração atual. Pelos números da Windsurf, a perda de qualidade é mínima, e o custo cai várias vezes.

Para tarefas pequenas em grande volume, vale testar o modo baixo: $0,21 com 58,1% cobrem boa parte do trabalho de rotina. Os níveis máximos e os modelos de topo, como o Claude Opus 5.5, é melhor reservar para tarefas complexas, em que os últimos pontos de qualidade importam e o preço se justifica.

Antes de migrar todo o fluxo, convém montar uma amostra própria com tickets reais: o resultado em um benchmark fechado não garante o mesmo comportamento na sua base de código.