Cognition lança SWE-2: 50% no FrontierCode custando 64% menos

A Cognition apresentou o SWE-2, seu modelo mais avançado para programação. No benchmark FrontierCode 1.1 Main, ele atinge 50,0%. O resultado fica apenas 0,9 ponto abaixo do Fable 5.1, custando 64% menos. O modelo foi ajustado a partir do Kimi K3, que possui 2,8 trilhões de parâmetros. De acordo com a empresa, esta é a primeira vez que suas técnicas de RL foram escaladas para a faixa dos múltiplos trilhões de parâmetros. O SWE-2 já está disponível no Devin Desktop e na CLI, com distribuição em andamento para o Devin Web e Fusion.

Números contra os concorrentes

A Cognition compara o SWE-2 com a base Kimi K3, Grok 4.6, Fable 5.1, GPT-5.6 Sol, GPT-6 Astra e o próprio SWE-1.7. Segundo a desenvolvedora, o SWE-2 supera tanto o SWE-1.7 quanto o Grok 4.6 em desempenho e custo. Em relação ao GPT-5.6 Sol e Fable 5/5.1, a qualidade é equivalente, mas com uma fatura visivelmente menor. Frente ao GPT-6 Astra, a diferença é de poucos pontos, custando apenas um quarto do preço.

• FrontierCode 1.1 Main: 50,0% (Kimi K3 — 44,2%, Fable 5.1 — 50,9%, GPT-6 Astra — 53,3%, SWE-1.7 — 42,0%).
• DeepSWE 1.1: 73,0% (Kimi K3 — 68,5%, GPT-5.6 Sol — 72,7%, GPT-6 Astra — 74,1%, SWE-1.7 — 37,7%).
• Terminal-Bench 2.1: 92,8% contra 91,4% do Fable 5.1.
• Terminal-Bench 4: 27,3%. Aqui a distância é substancial: o Fable 5.1 alcança 55,8% e o GPT-6 Astra marca 57,9%. Por outro lado, o SWE-2 quase quadruplica o resultado do SWE-1.7, que ficou em 7,6%.

Ou seja: no Terminal-Bench 4, os líderes continuam bem à frente. Ainda assim, o salto de 5 a 6 pontos sobre o Kimi K3 na maioria dos testes vem do pós-treinamento com RL. A Cognition destaca que o modelo base ainda guardava bastante margem de evolução.

Como foi o treinamento: custo integrado à recompensa

A principal inovação metodológica é a inserção de uma penalidade de custo diretamente na função de recompensa. O cálculo segue a fórmula R = S − λe·C. Nela, S vale 1 em caso de sucesso e 0 em falhas, C representa o custo da execução (uma combinação de dólares por inferência e tempo gasto), e e define o nível de reasoning effort.

O coeficiente λe é calibrado pela inclinação local da curva de Pareto do modelo base naquele nível específico. A Cognition demonstra no apêndice que a penalidade precisa ser linear, pois só esse formato se mantém consistente antes e depois da média entre tarefas. Se o valor de λ for alto demais, o modelo em high-effort passa a se comportar como medium: o custo despenca mais rápido do que a taxa de acerto, inflando a recompensa sem avançar a fronteira de capacidade.

Todos os níveis de esforço são treinados em um único ciclo. Para viabilizar isso, o Kimi K3 adota especialistas dedicados por domínio e nível, consolidados posteriormente via destilação.

A estabilidade do treinamento depende de uma linha de base de grupo ponderada pelo comprimento, recurso que a Cognition aplica desde o SWE-1.6. Uma linha de base ótima exigiria um backward pass extra, mas a norma do gradiente tem forte correlação com o comprimento do rollout. A solução foi substituí-la pela soma de Ri·Li dividida pela soma de Li. Em testes de ablação, esse método manteve baixa a divergência KL entre inferência e treinamento.

A aceleração dos rollouts envolveu diferentes frentes: um prefill delayer agrupa requisições próximas e gera ganhos de 10–20% em TPM por GPU e TPS por chamada. A decodificação especulativa via DSpark perde rendimento conforme a política muda; por isso, o modelo rascunho foi retreinado com o SpecForge, elevando o comprimento das sequências aceitas em 15%. Kernels NVFP4/FP8 somados a quantization-aware training reduziram a pegada de memória. A discrepância entre treino e inferência ficou menor do que a do SWE-1.7 com throughput semelhante, mesmo sendo um modelo quase três vezes maior. O volume de ambientes de RL foi triplicado com a adição de camadas de instruções, e checkpoints antigos do SWE-2 agora servem para calibrar verificadores mais rigorosos.

Comportamento do agente e o que muda para desenvolvedores

O impacto mais visível está na redução de etapas operacionais. No FrontierCode 1.1 Main, o SWE-1.

7 precisa de 127 passos em média por tarefa. No SWE-2, o modo medium consome 53, o high gasta 80 e o max chega a 98. A primeira edição concreta de código no perfil medium acontece na mediana do 18º passo, contra o 48º no SWE-1.

7. A mudança atende a queixas de usuários sobre o tempo excessivo que a versão anterior levava explorando o repositório em demandas simples. Além de ser mais rápido e 81% mais barato que o SWE-1.

7, o perfil medium entrega pontuações superiores. A Cognition também aponta melhorias qualitativas: suítes de testes mais completas e a capacidade de recuperar dados do histórico do Slack quando integrações MCP falharam. Quando o usuário propõe uma hipótese técnica, o SWE-2 opta por validá-la antes de concordar passivamente.

Na prática, a estratégia de uso é direta. Para demandas simples e intermediárias, o ponto de partida ideal é o modo medium, que vai direto ao ponto. Reserve os modos high e max para refatorações complexas que exijam planejamento detalhado e verificações em múltiplos estágios. Se o fluxo de trabalho depender fortemente de cenários de terminal longos, como os medidos pelo Terminal-Bench 4, trabalhe com folga operacional ou considere alternativas como GPT-6 Astra e Fable 5.1. Como os benchmarks foram divulgados pela própria Cognition, o recomendável é rodar o SWE-2 na sua própria base de código e avaliar o custo real por tarefa concluída.