Cognition lança o SWE-2 Flash: 5 vezes mais barato e 20% das tarefas no teste de terminal, contra 0,9%

A maior parte do trabalho diário dos agentes de código não exige o modelo mais caro. Revisar um pull request, atualizar o README depois de uma mudança de configuração, fechar uma tarefa pequena no tracker: para isso, um modelo topo de linha é exagero, e o custo e a lentidão dele se acumulam rápido. A Cognition lançou o SWE-2 Flash, que descreve como um modelo de programação totalmente americano.

Ele custa cinco vezes menos que o SWE-2 maior e é três vezes mais rápido: cerca de 200 tokens por segundo, contra 60 (um token é um pedaço de texto, mais ou menos uma ou duas sílabas). A qualidade também melhorou: no Terminal-Bench 4.0, em que o agente executa comandos no terminal por conta própria e resolve tarefas aplicadas, como analisar dados biológicos, o modelo resolve 20% das tarefas.

O Inkling-Small, o modelo base, resolvia 0,9%.

O que mudou em velocidade e preço

O SWE-2 Flash já está disponível no Devin Desktop e no Devin CLI. A diferença de velocidade aparece nas sessões longas de agente, em que o modelo lê arquivos, roda testes e corrige código dezenas de vezes seguidas. Cada pausa vira tempo de espera, e uma resposta três vezes mais rápida reduz essa espera de forma perceptível.

A base é o Inkling-Small, da Thinking Machines: 276 bilhões de parâmetros no total, dos quais 12 bilhões são ativados simultaneamente. Para comparação, o Beam 1.0 tem 501 bilhões, o Muse Spark Open tem 816 bilhões e o SWE-2 tem cerca de 2,8 trilhões. Segundo a Cognition, nos principais testes o Flash supera todos os modelos americanos de pesos abertos, inclusive os que são três vezes maiores.

De onde veio o ganho

A principal novidade da receita é o treinamento intermediário (mid-training) antes do aprendizado por reforço. A Cognition não usava essa etapa antes. A equipe montou um conjunto de vários trilhões de tokens, com artigos científicos, blogs, código e outras fontes. O treinamento ocorreu em três etapas, e os dados mais raros e de maior qualidade foram apresentados ao modelo no final.

Para definir as proporções dos dados, os engenheiros compararam diferentes misturas: quantos tokens eram necessários para atingir o mesmo erro, num conjunto de validação separado, que o da execução base. Eles mesmos montaram esse conjunto, que reflete tarefas reais de desenvolvimento.

Em seguida veio o aprendizado por reforço em larga escala. A receita em si mudou pouco, e o principal ganho, segundo a Cognition, veio das tarefas. A equipe revisou as instruções, a configuração do ambiente e os scripts de verificação, e ainda adicionou novos tipos de tarefa para que o modelo aprendesse a raciocinar de forma mais ampla.

Resultados em comparação com o Inkling-Small, o modelo base:

• Terminal-Bench 4.0: de 0,9% para 20,0%;
• FrontierCode 2.0: de 3,2% para 24,0%;
• DeepSWE 1.1: de 17,4% para 60,1%;
• ExploitBench: de 11,3% para 34,8%.

No FrontierCode 2.0, o Flash marcou 24,0%, contra 23,8% do SWE-2 maior. No Terminal-Bench 4.0, o modelo maior continua à frente (27,3% contra 20,0%), e no DeepSWE 1.1 a distância é maior (73,0% contra 60,1%).

Riscos cibernéticos e pesos fechados

A Cognition treinou o modelo especificamente em cibersegurança, para que ajude os defensores. O resultado no ExploitBench, teste de criação de exploits, cresceu cerca de três vezes. Mas as mesmas habilidades também servem a atacantes, e a empresa aponta o aumento recente de ataques cibernéticos como motivo para não publicar os pesos abertamente.

Em vez disso, ela prepara um programa pelo qual parceiros verificados do setor e laboratórios de pesquisa receberão os pesos. Eles poderão fazer o ajuste fino do modelo e executá-lo em ambientes fechados, inclusive em servidores próprios. A empresa promete detalhes em algumas semanas.

O que fazer com isso

Se os seus agentes fazem principalmente revisão de código, escrevem documentação e fecham tarefas pequenas, vale rodá-los com o Flash e comparar o resultado com o de um modelo caro. Até 30 de novembro, isso pode ser feito de graça. Equipes com requisitos rígidos de privacidade devem acompanhar as condições do programa de acesso aos pesos.

As ressalvas são evidentes. Todos os números vêm da própria Cognition, e ainda não há verificações independentes. O SWE-2 maior continua mais forte em tarefas complexas, e um modelo que resolve um quinto das tarefas no terminal ainda não substitui um engenheiro. Em compensação, a combinação de preço, velocidade e qualidade faz dele um candidato sério para trabalho automático em grande escala.