Sonnet 4.6 com o servidor MCP da Sourcegraph supera o Fable 5: 0,698 contra 0,568

O Claude Sonnet 4.6 com o servidor MCP da Sourcegraph fez 0,698 em nove tarefas do CodeScaleBench e superou o Claude Fable 5, que obteve 0,568. O Sonnet trabalhou sem o código-fonte em disco e acessou a base de código apenas por ferramentas de busca. O Fable 5 tinha um checkout local completo do repositório e nenhum retrieval. O modelo mais barato venceu seis das nove tarefas e custou quase metade por ponto de qualidade.

O CodeScaleBench é o benchmark da própria Sourcegraph para agentes de código em grandes bases de código com vários repositórios. Para a comparação, foram escolhidas nove tarefas em que o trabalho principal consiste em encontrar o código certo. O Fable 5 é o primeiro modelo de acesso geral da linha da Anthropic na classe Mythos, um nível acima do Opus. No lançamento, ele registrou state-of-the-art na maioria dos benchmarks públicos, incluindo as avaliações de código da Cursor e da Cognition.

Busca contra leitura do disco

As condições das duas configurações são opostas.

• Sonnet 4.6 + Sourcegraph MCP server. Não há código-fonte em disco. O agente busca no código, resolve símbolos e segue referências entre repositórios.
• Fable 5 com checkout local. O repositório inteiro fica ao lado do modelo, que lê os arquivos diretamente, sem ferramentas de retrieval.

Os números finais:

• Sonnet 4.6 com Sourcegraph: pontuação média de 0,698, vitória em 6 das 9 tarefas.
• Fable 5 com código local: pontuação média de 0,568.
• O custo por ponto de qualidade do Fable é quase o dobro. O Sonnet sai por cerca de metade.

O modelo barato com a ferramenta ficou à frente tanto em qualidade quanto em preço. Para times que contabilizam os gastos com agentes, o segundo indicador pesa tanto quanto o primeiro.

Onde exatamente surge a diferença

A vantagem do Sonnet não se distribui de forma uniforme entre as tarefas. A maior contribuição vem das tarefas em que é preciso descobrir como um símbolo é de fato usado em vários repositórios. Lideram o rastreamento de vulnerabilidades e o mapeamento de dependências entre organizações. É justamente aí que a leitura direta da cópia local rende pouco: o código necessário pode nem estar nela, ou está longe demais.

Nas tarefas simples, quase não há diferença. O rastreamento de configuração e a migração cuidadosa são resolvidos em alto nível pelas duas abordagens, com resultados próximos. Onde o teto já foi atingido, não há o que ganhar.

Há também um contraexemplo. Em uma das tarefas com dependências entre organizações, o modelo de fronteira com checkout local completo passou à frente. Esse detalhe joga a favor da metodologia: o teste não foi ajustado para um vencedor conhecido de antemão.

A Sourcegraph publicou um results explorer. Nele, para qualquer tarefa, é possível ver lado a lado as execuções das duas abordagens: o prompt completo, o diálogo e cada chamada de ferramenta. Dá para ver onde um agente encontra o arquivo certo e o outro nunca chega a ele.

Ressalvas que não podem ser ignoradas

Primeiro, são nove tarefas, e não todo o CodeScaleBench. O acesso ao Fable 5 foi restringido poucos dias após o lançamento. Por isso, só entraram na comparação as tarefas com execuções válidas do Fable concluídas antes desse prazo. O autor do material chama o resultado de sinal inicial, e não de benchmark consolidado.

Segundo, o benchmark pertence à empresa que vende a ferramenta vencedora. Isso não anula a transparência das execuções, mas uma reprodução independente em outras tarefas não faria mal.

Terceiro, o teste mede navegação pelo código. Ficaram de fora as tarefas que exigem raciocínio profundo dentro de um único arquivo. A Sourcegraph as aponta como a próxima frente de medição, e é justamente nelas que a vantagem do retrieval pode desaparecer.

O que verificar ao montar um agente com orçamento limitado

A conclusão prática para times que constroem agentes sobre bases de código reais é esta: antes de trocar de modelo, vale avaliar a qualidade da busca no código. Em tarefas entre repositórios, como busca de vulnerabilidades, análise de dependências e avaliação do impacto de mudanças, a combinação de um modelo mais barato com um bom retrieval pode superar um modelo caro sem ele.

Vale pegar de 10 a 20 tarefas típicas do próprio time e dividi-las em duas classes: «encontrar onde isto é usado» e «entender um trecho complexo isolado». A primeira classe deve rodar em uma combinação de «modelo intermediário + busca via MCP», a segunda em um modelo de ponta com código local. A comparação deve considerar o custo por unidade de qualidade, e não apenas a pontuação final. Foi por essa métrica que o Sonnet 4.6 com Sourcegraph superou o Fable 5.