Dupla Opus + DeepSeek Flash resolveu 67% das tarefas contra 81% do Opus sozinho, e ainda saiu mais cara

A ideia popular parece lógica: um modelo caro, como o Opus, planeja o trabalho e confere o resultado, enquanto um modelo barato, como o DeepSeek ou o Qwen, escreve o código. A qualidade deveria ficar quase igual, e a conta, cair. Ibragim Badertdinov testou isso na prática e chegou ao resultado oposto: a dupla Opus + DeepSeek Flash resolveu 67% das tarefas a $1,29 por tarefa, enquanto o Opus sozinho alcançou 81% a $1,20.

Como o conjunto de testes foi montado

Antes, o autor montava conjuntos de teste a partir das próprias sessões de trabalho, mas as tarefas acabavam fáceis demais: nelas, qualquer combinação de modelos parece boa. Desta vez, ele escolheu 12 tarefas difíceis de benchmarks abertos, as mais parecidas com o seu dia a dia, em sua maioria de nível hard ML e SWE (desenvolvimento de software). Ele fez várias rodadas e corrigiu as próprias tarefas à mão.

Há aí uma descoberta à parte: segundo o autor, mais da metade das tarefas dos benchmarks é injusta. Os testes ou reprovavam uma solução correta ou aprovavam uma fraca. Se os modelos forem comparados sem essa limpeza, parte da diferença nos rankings será ruído das próprias verificações. As tarefas foram publicadas no Harbor, então qualquer pessoa pode rodá-las nos seus próprios setups. A tabela completa de resultados e a discussão estão em uma thread no X e em um post no Reddit.

Ao todo, foram testadas cerca de sete configurações, incluindo o esquema do artigo da DeepSeek sobre super agent e diferentes combinações de modelos.

Por que o worker barato não gerou economia

O principal motivo é o cache do prompt. É nele que o dinheiro se concentra. Enquanto o modelo barato escreve o código, o cache do Opus expira. Quando o controle volta ao Opus, o contexto precisa ser remontado do zero, e isso custa mais do que todo o trabalho do modelo barato. A economia nos tokens de geração é simplesmente consumida pela reconstrução do cache. Para quem desenvolve pipelines de agentes, a conclusão é prática: o que importa não é o preço do token do worker, mas o custo da cadeia inteira, incluindo o tempo em que o contexto do modelo caro fica parado.

Funcionou outra abordagem, inspirada no artigo da DeepSeek. Em vez de proibir o Opus de escrever código, o autor apenas avisou que os tokens dele custam 20 vezes mais. O resultado foi o mesmo, e o preço ficou quase pela metade: $0,71 por tarefa. Ou seja, o próprio modelo decide quanto delegar e o que escrever sozinho, e distribui o esforço melhor do que um esquema rígido de papéis.

Modelos baratos sozinhos superaram as combinações

O resultado mais inesperado: modelos baratos, sem nenhuma orquestração, superaram todas as combinações. O Terra resolveu 78% das tarefas e o Sol, 75%, ambos a $0,17 por tarefa. Isso é sete vezes mais barato que o Opus sozinho, com resultado a poucos pontos percentuais de distância. O post não revela o que exatamente está por trás dos nomes Terra e Sol, então não é possível compará-los com modelos públicos específicos.

O papel de revisor foi avaliado separadamente. No pipeline de revisão, quem revisa analisa os diffs e, ao encontrar um problema, pede ao worker que refaça. Nesse papel, o Sol se saiu muito bem, enquanto o Opus foi apenas mediano. Um modelo caro não garante um controle melhor: revisão é uma habilidade própria, que não precisa acompanhar o nível geral do modelo.

Limitações e conclusão prática

A amostra é pequena: são 12 tarefas, então uma diferença de alguns pontos percentuais pode ser ruído estatístico. As tarefas foram escolhidas para o perfil de um único engenheiro, hard ML e SWE, e em desenvolvimento web ou refatoração de rotina o quadro pode ser diferente. O post traz resultados apenas para a combinação com o DeepSeek Flash; os números do Qwen no papel de worker não são informados.

Ainda assim, a direção é clara. Antes de montar um esquema de “cérebro caro, mãos baratas”, vale medir o custo total, considerando o cache. Se a meta é economizar, experimente informar ao modelo caro o preço dos tokens dele e olhar as rodadas independentes dos modelos baratos: neste conjunto, eles tiveram a melhor relação entre preço e qualidade. E, para revisão, vale testar não só o modelo de ponta, mas também candidatos mais modestos.