Meta coloca o Muse Wonder Full no top 3 em 6 de 10 benchmarks, mas a tarefa ficou três vezes mais cara

A Meta voltou à disputa entre os melhores modelos do mundo. De acordo com o resumo do The Decoder, os novos modelos da família Muse Wonder ficam entre os três primeiros em seis de dez benchmarks. A maior melhora em relação aos resultados anteriores da Meta aparece nas tarefas de agentes, ou seja, nos cenários em que o modelo monta um plano, chama ferramentas e leva um trabalho de vários passos até o resultado. Isso teve um preço: o custo para executar uma tarefa subiu quase três vezes.

O que os testes mostraram

Seis posições no top 3 em dez possíveis indicam que o modelo se tornou competitivo em várias frentes, e não em uma única disciplina restrita. Ao mesmo tempo, isso significa que, em quatro benchmarks, o Muse Wonder Full não chegou ao top 3. O resumo disponível não diz quais são esses testes, e esse é o primeiro ponto a esclarecer nas fontes primárias.

Os números-chave conhecidos até agora:

• Resultado: top 3 em 6 de 10 benchmarks.
• Ponto mais forte: tarefas de agentes, onde o ganho é maior.
• Custo: o preço de execução de uma tarefa subiu quase 3 vezes.
• Linha: vários modelos Muse Wonder; a versão topo de linha se chama Full.
• Não divulgado no resumo: tamanho do modelo, janela de contexto, tarifas por token, condições de acesso e lista de benchmarks.

Por que o "preço por tarefa" importa mais do que o "preço por token"?

O custo por tarefa é calculado de forma diferente da tarifa por milhão de tokens. Ele soma a tarifa, a quantidade de tokens usados em raciocínio, o número de chamadas de ferramentas, as novas tentativas e o tamanho da cadeia final de ações. Por isso, um aumento de quase três vezes não significa necessariamente que a Meta triplicou a tabela de preços. É possível que o modelo simplesmente gaste mais passos e tokens em cada tarefa. Isso é uma hipótese, não um fato comprovado: o resumo não traz o detalhamento do custo.

Em cenários de agentes, esse tipo de troca é comum. Quanto mais o modelo pensa e quanto mais ele verifica as próprias ações, maior a chance de concluir a tarefa, e maior a conta. A questão é se o ganho de qualidade compensa. Se o modelo resolve bem mais tarefas de primeira, o custo de uma tarefa resolvida com sucesso pode crescer muito menos do que o custo de uma tentativa. Se a vantagem no benchmark é de poucos pontos percentuais, um custo três vezes maior pesa bastante.

O que verificar antes de adotar

Enquanto os dados completos não forem publicados, o mais sensato é tratar os resultados como uma candidatura ao primeiro escalão, que precisa ser confirmada nas suas próprias tarefas. Na prática, a ordem é esta:

• Pegue de 30 a 50 tarefas reais de trabalho, e não um benchmark público, e rode-as no Muse Wonder Full e no modelo que você usa hoje.
• Calcule o custo da tarefa resolvida com sucesso, e não o custo da requisição. Inclua novas tentativas e chamadas de ferramentas.
• Identifique os quatro benchmarks em que o modelo não ficou no top 3 e compare-os com o perfil da sua carga de trabalho. Se tratam de programação ou de contexto longo e é exatamente com isso que você trabalha, as conclusões serão outras.
• Esclareça as condições de acesso: por qual API, com quais limites e em que região o modelo está disponível.
• Para cenários simples e de grande volume, mantenha um modelo mais barato e reserve o Muse Wonder Full para cadeias complexas de agentes, em que um erro custa mais caro.

A conclusão principal por ora é simples: a Meta voltou a ter um modelo que não dá para ignorar na escolha de um sistema de fronteira. Mas decidir se ele vale três vezes o próprio preço vai depender de números que ainda não estão em domínio público.