Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
LançamentoAnálise · No radarArtificial Analysis→ original

Meta Muse Ember alcança Claude Haiku 5.5 em pontuação e custa um terço por tarefa

A Meta lançou o Muse Ember, um modelo compacto que marca 36 pontos no índice da Artificial Analysis, como o Claude Haiku 5.5 nas configurações máximas. Mas a tarefa custa US$ 0,14 em vez de US$ 0,41. Os preços por token dos dois modelos são iguais; a economia vem do cache barato e de um terço dos tokens de saída. O ponto fraco é o conhecimento: o modelo frequentemente se recusa a responder.

Processado por IA de Artificial Analysis; editado por Hamidun News
Meta Muse Ember alcança Claude Haiku 5.5 em pontuação e custa um terço por tarefa
Fonte: Artificial Analysis. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalArtificial Analysis ↗
Editor-chefe
Terminal-Bench 4.040,9% contra 32,8% do Haiku 5.5
Dado-chave #2No Muse Code marca 46 contra 37 do Haiku no Claude Code
Dado-chave #3Recusa-se a responder 64% das perguntas, com 17,4% de alucinações

Modelos baratos geralmente perdem para os caros não em benchmarks vistosos, mas na conta do mês: um agente dá dezenas de passos, e cada um arrasta consigo o contexto. A Meta decidiu atacar exatamente aí. Seu novo modelo Muse Ember marca 36 pontos no Artificial Analysis Intelligence Index, o mesmo que o Claude Haiku 5.5 nas configurações máximas, mas custa US$ 0,14 por tarefa contra US$ 0,41.

De onde vem a economia

O preço por token do Ember é o mesmo do Haiku 5.5 e do GPT-6 Luna: US$ 0,10 por milhão de tokens de entrada e US$ 0,50 por milhão de saída. A diferença está em dois pontos. Primeiro, a entrada em cache custa US$ 0,004 por milhão, ou seja, 60% menos que a concorrência, e em cenários com agentes é justamente ela que compõe a maior parte da conta. Segundo, no modo máximo o Ember gera cerca de um terço dos tokens de saída do Haiku.

Imagine um agente que relê o mesmo repositório vinte vezes seguidas. Com cache caro, essas repetições devoram o orçamento; com cache barato, viram centavos. Por isso, comparar modelos pelo preço por token aqui não faz sentido: o que é preciso calcular é o custo da tarefa concluída.

No modo xhigh, o Ember marca 34 pontos por US$ 0,12. O Muse Wonder, de linha superior, entrega 44 pontos, mas por US$ 6,95 por tarefa. É cerca de 50 vezes mais caro por oito pontos adicionais. Para cenários de grande escala, essa troca raramente se justifica.

Onde o modelo é forte e onde não é

O melhor resultado é o AutomationBench-AA, benchmark de automação de fluxos de trabalho: 68,1%, no mesmo nível do Muse Wonder. No GDP.pdf o Ember supera o Haiku (22,8% contra 20,8%), enquanto no AA-Briefcase fica atrás (1521 contra 1574 Elo).

Em código, o quadro é misto. No Terminal-Bench 4.0 o Ember está à frente: 40,9% contra 32,8%. No FrontierCode 2.0 o Haiku está à frente: 34,9% contra 27,2%. Já no agente próprio, o Muse Code, o modelo marca 46 pontos no Coding Agent Index, enquanto o Haiku no Claude Code obtém 37 e o GPT-6 Luna no Codex, 31. A vantagem vem do SWE-Atlas-QnA-AA e do Terminal-Bench.

Uma ressalva: esta é uma comparação de conjuntos «modelo mais arcabouço», e não de modelos puros. Parte da vitória do Ember pode se explicar pelo fato de o Muse Code ser ajustado para ele.

Conhecimento: ponto fraco com uma vantagem inesperada

A precisão do Ember no AA-Omniscience é de apenas 21,1%. É o menor índice entre modelos de inteligência comparável: o Haiku 5.5 tem 34,7% e o Gemini 3.8 Flash (high), 50,5%. Mas a causa não é que o modelo invente coisas. Ele simplesmente se recusa a responder 64% das perguntas. Com isso, sua taxa de alucinações é de 17,4%, metade da do Haiku.

Na prática, isso significa que o Ember admite com mais honestidade que não sabe, em vez de mentir com convicção. Para um produto em que o custo do erro é alto, esse comportamento pode ser mais útil do que uma precisão maior com mais invenções.

O que fazer com isso

O modelo está disponível apenas pela API própria da Meta e no Muse Code, então a dependência de uma única plataforma permanece. Todos os números são medições de um único laboratório independente, e nas suas tarefas o resultado pode ser diferente.

A conclusão prática é simples. Se você constrói agentes com contexto longo, em que a entrada em cache domina, rode o Ember nos seus próprios traces e compare o custo da tarefa, e não do token. Para perguntas de consulta sem busca ou RAG conectados, é melhor não usá-lo: falta conhecimento. E se o seu agente é voltado ao terminal e à automação de fluxos de trabalho, vale testar o Ember como substituto barato do Haiku.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre De onde vem a economia?

O preço por token do Ember é o mesmo do Haiku 5.5 e do GPT-6 Luna: US$ 0,10 por milhão de tokens de entrada e US$ 0,50 por milhão de saída. A diferença está em dois pontos. Primeiro, a entrada em cache custa US$ 0,004 por milhão, ou seja, 60% menos que a concorrência, e em cenários com agentes é justamente ela que compõe a maior parte da conta. Segundo, no modo máximo o Ember gera cerca de um terço dos tokens de saída do Haiku. Imagine um agente que relê o mesmo repositório vinte vezes seguidas.

Onde o modelo é forte e onde não é?

O melhor resultado é o AutomationBench-AA, benchmark de automação de fluxos de trabalho: 68,1%, no mesmo nível do Muse Wonder. No GDP.pdf o Ember supera o Haiku (22,8% contra 20,8%), enquanto no AA-Briefcase fica atrás (1521 contra 1574 Elo). Em código, o quadro é misto. No Terminal-Bench 4.0 o Ember está à frente: 40,9% contra 32,8%. No FrontierCode 2.0 o Haiku está à frente: 34,9% contra 27,2%.

O que se sabe sobre Conhecimento: ponto fraco com uma vantagem inesperada?

A precisão do Ember no AA-Omniscience é de apenas 21,1%. É o menor índice entre modelos de inteligência comparável: o Haiku 5.5 tem 34,7% e o Gemini 3.8 Flash (high), 50,5%. Mas a causa não é que o modelo invente coisas. Ele simplesmente se recusa a responder 64% das perguntas. Com isso, sua taxa de alucinações é de 17,4%, metade da do Haiku. Na prática, isso significa que o Ember admite com mais honestidade que não sabe, em vez de mentir com convicção.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
O que você acha?
Carregando comentários…