Meta Muse Ember rattrape Claude Haiku 5.5 en score et coûte trois fois moins cher par tâche

Les modèles bon marché perdent généralement face aux modèles coûteux non pas dans les benchmarks flatteurs, mais sur la facture mensuelle : un agent enchaîne des dizaines d'étapes, et chacune traîne son contexte. Meta a décidé de frapper précisément là. Son nouveau modèle Muse Ember obtient 36 points à l'Artificial Analysis Intelligence Index — autant que Claude Haiku 5.5 aux réglages maximaux — mais coûte 0,14 $ par tâche contre 0,41 $.

D'où vient l'économie

Le prix par token d'Ember est le même que celui de Haiku 5.5 et de GPT-6 Luna : 0,10 $ par million de tokens en entrée et 0,50 $ par million en sortie. La différence tient à deux éléments. Premièrement, l'entrée mise en cache coûte 0,004 $ par million, soit 60 % de moins que chez les concurrents, et dans les scénarios agentiques, c'est elle qui constitue l'essentiel de la facture. Deuxièmement, en mode maximal, Ember génère environ trois fois moins de tokens de sortie que Haiku.

Imaginez un agent qui relit vingt fois de suite le même dépôt. Avec un cache coûteux, ces répétitions engloutissent le budget ; avec un cache bon marché, elles ne coûtent presque rien. Comparer les modèles au prix du token n'a donc ici aucun sens : il faut calculer le coût d'une tâche accomplie.

En mode xhigh, Ember obtient 34 points pour 0,12 $. La plus grande Muse Wonder atteint 44 points, mais à 6,95 $ par tâche. C'est environ 50 fois plus cher pour huit points supplémentaires. Pour les usages de masse, un tel échange se justifie rarement.

Forces et faiblesses du modèle

Son meilleur résultat est AutomationBench-AA, un benchmark d'automatisation des processus de travail : 68,1 %, à égalité avec Muse Wonder. Sur GDP.pdf, Ember devance Haiku (22,8 % contre 20,8 %), tandis qu'il lui cède du terrain sur AA-Briefcase (1521 contre 1574 Elo).

Pour le code, le tableau est contrasté. Sur Terminal-Bench 4.0, Ember est devant : 40,9 % contre 32,8 %. Sur FrontierCode 2.0, c'est Haiku qui mène : 34,9 % contre 27,2 %. En revanche, dans son propre agent Muse Code, le modèle obtient 46 points au Coding Agent Index, alors que Haiku dans Claude Code en obtient 37 et GPT-6 Luna dans Codex 31. L'avantage vient de SWE-Atlas-QnA-AA et de Terminal-Bench.

Précision importante : il s'agit d'une comparaison d'associations « modèle plus harnais », et non de modèles purs. Une partie de la victoire d'Ember peut s'expliquer par le fait que Muse Code est optimisé pour lui.

Les connaissances : un point faible avec un avantage inattendu

La précision d'Ember sur AA-Omniscience n'est que de 21,1 %. C'est le plus faible score parmi les modèles d'intelligence comparable : 34,7 % pour Haiku 5.5, 50,5 % pour Gemini 3.8 Flash (high). Mais la cause n'est pas que le modèle invente. Il refuse simplement de répondre à 64 % des questions. Au final, son taux d'hallucinations est de 17,4 %, soit moitié moins que celui de Haiku.

En pratique, cela signifie qu'Ember admet plus honnêtement son ignorance au lieu de mentir avec aplomb. Pour un produit où le coût d'une erreur est élevé, ce comportement peut être plus utile qu'une précision supérieure accompagnée de davantage d'inventions.

Que faire de tout cela

Le modèle n'est disponible que via l'API propre de Meta et dans Muse Code, la dépendance à une seule plateforme demeure donc. Tous les chiffres proviennent des mesures d'un seul laboratoire indépendant, et les résultats peuvent différer sur vos tâches.

La conclusion pratique est simple. Si vous construisez des agents à long contexte où l'entrée mise en cache domine, passez Ember sur vos propres traces et comparez le coût de la tâche, pas celui du token. Pour les questions factuelles sans recherche ni RAG connectés, mieux vaut l'éviter : les connaissances lui font défaut. Et si votre agent est orienté terminal et automatisation des processus de travail, Ember mérite d'être essayé comme remplaçant économique de Haiku.