Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
InfrastructureAnalyse · Sur le radarX: @Chinazhidx→ original

Le modèle ouvert DaisyRose-27B résout 12% des tâches de Terminal-Bench, contre 5,6%

RadixArk publie DaisyRose-27B, un modèle ouvert affiné pendant 18 jours sur 144 GPU H200 pour travailler dans un terminal comme un développeur. Sur Terminal-Bench 4.1, la part de tâches résolues dès la première tentative passe de 5,6% à 12,0% (GPT-6 Luna : 15,2%). Chacun des 1 200 exercices d'entraînement ciblait une erreur précise du modèle de base Qwen3.8-27B. À retenir : les échecs fréquents de votre propre agent peuvent devenir un jeu d'entraînement, et la licence Apache 2.0 autorise l'intégration du modèle dans un produit.

Traité par IA depuis X: @Chinazhidx ; édité par Hamidun News
Le modèle ouvert DaisyRose-27B résout 12% des tâches de Terminal-Bench, contre 5,6%
Source : X: @Chinazhidx. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireX: @Chinazhidx ↗
Rédacteur en chef
Chiffre clé #1La pile d'entraînement exploite les GPU à 37%, contre 16% pour un équivalent basé sur Megatron
Chiffre clé #216 800 tokens/s contre 8 300 ; 57% de temps GPU en moins pour le même travail
Chiffre clé #3Tourne sur une seule RTX 5090 ou sur un NVIDIA DGX Spark

Imaginez un agent chargé de réparer un build en échec depuis un terminal : trouver l'erreur dans les logs, corriger la configuration, relancer les tests, sans casser le service voisin. Sur ce type de tâches, la plupart des modèles ouverts patinent encore. La start-up RadixArk vient de publier son premier modèle à poids ouverts, DaisyRose-27B, et a plus que doublé son score sur Terminal-Bench 4.

1 : la part de tâches que l'agent résout dès la première tentative (métrique pass@1) passe de 5,6% à 12,0%. À titre de comparaison, GPT-6 Luna affiche 15,2%. L'idée centrale : le modèle n'a pas été entraîné sur un mélange de données généraliste, mais sur des tâches dont chacune visait une erreur précise du modèle de base.

Pour les développeurs, le signal est concret : les points faibles d'un agent peuvent servir de matière d'entraînement.

Une expérience devenue produit

Selon Banghua Zhu, cofondateur et directeur technique, le projet n'a pas démarré comme la sortie d'un modèle, mais comme un test de robustesse de l'infrastructure. L'équipe voulait savoir si son système tiendrait l'entraînement d'agents sur un contexte d'un million de tokens, s'il était possible d'augmenter le taux d'utilisation des GPU et de réduire le coût des sandboxes dans lesquelles les agents exécutent du code. Les résultats ont dépassé les attentes, et le modèle est né de ce test de charge.

La base est Qwen3.8-27B. Le modèle a été affiné par apprentissage par renforcement (reinforcement learning) avec le framework Miles : il tente de résoudre une tâche, reçoit une évaluation et s'ajuste. Avec Eigent AI, l'équipe a constitué 1 200 tâches soigneusement sélectionnées. C'est un peu comme réviser non pas dans un manuel généraliste, mais à partir de la liste de ses propres erreurs : le répétiteur choisit des exercices précisément adaptés à celles-ci.

Les tâches étaient longues. Une seule tentative pouvait durer jusqu'à 1,5 heure, comprendre plus de 100 appels d'outils et produire plus de 256 000 tokens. L'entraînement complet a duré 18 jours sur 144 GPU NVIDIA H200.

Ce que disent les chiffres

La performance la plus marquante concerne l'infrastructure. D'après RadixArk, son backend d'entraînement maison atteint 37% de MFU, c'est-à-dire qu'il exploite le matériel à 37% de son maximum théorique. Un outil d'entraînement open source comparable, basé sur Megatron, plafonnait à 16%. Le débit atteint 16 800 tokens par seconde, contre 8 300 sur les mêmes 144 GPU. Au final, la même charge de travail demande 57% de temps GPU en moins. Pour ceux qui louent des H200 à l'heure, l'économie est directe.

Côté qualité, DaisyRose-27B surpasse Qwen3.8-27B sur l'ensemble des sept benchmarks publiés. Le gain le plus net concerne Terminal-Bench 4.1 : plus du double, de 5,6% à 12,0%. Les autres progressions sont plus modestes :

  • DeepSWE v1.1 : de 42,2 à 46,2 ;
  • SWE-Bench Pro v2 : de 91,3 à 94,7 ;
  • GPQA Diamond : de 89,2 à 90,7.

Fait notable : le modèle progresse aussi sur GPQA Diamond, un test de questions scientifiques, alors que l'entraînement portait sur des tâches d'agent.

Pourquoi cela compte pour les développeurs et les fondateurs

Premier enseignement : on peut améliorer la qualité d'un agent avec un petit jeu de tâches, à condition que chacune cible une faiblesse réelle du modèle. Mille deux cents tâches, ce n'est pas l'échelle d'Internet, mais un volume qu'une petite équipe peut réunir avec un partenaire. Si vos logs montrent que votre agent se trompe systématiquement au même endroit, vous pouvez en tirer vos propres tâches d'entraînement.

Deuxième enseignement : sur les longues exécutions d'agents, le goulot d'étranglement se trouve souvent dans la pile d'entraînement plutôt que dans le modèle lui-même. Quand le même travail demande 57% de temps GPU en moins, chaque itération coûte moins cher et l'on peut tester plus d'hypothèses.

Troisième enseignement : la licence Apache 2.0 autorise l'usage commercial, et les 27 milliards de paramètres rendent le modèle abordable côté matériel. Selon les auteurs, il tourne sur une seule RTX 5090 ou sur un NVIDIA DGX Spark : on peut donc tester l'agent en local, sans louer de cluster.

Réserves

Tous les chiffres ont pour l'instant été publiés par RadixArk elle-même, et il n'existe pas d'évaluation indépendante. La comparaison avec l'outil d'entraînement basé sur Megatron a été réalisée sur la charge de travail propre à l'entreprise ; sur d'autres tâches, l'écart peut différer. Un score de 12,0% sur Terminal-Bench signifie toujours que la grande majorité des tâches n'est pas résolue dès la première tentative : un tel agent n'est donc pas encore prêt pour la production sans supervision humaine. On ignore aussi comment le modèle se comportera sur des tâches différentes des 1 200 sélectionnées. Mais comme exemple de ce qu'un affinage ciblé et une infrastructure efficace peuvent apporter avec un budget modeste, DaisyRose-27B mérite l'attention.

Dossier

Questions clés sur cet article

Que sait-on sur Une expérience devenue produit ?

Selon Banghua Zhu, cofondateur et directeur technique, le projet n'a pas démarré comme la sortie d'un modèle, mais comme un test de robustesse de l'infrastructure. L'équipe voulait savoir si son système tiendrait l'entraînement d'agents sur un contexte d'un million de tokens, s'il était possible d'augmenter le taux d'utilisation des GPU et de réduire le coût des sandboxes dans lesquelles les agents exécutent du code. Les résultats ont dépassé les attentes, et le modèle est né de ce test de charge.

Que sait-on sur Ce que disent les chiffres ?

La performance la plus marquante concerne l'infrastructure. D'après RadixArk, son backend d'entraînement maison atteint 37% de MFU, c'est-à-dire qu'il exploite le matériel à 37% de son maximum théorique. Un outil d'entraînement open source comparable, basé sur Megatron, plafonnait à 16%. Le débit atteint 16 800 tokens par seconde, contre 8 300 sur les mêmes 144 GPU. Au final, la même charge de travail demande 57% de temps GPU en moins. Pour ceux qui louent des H200 à l'heure, l'économie est directe.

Pourquoi cela compte pour les développeurs et les fondateurs?

Premier enseignement : on peut améliorer la qualité d'un agent avec un petit jeu de tâches, à condition que chacune cible une faiblesse réelle du modèle. Mille deux cents tâches, ce n'est pas l'échelle d'Internet, mais un volume qu'une petite équipe peut réunir avec un partenaire. Si vos logs montrent que votre agent se trompe systématiquement au même endroit, vous pouvez en tirer vos propres tâches d'entraînement.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…