Le duo Opus + DeepSeek Flash résout 67% des tâches contre 81% pour Opus seul, et coûte plus cher

L'idée populaire paraît logique : un modèle coûteux comme Opus planifie le travail et vérifie le résultat, tandis qu'un modèle bon marché, DeepSeek ou Qwen, écrit le code. La qualité devrait rester quasiment la même, et la facture baisser. Ibragim Badertdinov l'a vérifié en pratique et obtenu le résultat inverse : le duo Opus + DeepSeek Flash a résolu 67% des tâches pour $1,29 par tâche, alors qu'Opus seul en a résolu 81% pour $1,20.

Comment le jeu de tests a été constitué

Jusqu'ici, l'auteur construisait ses jeux de tests à partir de ses propres sessions de travail, mais les tâches s'y sont avérées trop faciles : n'importe quel duo y fait bonne figure. Cette fois, il a pris 12 tâches difficiles issues de benchmarks ouverts, les plus proches de son travail quotidien, principalement de niveau hard ML et SWE (développement logiciel). Il a effectué plusieurs passes et corrigé à la main les tâches elles-mêmes.

C'est une découverte à part entière : selon l'auteur, plus de la moitié des tâches des benchmarks sont injustes. Les tests rejetaient une solution correcte ou laissaient passer une solution faible. Si l'on compare les modèles sans ce nettoyage, une partie des écarts de classement relève du bruit des vérifications elles-mêmes. Les tâches sont publiées dans Harbor, chacun peut donc les exécuter sur sa propre configuration. Le tableau complet des résultats et les discussions se trouvent dans un fil sur X et dans un post sur Reddit.

Au total, environ sept configurations ont été testées, dont le schéma issu de l'article de DeepSeek sur le super agent et différentes combinaisons de modèles.

Pourquoi le worker bon marché n'a rien fait économiser

La cause principale est le cache de prompt. C'est lui qui absorbe l'essentiel des dépenses. Pendant que le modèle bon marché écrit le code, le cache d'Opus expire. Quand la main revient à Opus, il faut reconstruire le contexte, ce qui coûte plus cher que tout le travail du modèle bon marché. L'économie réalisée sur les tokens de génération est simplement engloutie par la reconstruction du cache. Pour les développeurs de pipelines agentiques, la leçon est pratique : il faut compter non le prix du token du worker, mais toute la chaîne, y compris les temps morts du contexte du modèle coûteux.

Une autre approche, inspirée de l'article de DeepSeek, a fonctionné. On n'a pas interdit à Opus d'écrire du code : on lui a simplement indiqué que ses tokens coûtaient 20 fois plus cher. Le résultat est le même, mais le prix est presque deux fois plus bas : $0,71 par tâche. Autrement dit, le modèle décide lui-même quel volume déléguer et ce qu'il écrit, et répartit mieux l'effort qu'un schéma rigide de rôles.

Seuls, les modèles bon marché ont surpassé les duos

Le résultat le plus inattendu : des modèles peu coûteux, sans aucune orchestration, ont devancé tous les duos. Terra a résolu 78% des tâches, Sol 75%, tous deux à $0,17 par tâche. C'est sept fois moins cher qu'Opus seul, pour un résultat à quelques points de pourcentage près. Le post ne précise pas ce que recouvrent les noms Terra et Sol, on ne peut donc pas les comparer à des modèles publics précis.

Le rôle de relecteur a été testé séparément. Dans un pipeline de revue, le relecteur examine les diffs et, s'il trouve un problème, demande au worker de refaire le travail. Sol s'est très bien comporté dans ce rôle, Opus plutôt moyennement. Un modèle coûteux ne garantit pas un meilleur contrôle : la revue est une compétence à part, qui ne coïncide pas forcément avec le niveau général du modèle.

Limites et enseignement pratique

L'échantillon est petit : 12 tâches, donc un écart de quelques points de pourcentage peut relever du bruit statistique. Les tâches ont été choisies selon le profil d'un seul ingénieur, hard ML et SWE, et le tableau peut différer en développement web ou en refactoring de routine. Le post ne donne de résultats que pour le duo avec DeepSeek Flash ; les chiffres pour Qwen dans le rôle de worker ne sont pas communiqués.

Les repères restent néanmoins clairs. Avant de bâtir un schéma « cerveau coûteux, mains bon marché », il vaut la peine de mesurer le coût total en tenant compte du cache. Pour économiser, essayez d'indiquer au modèle coûteux le prix de ses tokens et regardez les exécutions autonomes des modèles bon marché : sur ce jeu de tests, ils offrent le meilleur rapport qualité-prix. Quant à la revue, il est judicieux de tester non seulement le modèle phare, mais aussi des candidats plus modestes.