Cohere a trouvé comment obtenir 61,8% de la récompense pour $155 au lieu de $510 avec une équipe d'agents de code

Cohere a mesuré le coût du travail d'équipe entre agents de code, et a trouvé un moyen de réduire nettement la facture. Sur le benchmark ProgramBench, une équipe bien organisée devance un agent seul de près de 10 points de pourcentage, mais dépense de 3 à 7 fois plus. L'association d'un lead Sol, performant, et de 16 exécutants Luna bon marché à l'étape de planification obtient 61,8% de la récompense. Une équipe entièrement composée de Sol, où chaque étape est déléguée, obtient 63,2%. La première coûte $155, la seconde $510.

Les équipes d'agents construisent déjà des logiciels, mais personne ne

sait en calculer le coût

En un an, les équipes d'agents sont passées des démonstrations aux grands projets. Seize agents Claude ont écrit un compilateur C de 100 000 lignes, capable de compiler le noyau Linux. Cela a demandé environ 2000 sessions et $20 000 d'API. Les agents de Cursor ont écrit de zéro, en une semaine environ, un navigateur de plus d'un million de lignes. Bun a été porté de Zig vers Rust en 11 jours, avec jusqu'à 64 agents Claude travaillant en parallèle au pic d'activité.

Ces projets diffèrent par de nombreux paramètres à la fois. Dans le compilateur, les agents travaillaient comme des pairs et prenaient les tâches via des fichiers de verrouillage (lock files). Chez Cursor, il existait une hiérarchie où des planificateurs découpaient récursivement le travail en sous-tâches.

Dans Bun, les rôles étaient fixes : un exécutant, deux relecteurs adverses et un correcteur pour chaque bloc de travail. Impossible de déduire de tels exemples quelle décision a produit quel effet. L'étude de Factory donne un ordre de grandeur du prix à payer : lors de la reconstruction de la bibliothèque GDAL, une équipe de trois rôles a plus que doublé la récompense par rapport à un agent seul, mais elle a coûté 14 fois plus cher et pris 13 fois plus de temps.

Un banc d'essai qui ne change qu'une variable à la fois

Les auteurs, Keenan Samway, Daniel D'souza et Nouha Dziri, ont construit un harnais volontairement minimal, inspiré de mini-SWE-agent. Tous les agents travaillent via un simple outil bash dans un espace de travail partagé. Le lead reçoit la tâche et distribue le travail avec l'outil delegate_agent. L'exécutant ne voit que sa sous-tâche et rend compte une fois celle-ci terminée. Le lead décide seul du nombre d'exécutants à lancer, de ce qu'il leur confie et de la manière d'assembler les résultats. Un exécutant peut être repris avec son contexte conservé, par exemple pour corriger les bugs de son propre code, sans avoir à mettre un nouvel agent au courant.

Les chercheurs font varier cinq paramètres. L'un d'eux porte sur l'endroit où le lead recourt aux exécutants. Le prompt minimal se contente de lui demander de leur confier des tâches indépendantes. Le prompt PIV ajoute une structure en trois étapes, planification avec reconnaissance, implémentation et vérification, et exige de déléguer à chacune d'elles. Le deuxième paramètre concerne l'attente : un lead bloquant attend les rapports des exécutants. Les autres paramètres ne sont pas détaillés dans l'extrait disponible du document.

Ce que montrent les mesures

• Le gain d'une équipe par rapport à un agent seul sur ProgramBench atteint environ 10 points de pourcentage, pour un coût de 3 à 7 fois supérieur.
• Ne déléguer que la reconnaissance et la planification donne le même résultat que déléguer ensemble la planification, l'implémentation et la vérification, pour moitié moins de dépenses.
• Lead Sol et 16 exécutants Luna sur la planification : 61,8% de la récompense, contre 63,2% pour l'équipe complète de Sol.
• Le coût passe de $510 à $155, soit une baisse de 70%.

La conclusion principale : l'endroit où l'on envoie les agents compte plus que leur nombre. La puissance de calcul supplémentaire est rentable lorsque les agents s'attaquent à un véritable goulot d'étranglement de la tâche. Sur ProgramBench, il s'agit de la reconnaissance du programme source et de la planification.

Comment constituer une équipe en pratique

Commencez par un seul lead performant et n'ajoutez des exécutants que là où la tâche bute sur la reconnaissance ou la planification. Des modèles bon marché conviennent pour ces étapes. Il ne faut pas déléguer automatiquement l'implémentation et la vérification : l'expérience montre que la seconde moitié du pipeline peut alourdir les dépenses sans presque rien apporter en qualité. Avant de passer à l'échelle, mesurez le coût et la récompense pour un agent seul et pour l'équipe. Un écart de 1,4 point de pourcentage pour une facture multipliée par trois signifie qu'il est temps de revoir la composition de l'équipe.