Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

64 agents IA au lieu de 8 : un coût en hausse de 690%, et une tâche résolue en moins

Imaginez que vous deviez corriger un bug dans Click : vous pouvez lancer un seul agent avec autovérification, ou monter une équipe composée d'un agent principal et de 63 sous-agents. Un auteur de Habr a testé les deux approches sur 14 correctifs et 30 tâches AtCoder. En passant de 8 à 64 agents, le coût d'une tentative augmente d'environ 690%, et chacun des deux modèles résout une tâche de moins. Pour un correctif local avec des tests clairs, mieux vaut donc commencer par un seul agent et vérifier son premier brouillon.

Traité par IA depuis Habr AI ; édité par Hamidun News
64 agents IA au lieu de 8 : un coût en hausse de 690%, et une tâche résolue en moins
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
DeepSeek sur AtCoder21 tâches sur 30 pour un agent seul, 24 pour huit, 23 pour 64
Qwen sur les correctifs8 agents obtiennent 3 validations sur 14 au lieu de 2, mais coûtent 679% de plus
Tâches difficiles avec DeepSeek4 sur 10 pour un agent seul, 6 sur 10 pour huit

Prenons une tâche banale : un bug à corriger dans la bibliothèque Click, avec un test qui le détecte. Les harnais d'agents actuels proposent deux voies. On peut lancer un seul agent, qui écrit un patch, le vérifie lui-même et le corrige si nécessaire.

Ou bien on monte une équipe : un agent principal, des sous-agents, des dizaines de brouillons et de relectures. La seconde option paraît plus solide, mais il est très facile de brûler un million de tokens de plus en brouillons et en revues. L'auteur de l'étude publiée sur Habr a vérifié si cet investissement était rentable : combien de patchs supplémentaires passent réellement les tests, et à quel prix.

Réponse courte : au-delà d'une certaine taille d'équipe, le nombre de patchs ne progresse plus, tandis que la facture est multipliée par près de huit.

Méthodologie de mesure

L'expérience reposait sur deux jeux de tâches. Le premier compte 14 correctifs locaux dans deux bibliothèques Python : huit dans Click et six dans Packaging. L'agent recevait la description de l'erreur et les sources de la zone concernée, indiquée à l'avance. Les tests cibles ont été vérifiés au préalable : ils échouent sur l'ancien code et passent avec le patch de référence, c'est-à-dire qu'ils détectent bien l'erreur d'origine. Le second jeu comprend 30 problèmes algorithmiques AtCoder issus de LiveCodeBench, répartis sur trois niveaux de difficulté. Le cycle complet de développement d'une fonctionnalité, avec clarification des exigences, relecture par un humain et mise en production, ne faisait pas partie de l'expérience.

Le test portait sur deux modèles peu coûteux, DeepSeek V4.1 Flash et Qwen3.8 Flash, avec une température de 0,8 et le mode de raisonnement désactivé.

Les équipes comptaient 1, 2, 4, 6, 8, 16, 32 et 64 agents. L'agent seul écrit une solution, la vérifie et peut la corriger. Dans une équipe, chaque agent écrit sa propre version, et chaque sous-agent relit en plus le brouillon de son voisin.

L'agent principal reçoit toutes les relectures et jusqu'à trois brouillons complets, puis rend une réponse finale unique. Une équipe de huit se compose de sept sous-agents et d'un agent principal ; à 64 agents, il y a 63 relectures. La qualité correspond à la part des réponses finales qui passent les tests cibles.

Le coût inclut tous les appels, y compris ceux qui échouent, au tarif plein, sans remise liée au cache.

Où la progression s'arrête

Au début, l'équipe aide. Sur AtCoder, DeepSeek résout 21 tâches sur 30 avec un seul agent et 24 avec huit. Sur les 10 tâches difficiles, son score passe de quatre à six. Avec 16 et 32 agents, il reste à 24 ; avec 64, il retombe à 23. Qwen atteint son maximum de 18 sur 30 dès l'agent seul. Les 10 tâches faciles sont résolues par les deux modèles quelle que soit la taille d'équipe testée.

Sur AtCoder, passer de 8 à 64 agents coûte 691% de plus avec DeepSeek et 687% de plus avec Qwen, alors que chaque modèle perd une tâche résolue. Les intervalles de l'écart incluent zéro : sur un échantillon de cette taille, il est donc difficile de distinguer un vrai recul d'une simple variation aléatoire. En revanche, dans les quatre groupes, il existait pour l'équipe de 64 une composition plus réduite qui résolvait autant de tâches, voire davantage, pour moins cher. Avec 64 agents, l'ensemble du corpus donne 25 sur 44 pour DeepSeek et 19 sur 44 pour Qwen.

Sur les correctifs, le tableau est contrasté. Sur Click #3902, Qwen seul n'obtient pas de validation, alors que l'équipe de huit y parvient : le modèle passe de deux à trois validations sur 14. Le prix à payer : 679% de coût de tentative en plus par rapport à un agent seul avec autovérification. Pour DeepSeek sur Packaging #1531, avec le même passage, la validation disparaît au contraire : le modèle tombe de deux patchs réussis à un seul. Les deux patchs rejetés passaient les tests de base ; ce sont les vérifications propres au correctif concerné qui ont révélé le défaut.

Le prix d'un patch validé, pas d'une tentative

L'auteur propose de ne pas calculer le coût d'un lancement, mais la somme de toutes les tentatives, échecs compris, divisée par le nombre de patchs validés. Sur les correctifs, l'équipe de six agents de Qwen obtient une validation, celle de huit en obtient trois, bien qu'un lancement à huit coûte en moyenne 36% de plus. Le prix par validation est donc 55% plus bas à huit agents qu'à six. Mais parmi ces trois tailles, les validations les moins chères viennent de l'autovérification d'un agent seul. À budget égal, sept sous-agents de Qwen produisent environ 19% des validations d'un agent seul.

Que faire en pratique

Pour un correctif local avec des critères d'acceptation clairs, lancez un seul agent et vérifiez son premier brouillon avec les tests cibles. Une grande équipe se justifie là où l'agent seul échoue : avec DeepSeek sur les tâches difficiles, huit agents apportent un gain net. Mais avec Qwen sur les tâches algorithmiques difficiles, aucune équipe n'a aidé : à partir de 8 agents, il n'y a eu aucune validation sur les dix tâches.

Les limites comptent : deux modèles peu coûteux sans mode de raisonnement, 14 correctifs dans deux bibliothèques, des échantillons réduits. Le résultat peut différer avec des modèles plus puissants. Mais la méthode se reproduit facilement sur votre propre backlog : figer les tests, faire varier la taille de l'équipe et comparer le prix d'une validation, pas celui d'une tentative.

Dossier

Questions clés sur cet article

Que sait-on sur Méthodologie de mesure ?

L'expérience reposait sur deux jeux de tâches. Le premier compte 14 correctifs locaux dans deux bibliothèques Python : huit dans Click et six dans Packaging. L'agent recevait la description de l'erreur et les sources de la zone concernée, indiquée à l'avance. Les tests cibles ont été vérifiés au préalable : ils échouent sur l'ancien code et passent avec le patch de référence, c'est-à-dire qu'ils détectent bien l'erreur d'origine.

Que sait-on sur Où la progression s'arrête ?

Au début, l'équipe aide. Sur AtCoder, DeepSeek résout 21 tâches sur 30 avec un seul agent et 24 avec huit. Sur les 10 tâches difficiles, son score passe de quatre à six. Avec 16 et 32 agents, il reste à 24 ; avec 64, il retombe à 23. Qwen atteint son maximum de 18 sur 30 dès l'agent seul. Les 10 tâches faciles sont résolues par les deux modèles quelle que soit la taille d'équipe testée.

Que sait-on sur Le prix d'un patch validé, pas d'une tentative ?

L'auteur propose de ne pas calculer le coût d'un lancement, mais la somme de toutes les tentatives, échecs compris, divisée par le nombre de patchs validés. Sur les correctifs, l'équipe de six agents de Qwen obtient une validation, celle de huit en obtient trois, bien qu'un lancement à huit coûte en moyenne 36% de plus. Le prix par validation est donc 55% plus bas à huit agents qu'à six. Mais parmi ces trois tailles, les validations les moins chères viennent de l'autovérification d'un agent seul.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…