La même Gemma 4 écrit un backend à 80% dans opencode, mais seulement à 41% dans OpenHands
Peut-on confier à un modèle local un vrai backend, avec base de données, file de messages et règles de projet ? L'auteur a fait passer 4 modèles ouverts par 2 harness (des programmes-enveloppes qui donnent à l'agent un terminal et un éditeur) : 8 paires, 3 runs chacune, soit 24 au total. Gemma 4 dans opencode passe environ 80% des vérifications ; la même Gemma dans OpenHands n'en passe que 41%. Il faut donc choisir un couple « modèle + harness », et non un modèle seul.
Traité par IA depuis Habr AI ; édité par Hamidun News
Les modèles locaux à poids ouverts sont de plus en plus proposés en alternative au cloud : le code ne sort pas de chez soi et le coût ne dépend pas des tarifs d'un tiers. Mais peut-on confier à un tel modèle non pas une fonction jouet, mais un vrai backend — un service avec base de données, file de messages et règles de projet — et obtenir un code qui fonctionne et qui respecte ces règles ? L'auteur a mis la question à l'épreuve avec quatre modèles et deux harness.
Un harness est un programme-enveloppe autour du modèle : il donne à l'agent un terminal et un éditeur de fichiers, et suit le déroulement du travail. Chacune des huit paires « modèle + harness » a exécuté la tâche trois fois, soit 24 runs. Le pourcentage du titre correspond à la part de vérifications passées (comportement du service et respect des règles du projet), moyennée sur cinq étapes ; pour une paire, on retient la médiane des trois runs.
La conclusion de l'auteur tient en peu de mots : presque réussi. Les meilleures paires atteignent 80% et 79%, mais aucune ne s'en sort sans la moindre remarque.
Ce qui a été testé, et comment
La tâche est unique : écrire de zéro un service FastAPI avec PostgreSQL et RabbitMQ. Elle est découpée en cinq étapes, comme le ferait un tech lead : squelette, API, règles métier, base de données, worker de file. À chaque étape, l'agent démarre une nouvelle session et poursuit son propre code de l'étape précédente. Les erreurs s'accumulent donc : si le service est cassé à la deuxième étape, la troisième part d'une base défaillante. Les règles du projet figurent dans le fichier AGENTS.md et décrivent une architecture propre avec des éléments de DDD.
L'évaluation se fait en trois couches. La première compte 68 tests cachés, qui attaquent le service via HTTP et RabbitMQ ; l'agent ne les voit pas. La deuxième regroupe 8 vérifications générales des règles : linter, typage, frontières entre couches, tests verts écrits par l'agent, configs non modifiées. La troisième est un LLM-juge, Claude Fable, qui applique 22 critères d'architecture ; sa note est présentée à part. Si une vérification obligatoire échoue (par exemple, les migrations ne s'appliquent pas à une base vide) ou si l'agent dépasse 2 heures sur une étape, l'étape reçoit zéro.
L'auteur a aussi vérifié les tests eux-mêmes : la solution de référence a été écrite par Claude Code, et 23 versions corrompues de cette référence ont été préparées. Au départ, les tests n'attrapaient pas tout : à la première étape, 3 versions corrompues sur 6 passaient, et une version dont /ready répondait en 62 secondes au lieu de 5 obtenait la note maximale. Les tests ont été complétés. Le juge a été comparé à un second juge, GPT-5.6-Sol : les notes coïncident exactement dans 27 cas sur 30.
Qui s'en sort, et comment
Les modèles : Qwen3.8–27B, Gemma 4 31B, Nemotron 3 Super (un modèle MoE dont 12 milliards de paramètres sont actifs sur 120 milliards) et Devstral 2 (123 milliards de paramètres). Les harness : opencode, en mode terminal, et OpenHands, une plateforme plus lourde dotée d'un détecteur de boucles.
- Gemma sur opencode — 80% (dispersion 76–96%). Un run dure 72 minutes et consomme 145 k tokens. Elle passe 81% des vérifications trois fois de suite. Sur OpenHands, le même modèle obtient 41%, et les plages de résultats des runs ne se recoupent pas.
- Qwen sur opencode — 79% (78–96%). Avec une telle dispersion, l'auteur considère l'écart d'un point comme une égalité. Le meilleur run a passé toutes les vérifications de comportement et n'a buté que sur le linter : 96%. Avec un hook pre-commit qui lance lui-même le linter, un run est monté à 99%. Mais un run dure 227 minutes et consomme 596 k tokens : trois fois plus de temps et quatre fois plus de tokens que Gemma. Le juge a donné 87% à Qwen contre 77% à Gemma, mais aux tests, les deux paires sont à égalité. Qwen passe toutes les vérifications aux trois runs dans 69% des cas.
- Qwen sur OpenHands — 59% ; les quatre étapes mises à zéro le sont toutes à cause de la limite de temps.
- Les autres paires affichent des médianes de 41% à 55% et ne se départagent pas entre elles. Devstral sur opencode ne dépense que 114–188 k tokens par run, mais son service est inutilisable aux étapes 4–5 dans les trois runs.
Là où les agents ont échoué
La vérification la plus difficile : la base cesse de répondre, les connexions restent ouvertes, et /ready doit renvoyer 503 en 10 secondes. Seuls 2 runs sur 24 y parviennent ; sur les 22 échecs, 17 sont des blocages. Dans 15 d'entre eux, le code est presque identique : un timer asyncio autour d'une connexion issue du pool.
Cela paraît correct, mais la sortie du bloc attend quand même la réponse du serveur. Seul Qwen sur opencode n'a pas fait confiance à ce code et l'a testé sur un faux PostgreSQL qui accepte la connexion puis reste muet (environ 130 tours sur 169), avant de passer à asyncpg pur avec terminate(). L'autre run réussi créait un nouvel engine à chaque requête, ce qui viole la règle « un engine par processus » ; le test ne le détecte pas.
Sur OpenHands, Gemma corrompait les fichiers : la commande cat avec un heredoc sans guillemets (<<EOF) a doublé le texte dans 17 appels sur 24, contre aucun sur 9 avec guillemets (<<'EOF'). Qwen et Nemotron, sur le même harness, écrivent toujours avec des guillemets : 0 échec sur 97. 5 fichiers ont été corrompus dans 2 runs sur 3. L'agent a remarqué la corruption, mais a répété la même commande 4 fois, et le détecteur de boucles a coupé la session. L'auteur n'a pas cherché à savoir pourquoi le terminal se comporte ainsi : il s'agit d'une corrélation.
La règle du harness s'est révélée plus forte que celle du projet. La consigne exigeait de terminer l'étape par un commit, mais après la compression d'un long historique, l'exigence ne subsistait que dans le résumé, tandis que le prompt système d'opencode demande de ne pas committer sans demande explicite. Sur ces 13 étapes, l'agent n'a jamais appelé git commit. Déplacer la règle dans AGENTS.md n'a aidé que dans 1 cas sur 6. Et dans un run de Gemma, l'agent a lui-même endommagé l'historique git, si bien que le juge n'avait plus de snapshots du code.
Que faire en pratique
- Évaluez le couple « modèle + harness », pas le modèle seul.
- Confiez les règles obligatoires aux outils (linter, hooks), pas au texte du prompt.
- Ne tenez pas des tests verts pour une preuve : vérifiez qu'ils détectent bien un code volontairement cassé.
- 19 nov. 2026Les parts d'Amazon et de Google dans Anthropic valorisées $308 milliards avec une IPO à $83 l'action
- 19 nov. 2026Gemini 4 Neon de Google tourne deux fois plus vite que Carbon et coûte 17% de moins par tâche
- 19 nov. 2026Les agents de codage d'OpenAI coûteraient 2400 $ par jour et par chercheur au tarif de l'API
- 19 nov. 2026Un script GitHub repère les motifs de rejet de l'App Store et de Google Play avant la review : 542 étoiles en un jour
Questions clés sur cet article
Que sait-on sur Ce qui a été testé, et comment ?
La tâche est unique : écrire de zéro un service FastAPI avec PostgreSQL et RabbitMQ. Elle est découpée en cinq étapes, comme le ferait un tech lead : squelette, API, règles métier, base de données, worker de file. À chaque étape, l'agent démarre une nouvelle session et poursuit son propre code de l'étape précédente. Les erreurs s'accumulent donc : si le service est cassé à la deuxième étape, la troisième part d'une base défaillante.
Que sait-on sur Qui s'en sort, et comment ?
Les modèles : Qwen3.8–27B, Gemma 4 31B, Nemotron 3 Super (un modèle MoE dont 12 milliards de paramètres sont actifs sur 120 milliards) et Devstral 2 (123 milliards de paramètres). Les harness : opencode, en mode terminal, et OpenHands, une plateforme plus lourde dotée d'un détecteur de boucles. Gemma sur opencode — 80% (dispersion 76–96%). Un run dure 72 minutes et consomme 145 k tokens. Elle passe 81% des vérifications trois fois de suite.
Que sait-on sur Là où les agents ont échoué ?
La vérification la plus difficile : la base cesse de répondre, les connexions restent ouvertes, et /ready doit renvoyer 503 en 10 secondes. Seuls 2 runs sur 24 y parviennent ; sur les 22 échecs, 17 sont des blocages. Dans 15 d'entre eux, le code est presque identique : un timer asyncio autour d'une connexion issue du pool. Cela paraît correct, mais la sortie du bloc attend quand même la réponse du serveur.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.