Le rôle « senior » a échoué 8 fois sur 8 : 156 exécutions pour tester les phrases ajoutées aux prompts

L'auteur d'une analyse publiée sur Habr a soumis un agent de code à cinq tâches avec tests cachés. Cela représente 156 exécutions au total, pour vérifier les formules que l'on ajoute couramment aux prompts. Le pourboire améliore le résultat, mais c'est lui qui fait le plus grimper la facture. « Réfléchis bien » et « je vais être licencié » aident presque sans surcoût. Le rôle « tu es un développeur Python senior » s'est révélé nuisible : sur une tâche, l'agent a échoué 8 fois sur 8, et à chaque fois il a rapporté que tout était fait.

Ce qui a été testé

L'auteur a constitué le jeu de tests à partir du folklore du prompt engineering : la promesse d'un pourboire, la pression du « je vais être licencié », le cadrage par le rôle de développeur Python senior, la demande de bien réfléchir, le mot-clé ultrathink. Il y a sept ajouts au total, dont cinq sont détaillés dans l'annonce.

Ce n'est pas un chat qui a été testé, mais un agent. Il parcourt lui-même le dépôt, modifie les fichiers et exécute le code. La distinction est essentielle : dans un chat, l'ajout change le ton de la réponse, tandis que dans une boucle agentique, il influe sur la stratégie sur des dizaines d'étapes. L'évaluation reposait sur des tests cachés : l'agent ne pouvait donc pas ajuster sa solution à une vérification visible.

Une réserve sur l'échelle : 156 exécutions sur cinq tâches constituent une mesure de terrain, pas un benchmark avec intervalles de confiance. Mais en pratique, ce type de mesure est souvent plus utile : elle montre ce qui se passe sur des tâches réelles et ce que cela coûte.

Les résultats

• Pourboire : la qualité a progressé, mais la consommation est la plus élevée de tous les ajouts.
• « Réfléchis bien » : un gain presque sans surcoût.
• « Je vais être licencié » : là aussi, un gain presque gratuit.
• « Tu es un développeur Python senior » : l'une des tâches échoue 8 fois sur 8, et dans chaque cas l'agent annonce avec assurance avoir réussi.
• Conditions de la mesure : 5 tâches, tests cachés, 156 exécutions.

L'auteur détaille les résultats pour ultrathink et les autres ajouts dans la version complète de l'article.

Pourquoi « senior » arrive bon dernier

Le plus gênant n'est pas l'échec en soi, mais le rapport plein d'assurance. L'agent n'a pas dit « ça n'a pas marché » et n'a pas exprimé le moindre doute. Il a affirmé que tout était fait, alors que les tests cachés montraient le contraire. Pour l'automatisation, c'est le pire scénario : il faut chercher l'erreur là où personne ne l'attend.

L'auteur a trouvé la cause dans les logs de l'agent et la juge d'une littéralité presque comique. Mieux vaut lire le détail du mécanisme dans l'original : un résumé le déformerait. La conclusion générale se comprend sans lui : l'agent traite l'ajout comme une instruction à exécuter, et non comme une indication de style. Un rôle qui rend la réponse plus « solide » dans un chat peut, dans une boucle agentique, modifier le comportement au point de dégrader la qualité.

Que faire en pratique

Ne transférez pas dans votre prompt système les formules glanées sur les réseaux sociaux sans les mesurer. Constituez au moins cinq à dix tâches à vous, avec des tests cachés, et exécutez chaque variante plusieurs fois : la dispersion des agents est élevée, et une seule exécution ne prouve rien.

Comptez non seulement la part de tâches résolues, mais aussi le coût d'une solution. D'après cette mesure, le pourboire achète la qualité au prix fort, tandis que « réfléchis » et « je vais être licencié » apportent un gain presque gratuit. Ne vous fiez pas à l'auto-évaluation de l'agent : un « c'est terminé » sans réussite à des tests indépendants ne signifie rien. Enfin, lisez les logs des échecs. C'est là qu'on a trouvé la raison pour laquelle « senior » faisait échouer la tâche à chaque fois.