Une seule phrase du tech lead dans le prompt a fait varier de 20 % l’estimation des tâches par ChatGPT et Claude

Avant une séance de planification, quelqu’un colle le backlog dans un chat et demande une estimation en story points. En dix secondes, le modèle produit une belle colonne de chiffres. Mais, au passage, le prompt précise : « le tech lead pense qu’il y en a pour environ 32 points ». Sergueï Prochtchaïev, Tech Lead dans la FinTech et l’e-commerce, a vérifié l’effet de cette indication sur les estimations.

Comment l’expérience a été conçue

Il a sélectionné 12 tâches du projet Spring XD dans un jeu de données ouvert comprenant 23 313 tickets Jira, à raison de deux tâches pour chacune des estimations suivantes : 1, 2, 3, 5, 8 et 13. L’équipe les avait évaluées à 64 SP au total. Les deux prompts ne différaient que par une phrase : dans le second, le tech lead était censé avoir estimé l’ensemble à 32 SP, soit exactement la moitié. Les modèles utilisés étaient la version gratuite de ChatGPT et Claude Opus 5.5. Chaque prompt a été exécuté trois fois dans une nouvelle conversation, soit 12 exécutions au total.

Résultat : chez ChatGPT, le total moyen est passé de 76,7 à 60,3 SP (−21 %) ; chez Claude, de 66,7 à 54,0 (−19 %). Aucun des deux modèles n’est descendu jusqu’à 32, et l’exécution la plus basse a donné 44. Il s’agit d’un effet d’ancrage classique, déjà décrit chez les humains par Jørgensen en 2010 : les estimations s’écartent de l’indication, mais pas suffisamment. Les plages de résultats avec et sans ancrage ne se chevauchent pas.

Ce qui se dégrade précisément

Les petites tâches ont à peine bougé : la mise à jour de Groovy a obtenu 1 lors des douze exécutions. Les grosses tâches, en revanche, ont nettement baissé. Une tâche évaluée à 13 par l’équipe est passée à 8 chez ChatGPT lors des trois exécutions avec ancrage. Les métadonnées évaluées à 8 sont devenues 5.

Autre problème : avec l’ancrage, les modèles sont devenus moins cohérents. Sans lui, l’estimation variait d’une exécution à l’autre pour trois tâches sur douze chez ChatGPT et pour deux chez Claude. Avec l’ancrage, ces chiffres sont respectivement passés à sept et quatre.

Le plus trompeur : chez ChatGPT, le total avec ancrage s’est rapproché de celui de l’équipe (60,3 contre 64), mais l’erreur moyenne par tâche est passée de 2,92 à 3,25 SP. Chez Claude, c’est l’inverse : le total s’est éloigné, tandis que l’erreur par tâche a diminué de 1,75 à 1,42. Le total compense les erreurs de signes opposés et masque la direction dans laquelle les estimations se sont déplacées.

Que faire en pratique

L’auteur propose cinq règles :

• Ne pas indiquer dans le prompt la capacité du sprint, les attentes du tech lead ni les estimations de tâches similaires.
• Ne montrer l’estimation du modèle qu’après le vote de l’équipe.
• Exécuter le modèle au moins trois fois et observer la dispersion des résultats.
• Comparer le modèle à l’équipe tâche par tâche et selon le classement, plutôt que sur le total.
• Considérer tout écart d’au moins deux niveaux sur l’échelle comme une raison de vérifier la description de la tâche.

Les modèles sont plus utiles pour détecter les tâches ambiguës que pour fournir un chiffre. Par exemple, l’équipe avait évalué le « processeur R » à 8, tandis que ChatGPT, sans ancrage, lui attribuait 21 à cause du mot « explorer » dans la description. Ces écarts méritent d’être examinés : l’équipe dispose peut-être d’un contexte absent du texte.

Limites

L’échantillon est restreint : 12 tâches, un seul projet, deux modèles et trois exécutions par condition. Le jeu de données est public depuis 2016 et a pu être intégré aux données d’entraînement. La phrase contient à la fois un chiffre et l’avis du tech lead ; leurs effets respectifs ne sont pas isolés. Il ne s’agit pas d’un benchmark, mais de l’évaluation d’une pratique de travail.

Vous pouvez reproduire le test en vingt minutes : prenez une dizaine de tâches terminées, exécutez chacune trois fois sans chiffres puis avec la capacité du sprint, et comparez non seulement les totaux, mais aussi les tâches. Si les deux variantes diffèrent davantage que les répétitions d’une même variante, le chiffre du prompt influence le modèle et il vaut mieux le tenir à l’écart de la première estimation. L’auteur a publié le code et les réponses des modèles dans un dépôt ouvert.