Hallucinations de l'IA pour le code : pourquoi les agents sont plus lents qu'un simple rechercher-remplacer

Un agent CLI basé sur Qwen Code a passé deux heures sur une tâche qu'un outil « rechercher et remplacer » d'IDE aurait réglée en 20 minutes. En cause : des hallucinations à répétition et des artefacts inutiles.

Quand un agent fait pire qu'un simple rechercher-remplacer

La tâche semblait triviale : appliquer des modifications répétitives à une base de code avec un agent CLI. Qwen Code est un modèle spécialisé dans le code. Le développeur y avait accès dans son environnement de travail, à la place de Claude, qu'il aurait préféré. Le modèle aurait dû s'en sortir rapidement. Au lieu de cela, l'agent a tourné pendant environ deux heures : il ajoutait des constructions inutiles, perdait le fil de la tâche et exigeait des corrections manuelles constantes.

L'auteur a continué à guider le modèle « par pur défi sportif ». C'est précisément cette expérience qui l'a poussé à se pencher enfin sur la nature des hallucinations, plutôt que de simplement changer d'outil.

Les paramètres clés de la situation :

• Tâche : modifications de code répétitives via un agent CLI
• Durée attendue : 20 minutes avec un outil manuel
• Durée réelle : environ 2 heures avec l'agent
• Modèle : Qwen Code
• Symptômes : hallucinations et ajout d'artefacts superflus

Pourquoi les prompts « intelligents » aggravent-ils les hallucinations ?

Le paradoxe central de l'article : rédiger des prompts plus détaillés et plus « intelligents » ne réduit pas le nombre d'hallucinations. Souvent, cela l'augmente.

Surcharge de contexte. Un prompt long, truffé de conditions et d'exceptions, augmente la probabilité que le modèle perde le fil. Il se met alors à compléter la logique à partir de ses propres poids au lieu de suivre l'instruction.

Conflit de contraintes. Des conditions détaillées peuvent se contredire de manière implicite. Le modèle ne renvoie pas d'erreur : il tranche entre elles, se trompe, et produit un résultat plausible mais incorrect.

Sortie de la distribution. Les modèles spécialisés dans le code ont été entraînés sur un certain type de requêtes. Les prompts atypiques ou composites poussent le modèle dans une zone peu couverte par les exemples d'entraînement, et les hallucinations s'y multiplient brutalement.

Illusion de compréhension. Une instruction détaillée donne au développeur le sentiment que le modèle a compris la tâche. En réalité, le modèle se contente de générer le token suivant à partir de motifs similaires issus de ses données d'entraînement.

Que faire quand on travaille avec un agent d'IA ?

L'expérience décrite dans l'article débouche sur plusieurs enseignements pratiques :

• Atomisez les tâches : un appel à l'agent, une opération précise, et non un ensemble d'étapes interdépendantes
• Vérifiez les artefacts : validez le résultat de chaque étape avant de le transmettre à la suite du pipeline
• Simplifiez au lieu de complexifier : si le modèle hallucine, essayez un prompt plus court et plus précis
• Choisissez l'outil adapté à la tâche : pour des modifications mécaniques et répétitives, grep ou un script sont souvent plus fiables qu'un agent

«

Ce n'est qu'après cette merveilleuse expérience que je me suis enfin décidé à lire la documentation », écrit l'auteur.

Ce que cela signifie

Les hallucinations des LLM ne sont pas un bug qu'un prompt plus malin finira par vaincre. C'est une propriété systémique des modèles autorégressifs, qui s'accentue dès qu'on sort de la distribution d'entraînement. Le comprendre une bonne fois pour toutes permet de concevoir des pipelines d'IA qui tiennent compte des limites réelles de l'outil, au lieu de les ignorer.

Quand un agent d'IA pour le code est-il moins efficace qu'un

Find & Replace ? Quand l'agent hallucine et génère du code erroné au lieu d'appliquer simplement des modifications répétitives. Exemple avec Qwen Code : une tâche que Find & Replace règle en 20 minutes a pris 2 heures, l'agent ajoutant sans cesse des artefacts inutiles.

Pourquoi les agents d'IA font-ils parfois pire que des outils simples ?

Exemple avec Qwen Code : l'agent ajoutait des artefacts inutiles et hallucinait au lieu d'effectuer un remplacement de code répétitif, une tâche qu'un IDE accomplit en 20 minutes.