Галлюцинации от «умных» промптов: разработчик разобрался, почему Qwen Code сбоит

Un développeur a publié une analyse détaillée sur Habr : un agent CLI basé sur Qwen Code a consacré environ deux heures à une tâche qu'un outil "rechercher et remplacer" dans un IDE résoudrait en 20 minutes — en raison d'hallucinations continues et d'ajout d'artefacts inutiles.

Quand un agent est pire qu'une simple recherche et remplacement

La tâche semblait triviale : apporter des modifications uniformes à une base de code à l'aide d'un agent CLI. Qwen Code — un modèle spécialisé dans le code, disponible au développeur dans un environnement de travail à la place du Claude préféré — devrait l'avoir gérée rapidement. Au lieu de cela, l'agent a fonctionné pendant environ deux heures : il a ajouté des constructions inutiles, a perdu le contexte de la tâche et a nécessité une correction manuelle constante.

L'auteur a continué à tenter de guider le modèle "déjà par intérêt sportif" — et cette expérience l'a forcé à enfin comprendre la nature des hallucinations au lieu de simplement changer d'outil.

Paramètres clés de la situation :

• Tâche : modifications de code uniformes via agent CLI
• Temps prévu : 20 minutes avec un outil manuel
• Temps réel : environ 2 heures avec un agent
• Modèle : Qwen Code
• Symptômes : hallucinations et ajout d'artefacts supplémentaires

Pourquoi les prompts « intelligents » amplifient-ils les hallucinations ?

Le paradoxe central de l'article — les tentatives d'écrire des prompts plus détaillés et « intelligents » ne réduisent pas le nombre d'hallucinations, mais les augmentent souvent.

Surcharge contextuelle. Un prompt long avec de nombreuses conditions et exceptions augmente la probabilité que le modèle perde le fil et commence à reconstruire la logique à partir de ses propres poids au lieu de suivre l'instruction.

Contraintes conflictuelles. Les conditions détaillées peuvent implicitement se contredire. Le modèle ne retourne pas une erreur — il choisit entre elles et choisit incorrectement, générant un résultat plausible mais incorrect.

Dépassement des limites de distribution. Les modèles spécialisés dans le code ont été entraînés sur un type spécifique de requêtes. Les prompts non standards ou composites poussent le modèle dans une zone où il y avait peu d'exemples lors de l'entraînement — et les hallucinations augmentent considérablement là.

Illusion de compréhension. Une instruction détaillée crée chez le développeur l'impression que le modèle a compris la tâche. Le modèle génère simplement le prochain token sur la base de motifs similaires issus des données d'entraînement.

Que devrait faire un développeur avec un agent IA ?

L'expérience décrite dans l'article pointe vers plusieurs conclusions pratiques :

• Atomisez les tâches : un appel d'agent — une opération spécifique, pas un ensemble d'étapes interconnectées
• Vérifiez les artefacts : le résultat de chaque étape doit être vérifié avant de le transmettre plus loin dans le pipeline
• Simplifiez, ne compliquez pas : si le modèle hallucine, essayez un prompt plus court et plus spécifique
• Choisissez l'outil pour la tâche : pour les modifications mécaniques uniformes, grep ou un script est souvent plus fiable qu'un agent

«

Ce n'est qu'après cette expérience remarquable que j'ai finalement décidé de lire les instructions », écrit l'auteur.

Ce que cela signifie

Les hallucinations des LLM ne sont pas un bug qu'un prompt plus intelligent résoudra. C'est une propriété systémique des modèles autorégressifs, qui s'amplifie lorsqu'on dépasse la distribution d'entraînement. Comprendre cela une fois signifie construire des pipelines IA en tenant compte des limitations réelles de l'outil, et non contre elles.