Comment une seule instruction système transforme un LLM en outil fiable : tests sur Qwen et DeepSeek

Les grands modèles de langage mentent avec élégance. Pas par malveillance : ils sont entraînés à poursuivre un texte, pas à dire la vérité. Là où le modèle manque de données, il produit quelque chose de plausible et le livre avec l'assurance d'un expert. Pour les usages appliqués, comme les assistants d'entreprise, les outils d'analyse ou les systèmes d'aide à la décision, ce comportement est inacceptable. Une erreur énoncée avec assurance est pire qu'une erreur assortie d'une réserve.

La métaphore de l'exosquelette

L'auteur d'un article publié sur Habr propose une métaphore simple mais efficace : un LLM a besoin d'un exosquelette. Pas de réentraînement, pas de cycle de RLHF, pas de fine-tuning coûteux, mais une seule instruction système qui fixe des règles de comportement strictes en situation d'incertitude. Les tests ont été menés sur deux des modèles ouverts les plus populaires, bien adaptés au russe : Qwen (la série d'Alibaba) et DeepSeek. Tous deux sont très utilisés dans les produits russes précisément pour leur disponibilité et leur qualité.

Le principe : des règles de comportement

Le principe de l'« exosquelette » est d'interdire au modèle d'être trop sûr de lui là où il ne l'est pas. L'instruction système prescrit plusieurs règles clés. Première règle : reconnaître explicitement l'incertitude.

Ne pas la passer sous silence, mais dire clairement « je ne sais pas » ou « je n'ai pas assez de données ». Deuxième règle : demander des précisions si la requête est ambiguë, au lieu de choisir une interprétation et d'y répondre. Troisième règle : séparer nettement les faits dont le modèle est sûr de ceux qu'il ne fait que supposer.

Quatrième règle : refuser de répondre dans les domaines où le risque d'erreur est élevé et où l'information ne peut pas être vérifiée depuis l'intérieur du modèle. En pratique, cela paraît trivial. En pratique, ça fonctionne.

Après l'ajout de l'instruction, Qwen et DeepSeek ont reconnu beaucoup plus souvent les limites de leurs connaissances : dans les scénarios de test avec un contexte volontairement insuffisant ou contradictoire, les modèles ont cessé de « broder » et se sont mis à demander des précisions ou à signaler explicitement l'incertitude. Le niveau d'hallucinations assurées dans ces scénarios a nettement baissé.

Pourquoi ce n'est pas évident

Pourquoi n'est-ce pas évident ? Parce que, par défaut, un LLM est entraîné à donner une réponse complète et assurée, et c'est ce qui lui valait de bonnes notes en RLHF. Un évaluateur humain préfère instinctivement un texte développé et assuré à un bref « je ne sais pas ».

Le modèle a intégré cette préférence. Résultat : il a un comportement natif qui est exactement l'inverse de ce qu'exige une vraie production, où le coût d'une erreur se mesure en réputation ou en argent. L'instruction système permet de réécrire ce comportement sans toucher aux poids du modèle.

En somme, on impose au modèle une humilité épistémique de l'extérieur. D'où la métaphore de l'exosquelette : le modèle ne change pas à l'intérieur, mais une structure rigide de comportement se forme autour de lui et oriente ses réactions dans la bonne direction.

L'instruction doit être concrète

Un point important : l'instruction doit être concrète, pas déclarative. « Sois précis et honnête » ne fonctionne pas, car le modèle se considère déjà comme précis et honnête. Ce qui marche, ce sont des situations concrètes : si la requête manque de contexte, pose une question de clarification ; si tu n'es pas sûr d'un fait, indique-le explicitement et explique pourquoi ; si la question dépasse tes données, dis-le directement. Chaque règle décrit un déclencheur précis et une action précise en réponse.

Cela réduit-il l'utilité ?

Les développeurs craignent souvent que les restrictions réduisent l'utilité du modèle. Les tests ne l'ont pas montré. Dans les scénarios avec un contexte suffisant, les modèles ont travaillé aussi bien qu'sans l'instruction.

La restriction ne s'activait que là où les données manquaient réellement, c'est-à-dire précisément dans les cas où le modèle hallucinait auparavant. Pour les équipes qui bâtissent des outils internes sur des LLM, comme des bases de connaissances d'entreprise, des assistants d'analyse ou des systèmes de gestion documentaire, c'est un résultat applicable dès maintenant. Inutile d'attendre la prochaine version du modèle, de prévoir un budget de fine-tuning ou de changer d'architecture.

Il suffit de bien écrire le prompt système, et le modèle se met à se comporter comme l'entreprise en a besoin, et non comme on l'a entraîné à plaire à des évaluateurs aléatoires.

En bref :

• Une seule instruction système (l'« exosquelette ») fixe les règles de comportement du LLM face à l'incertitude, sans réentraînement ni fine-tuning.
• Tests sur Qwen et DeepSeek : les modèles ont reconnu plus souvent les limites de leurs connaissances et produit moins d'hallucinations assurées.
• L'instruction doit être concrète (déclencheur → action) ; dans les scénarios avec un contexte suffisant, l'utilité n'a pas diminué.