Des chercheurs mesurent l'incertitude des LLM à la robustesse de leurs mécanismes internes, sur 3 modèles

Une équipe de chercheurs propose de mesurer l'incertitude d'un grand modèle de langage non pas à ce qu'il produit en sortie, mais à la solidité avec laquelle la réponse tient à l'intérieur du modèle. La méthode a été testée sur trois modèles ouverts et cinq jeux de données de questions-réponses. Dans ces tests, les réponses fausses et incertaines se sont révélées « fragiles » : il suffisait d'une intervention interne plus faible pour les déplacer que pour les réponses correctes.

Le travail est publié dans les Hugging Face Daily Papers. Les auteurs introduisent la notion de mechanistic uncertainty, c'est-à-dire d'incertitude mécaniste.

Comment fonctionne la métrique

Les méthodes habituelles d'estimation de la confiance d'un LLM s'appuient sur la sortie : probabilités des tokens, entropie, cohérence entre plusieurs réponses générées. Toutes indiquent comment le modèle répond, mais pas sur quoi cette réponse repose.

Les auteurs adoptent l'approche inverse. Ils définissent le causal robustness margin, ou marge de robustesse causale. C'est l'amplitude minimale de l'intervention interne qui modifie la réponse du modèle. Si la réponse se casse facilement, le mécanisme qui la soutient est faible. S'il faut une action forte pour la changer, la réponse est robuste.

En pratique, l'intervention passe par des vecteurs de pilotage conceptuels (steering vectors) construits avec Jacobian Lens, abrégé en Jlens. Le principe des steering vectors consiste à décaler les activations du modèle le long d'une direction choisie et à observer comment le comportement évolue. La marge correspond au « coût » de ce décalage. L'abstract ne détaille pas la construction de ces vecteurs : il faut consulter l'article lui-même.

Ce que montrent les expériences

L'abstract décrit ainsi l'ensemble des vérifications :

• modèles : trois LLM ouverts ;
• données : cinq jeux de données de questions-réponses ;
• résultat principal : les réponses fausses et incertaines présentent une marge plus faible, c'est-à-dire qu'elles sont plus sensibles aux interventions internes ;
• complémentarité : le causal robustness margin complète les méthodes traditionnelles d'estimation de l'incertitude fondées sur la sortie du modèle, et ne les remplace pas ;
• expérience contrôlée : après un entraînement sur des faits injectés, la marge augmente pour les connaissances correctement assimilées.

Ce dernier point est sans doute le plus intéressant. Les auteurs ont délibérément entraîné le modèle sur de nouveaux faits et observé l'évolution de la métrique. Lorsqu'un fait est correctement assimilé, l'appui interne de la réponse se renforce, et la marge le capte. La métrique est ainsi testée sur sa causalité, et pas seulement sur sa corrélation avec l'exactitude des réponses dans des jeux de données existants.

L'abstract ne donne ni valeurs d'AUROC ni autres métriques de qualité, et ne nomme ni les modèles ni les jeux de données. D'après ces données, impossible de dire dans quelle mesure la marge améliore la détection des erreurs par rapport aux méthodes de référence.

Où cela peut servir

Les hallucinations restent le principal obstacle à l'usage des LLM en médecine, en droit et en finance. Dans ces domaines, une réponse ne suffit pas : il faut aussi un signal indiquant dans quelle mesure on peut s'y fier. Les scores de confiance issus de la sortie sont souvent trompeurs : un modèle peut se tromper avec assurance. Un signal interne offre un second canal de vérification indépendant.

Trois enseignements se dégagent pour les développeurs :

• La métrique peut être envisagée comme une couche supplémentaire s'ajoutant aux estimateurs de confiance existants, et non comme leur remplaçante.
• La méthode exige un accès aux activations internes. Elle s'applique aux modèles ouverts et reste inutilisable avec les API fermées, qui ne renvoient que du texte.
• Intervenir sur les activations consomme des ressources de calcul. L'abstract ne dit pas quel est le coût du calcul de la marge pour chaque requête, alors que c'est une question clé pour la production.

Il s'agit d'un travail de recherche. Les résultats ont été obtenus sur trois modèles ouverts et cinq tâches de QA, et leur transposition aux générations longues, aux modèles de raisonnement et aux scénarios agentiques reste à vérifier. Mais la direction est claire : évaluer la fiabilité d'une réponse à travers la structure causale du modèle, et pas seulement à travers les statistiques de sa sortie.