Le MIT propose une métrique qui détecte les erreurs assurées et les hallucinations des LLM

Des chercheurs du MIT proposent une nouvelle façon de mesurer l'incertitude des grands modèles de langage et de mieux repérer les situations où l'IA répond avec assurance, mais se trompe. L'idée est simple : l'utilisateur a besoin de voir non seulement une belle réponse, mais aussi un signal indiquant dans quelle mesure cette assurance mérite d'être crue, surtout lorsque l'erreur a un coût réel.

Pourquoi les anciennes métriques échouent

Aujourd'hui, l'une des méthodes courantes pour vérifier la fiabilité d'un LLM consiste à poser plusieurs fois la même question et à regarder si le modèle répond de la même manière. Si les réponses concordent, on y voit souvent un niveau de confiance élevé.

Le problème, c'est que ce contrôle ne mesure que la cohérence interne du modèle lui-même. Il montre à quel point le modèle est sûr de lui, mais pas s'il a réellement raison. Pour une interface, c'est un signal pratique, mais pas toujours utile.

C'est là que surgit un scénario dangereux : un modèle peut répéter encore et encore la même réponse erronée en gardant une apparence de fiabilité. Pour l'utilisateur, c'est particulièrement risqué dans les tâches où l'erreur coûte cher, comme la médecine, la finance ou l'analyse appliquée. Dans ces cas, une hallucination assurée paraît plus convaincante qu'une réponse prudente mais honnête, assortie de réserves.

Les chercheurs ont donc choisi de mesurer non seulement l'assurance du modèle, mais aussi la probabilité qu'il ait été bien choisi pour la question posée.

Comment fonctionne la nouvelle méthode

L'équipe du MIT a complété la métrique habituelle d'auto-cohérence par un autre signal : le désaccord entre modèles. Plutôt que d'interroger plusieurs fois le même LLM, les chercheurs comparent la réponse du modèle cible à celles d'un petit groupe de modèles similaires, d'échelle et de classe architecturale comparables. Si ces modèles divergent nettement sur le sens, c'est un indice important que la réponse initiale peut être peu fiable, même si le modèle cible semble très sûr de lui.

Point important : ce n'est pas la correspondance littérale des formulations qui est comparée, mais la proximité sémantique des réponses. Cette approche reflète mieux l'accord ou le désaccord réel entre modèles qu'une simple comparaison de mots.

Selon les chercheurs, c'est une variante étonnamment simple qui a le mieux fonctionné en pratique : prendre des modèles conçus par des entreprises différentes. Des schémas de sélection d'ensemble plus complexes ont été testés, mais n'ont pas apporté de gain par rapport à cette stratégie directe et lisible.

• On choisit d'abord le modèle cible, dont la réponse doit être évaluée.
• On soumet ensuite la même requête à plusieurs LLM similaires.
• Le système mesure alors à quel point les réponses concordent sur le sens.
• Cet indicateur est combiné à la métrique habituelle d'auto-cohérence.
• On obtient en sortie la métrique finale d'incertitude totale (total uncertainty).

Les auteurs qualifient la seconde composante d'incertitude épistémique : elle indique dans quelle mesure le modèle lui-même a été bien choisi pour la tâche. Additionnée à l'incertitude aléatoire, qui reflète l'instabilité interne de la réponse, elle donne une image plus complète du risque. Autrement dit, le système vérifie à la fois si le modèle se perd tout seul et s'il s'écarte d'autres modèles plausibles.

La méthode fonctionne par ailleurs en mode black-box : il lui suffit des réponses textuelles, sans accès aux logits ni aux états internes du modèle.

Où la méthode est la plus utile

Les chercheurs ont testé la métrique combinée sur dix tâches réalistes, dont des scénarios de questions-réponses, le résumé, la traduction et le raisonnement mathématique. Dans la principale série d'expériences, ils ont comparé plusieurs modèles ajustés par instructions, et mené des vérifications complémentaires sur des modèles accessibles par API.

Dans ces tests, l'indicateur d'incertitude totale a repéré les réponses peu fiables de façon plus stable que chacune des composantes prise isolément. La nouvelle approche s'est montrée particulièrement efficace là où il existe une seule réponse correcte, par exemple en Q&A factuel ou en traduction.

Si un modèle répète de nombreuses fois la même réponse, cela ne

signifie pas encore qu'elle est juste.

Il existe aussi une limite importante. Pour les tâches plus ouvertes, où plusieurs bonnes réponses sont acceptables, le signal de désaccord entre modèles peut être moins utile. Autrement dit, lorsqu'il ne s'agit pas d'un fait mais d'une génération plus libre, le désaccord entre modèles ne signale pas toujours une erreur. Les auteurs indiquent explicitement vouloir, à l'avenir, adapter la technique à ces scénarios et étudier séparément d'autres formes d'évaluation de l'incertitude interne du modèle.

Autre avantage pratique : l'économie de calcul. Dans plusieurs expériences, le calcul de l'incertitude totale a demandé moins de requêtes que l'évaluation traditionnelle fondée uniquement sur l'auto-cohérence. Cela signifie non seulement une baisse des coûts d'inference, mais aussi, potentiellement, une moindre consommation d'énergie lors d'un usage massif de ces vérifications. Pour la production, c'est un argument de poids : si la métrique est à la fois plus précise et moins chère, elle a bien plus de chances d'entrer dans de vrais produits d'IA plutôt que de rester une idée purement académique.

Ce que cela change

Pour l'industrie, c'est le passage d'une évaluation du « degré d'assurance du modèle » à celle du « crédit que l'on peut accorder à cette assurance ». Si l'approche s'impose en production, les services d'IA pourront signaler plus précisément les hallucinations, et les utilisateurs prendront moins souvent pour une réponse fiable une erreur qui sonne juste. C'est particulièrement important pour tous les cas où le LLM n'est plus un jouet mais un outil de travail qui influence les décisions, l'argent et les processus quotidiens de l'entreprise.