Le MIT apprend à l'IA à dire honnêtement « je ne suis pas sûr » et à moins halluciner

Des chercheurs du MIT proposent une méthode pour rendre les modèles de langage nettement plus honnêtes : au lieu de se contenter de résoudre un problème, le modèle évalue en même temps son degré de confiance dans sa propre conclusion. Sur le papier, l'ajustement paraît mineur. En pratique, il s'attaque à l'un des défauts les plus gênants des modèles de raisonnement actuels : leur tendance à adopter un ton assuré même lorsque la réponse a été obtenue presque au hasard.

La nouvelle méthode ne dégrade pas la qualité des réponses. Au contraire, elle aide le modèle à mieux distinguer les cas où il sait réellement quelque chose de ceux où il ferait mieux d'admettre son incertitude. L'équipe du MIT CSAIL décrit le problème sans détour : les modèles performants d'aujourd'hui se comportent souvent comme la personne qui parle le plus fort dans la pièce.

Ils répondent avec la même assurance, que leur raisonnement ait fonctionné ou qu'ils aient simplement deviné. Selon les chercheurs, la cause réside dans le schéma même de l'apprentissage par renforcement, utilisé aujourd'hui pour développer les capacités de raisonnement. Dans sa version classique, le modèle reçoit une récompense pour une bonne réponse et une pénalité pour une mauvaise.

Les états intermédiaires sont quasi inexistants. Un modèle qui tombe par hasard sur le bon résultat est récompensé exactement comme s'il avait déduit la solution avec rigueur. À la longue, le système est poussé à toujours répondre, sans laisser de place à un « je ne suis pas sûr ».

C'est précisément ce que le MIT a tenté de corriger avec RLCR, pour Reinforcement Learning with Calibration Rewards. Plutôt qu'une évaluation purement binaire, les chercheurs ont ajouté une composante à la fonction de récompense : le Brier score, une métrique qui compare la confiance déclarée à la précision réelle. Concrètement, après sa chaîne de raisonnement, le modèle produit non seulement une réponse, mais aussi une estimation chiffrée de sa propre confiance.

S'il se montre trop sûr de lui et se trompe, il est pénalisé. S'il donne au contraire une bonne réponse tout en sous-estimant sa confiance sans raison, cela est également pris en compte. Les auteurs affirment que ce schéma conduit formellement à deux objectifs à la fois : une précision élevée et une bonne calibration, c'est-à-dire une adéquation entre ce que le modèle dit de sa confiance et la fréquence à laquelle il a réellement raison.

Les expériences ont été menées sur un modèle de 7 milliards de paramètres. D'après le MIT, RLCR a réduit l'erreur de calibration jusqu'à 90 pour cent par rapport à un apprentissage par renforcement classique, sans baisse de précision, qui a même progressé sur certains tests. L'effet s'est maintenu non seulement sur les tâches d'entraînement, mais aussi sur de nouveaux jeux de données, dont six datasets que le modèle n'avait jamais vus.

Les chercheurs ont également comparé la méthode aux approches post-hoc, qui tentent d'estimer la confiance après l'entraînement à l'aide d'un classifieur externe. Là encore, RLCR s'est montré supérieur : plutôt qu'une surcouche cosmétique appliquée à un modèle déjà prêt, il modifie le comportement même du système pendant l'entraînement. Plus encore, l'équipe du MIT montre que le RL standard non seulement n'améliore pas la calibration, mais la dégrade souvent : le modèle gagne en capacités, tout en devenant plus sûr de lui.

L'intérêt est aussi pratique. Lorsqu'un modèle génère plusieurs réponses candidates, on peut retenir celle pour laquelle il déclare lui-même la confiance la plus élevée, ou pondérer les votes des candidats selon cette estimation. D'après les auteurs, cela améliore à la fois la précision et la calibration à mesure que le calcul alloué à l'inférence augmente.

Autre résultat intéressant : lorsque les chercheurs ont entraîné des classifieurs distincts sur les sorties du modèle, le raisonnement explicite sur sa propre incertitude a fourni un signal utile supplémentaire, en particulier pour les modèles plus compacts. Autrement dit, lorsque le modèle tente d'expliciter ce qu'il sait et ce qu'il ignore, il ne s'agit pas d'un élément décoratif, mais d'une composante substantielle de la prédiction. Qu'est-ce que cela change en pratique ?

Si l'approche RLCR passe à l'échelle des grands modèles commerciaux, l'industrie aura l'occasion de réduire non seulement le nombre d'erreurs manifestes, mais aussi celui des erreurs dangereuses, masquées par un ton assuré. Pour des domaines comme la médecine, le droit, la finance ou l'analytique d'entreprise, c'est crucial : obtenir une réponse ne suffit pas à l'utilisateur, il doit aussi savoir dans quelle mesure il peut s'y fier. Le travail du MIT ne propose pas un énième filtre plaqué sur un modèle déjà entraîné, mais une idée plus fondamentale : apprendre à l'IA non seulement à trouver une solution, mais aussi à mesurer honnêtement les limites de son propre savoir.

C'est peut-être cette habitude qui constituera l'une des mises à jour les plus utiles pour la prochaine génération de systèmes de raisonnement.