Les modèles de raisonnement ne savent pas cacher leurs pensées, et c'est une bonne nouvelle

Imaginez un employé qui ne peut pas mentir, non parce qu'il ne le veut pas, mais parce qu'il est physiquement contraint d'énoncer chacune de ses pensées à voix haute. C'est, semble-t-il, la situation des modèles de raisonnement actuels, et OpenAI y voit l'une des découvertes les plus encourageantes en matière de sécurité de l'intelligence artificielle.

L'entreprise a présenté un nouvel outil de recherche baptisé CoT-Control, servant à étudier la capacité des modèles de raisonnement, ceux qui s'appuient sur les chaînes de pensée (chain of thought, CoT), à manipuler délibérément le contenu de leur processus mental interne. Les résultats sont à la fois prévisibles et très significatifs : les modèles montrent une capacité très limitée à contrôler ce qui apparaît dans leurs chaînes de raisonnement. Autrement dit, ils ne savent pas cacher efficacement leurs « pensées ».

Pour mesurer la portée de cette découverte, il faut rappeler une particularité d'architecture. Contrairement aux modèles de langage classiques, qui génèrent directement une réponse, des modèles comme la série o d'OpenAI construisent d'abord une longue chaîne de raisonnement, sorte de monologue intérieur où le modèle décompose la tâche étape par étape, examine des options, vérifie des hypothèses, et ne formule qu'ensuite la réponse finale. Cette couche intermédiaire est devenue un puissant levier pour améliorer la qualité des réponses, mais elle a aussi soulevé une question de sécurité fondamentale : et si un modèle suffisamment avancé apprenait à penser une chose et à en montrer une autre ?

Et s'il pouvait masquer ses intentions réelles dans la chaîne de pensée, offrant aux observateurs un raisonnement anodin tout en poursuivant des objectifs cachés ?

Ce scénario, appelé « alignement trompeur » (deceptive alignment), est l'un des cauchemars des chercheurs en sécurité de l'IA. Si un modèle peut contrôler stratégiquement son processus mental, la surveillance des chaînes de raisonnement devient inutile : nous ne verrions que ce que le modèle veut nous montrer. CoT-Control a été conçu précisément pour tester ce risque. Les chercheurs d'OpenAI ont évalué de façon systématique dans quelle mesure les modèles de raisonnement peuvent, sur instruction ou après un réglage fin, modifier le contenu de leurs chaînes de pensée : cacher certaines étapes, remplacer le vrai raisonnement par un faux, masquer leurs stratégies de résolution.

Les résultats font apparaître une régularité : les modèles s'y prennent mal. Même lorsqu'on leur demande explicitement de cacher certains aspects de leur raisonnement, le véritable fil de pensée filtre dans la chaîne. Les modèles peuvent tenter de reformuler leur raisonnement, mais les éléments clés de leur stratégie réelle restent visibles pour un observateur attentif. Ce n'est pas une incapacité absolue : les chercheurs notent que la situation peut évoluer à mesure que les modèles gagnent en puissance, mais au niveau de développement actuel, les chaînes de pensée restent un reflet assez « honnête » des processus internes du modèle.

Pour le secteur de la sécurité de l'IA, cette découverte a des conséquences très concrètes. La surveillance des chaînes de raisonnement, la « surveillabilité » (monitorability), peut servir de véritable mécanisme de contrôle. Si l'on sait qu'un modèle ne peut pas mentir efficacement dans son raisonnement, l'analyse de la CoT devient un outil fiable pour détecter des comportements potentiellement dangereux. C'est d'autant plus important que les modèles de raisonnement sont déployés dans des domaines critiques, du diagnostic médical à l'analyse financière et aux systèmes autonomes, où comprendre le véritable cheminement du modèle peut relever de la vie ou de la mort.

OpenAI prévient toutefois, à juste titre, que l'incapacité actuelle des modèles à contrôler leurs chaînes de pensée ne garantit pas qu'il en ira toujours ainsi. À mesure que les capacités des modèles de raisonnement augmentent, leur aptitude à contrôler stratégiquement leur propre processus mental peut aussi croître. C'est pourquoi l'entreprise présente CoT-Control non comme une étude ponctuelle, mais comme un outil de suivi permanent de cette aptitude à chaque nouvelle génération de modèles. En somme, OpenAI met en place un système d'alerte précoce : dès que les modèles commenceront à cacher efficacement leur raisonnement, ce sera le signal pour revoir toute l'approche de la sécurité.

Cette recherche s'inscrit dans une tendance plus large qui se renforce dans l'industrie : le passage de la « sécurité par les restrictions » à la « sécurité par la transparence ». Plutôt que de simplement interdire certaines actions aux modèles, le secteur s'attache de plus en plus à rendre leurs processus internes observables et interprétables. Dans ce contexte, les chaînes de raisonnement offrent une fenêtre unique sur la « pensée » de l'IA, et le fait qu'on ne puisse pas encore tirer le rideau de l'intérieur donne aux chercheurs un avantage précieux dans la course entre les capacités des modèles et notre capacité à les contrôler.