Sberbank et l'équipe d'Andrey Kurpatov développent une architecture pour contrer les hallucinations de l'AI

Sberbank a révélé le travail sur une recherche intitulée « Modèle d'IA de la réalité mentale humaine ». Le projet implique le Laboratoire de Neurosciences et Comportement Humain dirigé par Andrey Kurpatov, et l'objectif semble ambitieux : donner aux agents IA la capacité de discuter de la psyché humaine sans hallucinations.

À propos de la recherche

Selon la description publiée, il ne s'agit pas d'une nouvelle fonction de chatbot, mais d'une tentative de décrire la réalité mentale humaine sous une forme compréhensible pour une machine. Sber parle d'un modèle avec lequel les systèmes IA pourront travailler comme avec une carte interne de concepts, de connexions et d'états. Ceci est particulièrement important pour les tâches où il ne suffit pas de simplement sélectionner une réponse statistiquement plausible : vous devez maintenir le contexte, la logique et les relations de cause à effet autour du comportement, de la motivation et de la perception humaine.

Le fait même que le projet soit entrepris par un laboratoire à l'intersection des neurosciences, de la recherche comportementale et de l'IA montre la direction du travail. Ici, ils veulent non seulement entraîner davantage le réseau neuronal sur un corpus de textes de psychologie, mais s'appuyer sur une structure plus formelle. En d'autres termes, la tâche n'est pas que le modèle parle magnifiquement des humains, mais qu'il invente moins et ne remplace pas les connexions réelles par des interprétations pratiques mais fausses.

Pour les sujets liés à la psyché, c'est critique : une erreur de formulation devient facilement une erreur de conclusion.

Comment ils veulent réduire les erreurs

Le détail clé est l'architecture graphique. Habituellement, une telle approche signifie un système où la connaissance n'est pas représentée sous forme de texte continu, mais sous forme de nœuds et de connexions entre eux. Pour les agents IA, cela peut devenir un moyen de vérifier les réponses non seulement par la probabilité du mot suivant, mais aussi par la structure explicite des concepts. Si le modèle raisonne sur la peur, la motivation, l'attention ou les distorsions de la perception, il peut s'appuyer sur une carte des relations entre ces entités, plutôt que sur des associations aléatoires à partir des données d'entraînement.

• fixer les concepts et leurs connexions explicitement
• vérifier si une nouvelle conclusion contredit la structure déjà connue
• coordonner les réponses de plusieurs agents IA entre eux
• réduire le risque de fantaisies où la logique causale est nécessaire, pas la rhétorique

Un autre point important découle de la formulation de Sber : l'architecture est conçue spécifiquement pour l'interaction entre agents. Ce n'est plus un simple chatbot, mais un environnement où plusieurs modèles ou modules échangent des jugements sur une personne. Dans ce mode, le problème des hallucinations devient encore plus aigu : une erreur peut rapidement se multiplier dans toute la chaîne. Un schéma graphique est nécessaire comme cadre commun qui maintient la discussion dans une logique cohérente.

Où cela sera utile

Si l'approche fonctionne, elle peut être appliquée aux systèmes d'aide à la décision, aux assistants numériques, aux produits éducatifs et aux services qui analysent le comportement de l'utilisateur. Ceci ne concerne pas nécessairement l'établissement de diagnostics. Beaucoup plus proche est le scénario appliqué où l'IA aide à analyser la communication, les réactions, les modèles motivationnels ou les erreurs cognitives, mais le fait de manière plus prudente et cohérente.

Pour le marché d'entreprise, c'est particulièrement intéressant : les entreprises ont besoin d'agents qui ne font pas que redire la psychologie populaire, mais qui savent raisonner au sein d'un modèle donné et expliquer d'où vient la conclusion. En même temps, publiquement, ceci est toujours discuté comme une recherche. Sberbank n'a pas révélé comment la qualité d'un tel système sera évaluée, quels ensembles de données ou cadres d'experts sont utilisés et dans quels produits le résultat apparaîtra.

C'est une mise en garde importante car combattre les hallucinations est l'une des tâches les plus difficiles de toute la pile IA. Toute architecture peut améliorer la cohérence de la réponse, mais cela ne garantit pas la vérité. Par conséquent, la question principale n'est pas seulement comment représenter les connaissances sur la psyché, mais aussi comment valider ces connaissances, les mettre à jour et ne pas transférer au modèle les erreurs des chercheurs eux-mêmes.

Ce que cela signifie

Sberbank montre un tournant intéressant : au lieu d'un autre chatbot universel, l'entreprise explore un domaine plus étroit mais complexe où la structure, la cohérence et le contrôle des erreurs sont importants pour l'IA. Si l'approche graphique fonctionne, elle pourrait donner au marché une nouvelle classe d'agents qui raisonnent sur les humains nettement plus prudemment que les LLM ordinaires.