Le dialogue interne des LLM : comment les modèles imitent une intelligence collective

Les grands modèles de langage (LLM) actuels affichent des capacités de raisonnement impressionnantes, mais comment parviennent-ils exactement à ces résultats ? On considérait traditionnellement que la méthode Chain-of-Thought, dans laquelle le modèle construit pas à pas une chaîne logique, était la clé du succès. Or une étude récente menée par des chercheurs de Google Research et de la University of Chicago met au jour quelque chose de bien plus intéressant : à l'intérieur d'un LLM, il n'y a pas qu'un raisonnement séquentiel, mais un processus complexe qui imite un dialogue à plusieurs parties, une sorte de « conseil des esprits ».

Au lieu d'un monologue, le modèle génère différentes perspectives qui entrent en conflit, débattent et finissent par se réconcilier. Ce phénomène, baptisé « Society of Thought » (société de pensées), suggère que les LLM ont appris spontanément à imiter ce que philosophes et psychologues décrivent depuis longtemps comme la nature de la pensée : un dialogue interne entre différentes « voix ».

Les chercheurs ont identifié quatre schémas clés dans cette « dynamique conversationnelle » : poser des questions, changer de perspective, conflit et réconciliation. Ils ont aussi constaté que, pendant le raisonnement, les modèles reproduisent 12 rôles socio-émotionnels décrits dans le système Bales' IPA (Interaction Process Analysis), ce qui témoigne d'un haut degré de complexité des interactions internes.

Le facteur déterminant pour la précision du raisonnement est la diversité des perspectives. Plus le modèle génère de points de vue différents, plus la probabilité de trouver la bonne solution augmente. Des expériences d'activation steering, d'entraînement par RL et de transfer effects ont confirmé cette hypothèse, montrant que stimuler la diversité au sein du modèle améliore ses performances.

L'imitation du dialogue interne ouvre de nouvelles pistes pour le développement des LLM. Plutôt que de simplement augmenter la taille des modèles et le volume des données d'entraînement, on peut se concentrer sur des mécanismes plus efficaces pour générer et gérer différentes perspectives. Cela pourrait aboutir à des modèles capables de résoudre des tâches plus complexes et de prendre des décisions plus réfléchies.

Cette découverte a des conséquences considérables pour l'ensemble de l'industrie de l'intelligence artificielle, car elle indique que la clé pour créer des machines vraiment intelligentes pourrait résider non seulement dans l'augmentation de la puissance de calcul, mais aussi dans la compréhension et la reproduction des processus cognitifs complexes propres à la pensée humaine. En définitive, l'étude souligne l'importance d'une approche interdisciplinaire du développement de l'IA, qui réunisse informatique, psychologie et philosophie.