Les agents LLM n'apprennent pas les normes d'une communauté par l'interaction, selon une étude

Des chercheurs ont publié sur arXiv le préprint 2610.10906 consacré à ce qu'ils appellent la compétence normative des modèles de langage : la capacité à déterminer, par la seule interaction, quelles normes une communauté soutient réellement, sans s'appuyer sur ce que le modèle a mémorisé à l'entraînement. Le constat pour les systèmes actuels n'est pas encourageant. Dans l'environnement de test, les agents LLM de base n'ont pas appris les règles, même quand cela améliorait directement leur précision. Les auteurs affirment que c'est le premier travail à formaliser et à mesurer cette compétence chez les LLM. L'abstract ne contient aucune métrique chiffrée ; il n'est donc question ci-dessous que de conclusions qualitatives.

Comment fonctionne l'expérience

Les normes des communautés humaines sont nombreuses, évoluent vite et sont souvent arbitraires. L'article cite en exemple le code vestimentaire et les conventions de langage. Leur respect est assuré par des sanctions venues de la communauté elle-même. On ne peut pas les apprendre à l'avance : il faut lire les règles sur place.

Pour isoler cette capacité des connaissances issues du pré-entraînement, les auteurs ont construit un environnement de débat multi-agents. L'accès à la discussion y est régi par des normes synthétiques, inventées spécialement pour le test. Le modèle n'a pas pu les rencontrer dans son corpus d'entraînement et n'avait rien pour deviner la réponse. L'agent voit qui est admis au débat et qui ne l'est pas, et doit déduire la règle par lui-même.

Ce que montrent les résultats

• Les agents LLM de base n'ont pas appris les normes, bien que connaître la règle aurait amélioré leur précision dans les débats.
• Les auteurs ont testé des « modules normatifs », c'est-à-dire des composants architecturaux dédiés à l'inférence des normes. Le respect des règles dépendait fortement du style de la norme et du modèle sur lequel tourne le module, ce qui indique une faible capacité de généralisation de l'approche.
• Lorsque des particularités de comportement aléatoires, non normatives, apparaissaient à côté de la vraie norme, les agents copiaient tout indistinctement. Les auteurs parlent d'unselective attribution failure : le modèle ne distingue pas une règle obligatoire d'une habitude propre à autrui.
• L'effet persistait même lorsqu'une pénalité était explicitement appliquée à l'imitation superflue.

La conclusion principale des auteurs : les modèles actuels imitent bien les comportements, mais distinguent mal ce qui, dans ce qu'ils observent, relève d'une contrainte sociale et ce qui n'est qu'une coïncidence.

Pourquoi c'est important pour les développeurs d'agents

La plupart des méthodes d'alignement figent un instantané des valeurs et des règles au moment de l'entraînement ou du réglage. Un agent autonome qui travaille dans une messagerie d'entreprise, une communauté de développeurs ou un forum se heurte à des normes locales : format des messages, ton acceptable, interdits tacites. Elles changent plus vite que ne sortent les nouvelles versions des modèles.

Le problème de la copie du bruit est particulièrement gênant. Si un modérateur termine ses messages par la même phrase par habitude, l'agent peut l'adopter comme une obligation, tout en laissant passer un véritable interdit. Dans le test, les pénalités contre l'imitation superflue n'ont pas aidé : le prompt engineering ne semble donc pas constituer ici une solution fiable.

Les limites comptent aussi. Il s'agit d'un préprint sans relecture par les pairs, l'environnement est synthétique, et l'abstract n'indique ni les modèles précis ni l'ampleur des effets. Il est trop tôt pour transposer ces conclusions à de vraies communautés sans vérification.

Que faire en pratique

Les équipes qui construisent des agents destinés à travailler parmi des humains peuvent en tirer plusieurs repères :

• Ne pas compter sur l'agent pour déduire seul les règles locales à partir des réactions de son entourage. Les normes critiques doivent être écrites explicitement et mises à jour à la main.
• Tester l'agent sur des normes synthétiques absentes des données d'entraînement. On voit alors ce qu'il a appris sur place et ce qu'il s'est simplement rappelé.
• Vérifier dans quelle mesure le résultat dépend du modèle sur lequel tourne le composant d'inférence des normes. Si la qualité fluctue fortement quand on change de modèle, la solution est fragile.
• Mesurer séparément la part d'imitation « superflue » : quelles particularités de comportement l'agent copie sans nécessité.

Tant que la compétence normative ne sera pas une propriété mesurable des modèles, le comportement des agents dans des communautés réelles restera une zone de risque. Ce travail propose au moins une méthode pour la mesurer.