Une expérience avec un LLM a montré comment la « personnalité » du modèle émerge dans l’espace latent

Dans un nouveau rapport sur une expérience avec une architecture LLM modulaire, l'auteur démontre qu'un seul vecteur latent peut stocker non seulement le style, mais aussi des caractéristiques stables de la façon dont l'information est présentée. Cette couche est considérée comme une base pour ce qui pourrait être appelé un "embedding de personnalité" du modèle.

Le Problème de la Moyenne

Dans un modèle autoregressif classique, l'étape suivante de la génération est une distribution de probabilité sur le vocabulaire. Cela permet au même énoncé d'avoir de nombreuses continuations acceptables, et la température change seulement comment la sélection fonctionne dans une distribution déjà apprise. Dans le schéma modulaire décrit par l'auteur, la situation est différente : le noyau doit produire un seul vecteur latent suivant, qui est ensuite décodé en texte.

Pour cette raison, plusieurs variantes de réponse possibles doivent être comprimées en une seule représentation. En pratique, cela conduit à la moyenne. Le modèle commence à choisir non pas une variante claire et spécifique, mais une continuation "moyenne", où l'intonation, le caractère et la manière d'expliquer sont lissés.

C'est ici que l'idée de séparer le contenu de la présentation émerge. Si la sémantique détermine ce que dit le modèle, alors un latent de style séparé doit déterminer exactement comment c'est dit : sèchement ou vivement, avec confiance ou prudence, pas à pas ou en flux libre.

Comment l'Expérience a Été Structurée

Pour tester l'hypothèse, l'auteur a entraîné un modèle sur des textes d'utilisateurs réels pour qu'il extraie un vecteur compact décrivant non pas le sens, mais des modèles de discours stables. Ce vecteur peut ensuite être alimenté dans le modèle principal via cross-attention. Pendant l'entraînement, le style provient de la réponse cible, et pendant l'inférence, il peut être défini séparément.

Essentiellement, au lieu d'un seul bouton de température, un ensemble de mécanismes de contrôle de comportement plus précis émerge. Le chercheur insiste particulièrement sur le fait que la tâche ne s'agissait pas de reconnaître un auteur spécifique. L'objectif était différent : obtenir un espace de caractéristiques lisse où les textes de personnes ayant des modèles de discours similaires se retrouvent à proximité, même s'ils écrivent sur des sujets différents.

• formalité versus conversationnalité
• confiance versus prudence
• structure versus spontanéité
• présentation "d'ingénierie" versus plus humaniste
• ton neutre versus tonalité émotionnelle

Ce Que les Métriques ont Montré

Selon l'auteur, sur un benchmark synthétique, le modèle distingue déjà avec assurance les contrastes de style individuels. Formalité versus conversationnalité est déterminée avec balanced accuracy 0,93, confiance versus incertitude — 0,94, présentation empathique versus froide — 0,93, et exposition libre versus étape par étape — 0,92. En mode mixte où il y a de nombreux facteurs à la fois, les résultats sont attendus comme étant plus bas, mais toujours significatifs : manière lexicale et biais sémantique se maintiennent à 0,85 et 0,84, caractéristiques liées à l'âge — 0,72, empathie — 0,73, structure — 0,70.

Particulièrement intéressant est que l'espace de caractéristiques ne s'effondre pas lors de la combinaison de plusieurs décalages de style. La correspondance moyenne entre la composition prédite et réelle de tels décalages, selon l'auteur, a atteint cos = 0,97. Cela signifie que le modèle peut simultanément se déplacer, par exemple, vers une réponse plus formelle, plus confiante et plus technique.

Cependant, le travail n'est pas encore terminé : le latent a toujours un biais notable dans la longueur du texte, et les signaux sociaux comme l'âge, le sexe ou la profession ressemblent plus à un profil probabiliste qu'à une reconnaissance fiable.

"Le style vit vraiment dans le latent."

Ce Que Cela Signifie

Pour les équipes produit, cela ressemble à une transition du réglage brut de la température vers un contrôle plus précis du style de réponse : formel, doux, axé sur l'ingénierie, explicatif. Si l'approche se met à l'échelle, les LLM pourront non seulement générer du texte, mais maintenir de manière stable un caractère de communication donné sans copier le contenu d'un auteur spécifique. Et c'est exactement ce qui rend l'idée de "personality embedding" non pas une métaphore, mais une hypothèse d'ingénierie entièrement fonctionnelle.