Une expérience sur les LLM montre comment la « personnalité » d'un modèle naît dans l'espace latent

Dans un nouveau rapport sur une expérience avec une architecture modulaire de LLM, l'auteur a montré qu'un vecteur latent distinct peut stocker non seulement le style, mais aussi des caractéristiques stables de la façon de s'exprimer. Cette couche est considérée comme l'ébauche de ce que l'on pourrait appeler un « embedding de personnalité » du modèle.

Le problème de la réponse moyenne

Dans un modèle autorégressif classique, l'étape suivante de la génération est une distribution de probabilités sur le vocabulaire. Une même phrase peut donc avoir de nombreuses suites valables, et la température ne fait que changer la manière de choisir au sein d'une distribution déjà apprise.

Dans le schéma modulaire décrit par l'auteur, la situation est différente : le noyau doit produire un seul vecteur latent suivant, qui est ensuite décodé en texte. Il faut donc comprimer plusieurs variantes de réponse possibles dans une seule représentation compacte.

En pratique, cela conduit à un lissage. Le modèle cesse de choisir une option marquée et précise, et retient la suite « moyenne », où l'intonation, le caractère et la manière d'expliquer s'estompent. C'est ici qu'apparaît l'idée de séparer le contenu de la manière de le présenter. Si la sémantique détermine ce que dit le modèle, un latent de style distinct doit déterminer comment c'est dit : sèchement ou avec vivacité, avec assurance ou prudence, pas à pas ou en flux libre.

Comment l'expérience a été conçue

Pour tester l'hypothèse, l'auteur a entraîné le modèle sur des textes d'utilisateurs réels afin qu'il extraie un vecteur compact décrivant non le sens, mais une manière de parler stable. Ce vecteur peut ensuite être transmis au modèle principal via cross-attention. Pendant l'entraînement, le style est tiré de la réponse cible, tandis qu'à l'inférence il peut être défini séparément. En somme, au lieu d'un unique bouton, la température, on dispose d'un ensemble de réglages plus précis du comportement du modèle.

Le chercheur souligne que la tâche ne consistait pas à reconnaître un auteur précis. L'objectif était autre : obtenir un espace de caractéristiques lisse où se retrouvent proches les textes de personnes à la manière de parler similaire, même si elles écrivent sur des sujets différents. Plusieurs axes contrôlables ont commencé à apparaître dans cet espace :

• formel contre familier
• assuré contre prudent
• structuré contre spontané
• présentation « d'ingénieur » contre plus littéraire
• ton neutre contre ton chargé d'émotion

Ce que montrent les métriques

Selon l'auteur, sur un benchmark synthétique, le modèle distingue déjà assez nettement des contrastes de style individuels. Le formel contre le familier est détecté avec une balanced accuracy de 0.93, l'assurance contre l'incertitude à 0.94, la présentation empathique contre la froide à 0.93, et l'exposé libre contre l'exposé pas à pas à 0.92. En mode mixte, où de nombreux facteurs interviennent à la fois, les résultats sont logiquement plus bas, mais restent significatifs : la manière lexicale et le semantic bias se maintiennent à 0.85 et 0.84, les particularités d'âge à 0.72, l'empathie à 0.73 et la structure à 0.70.

Autre point notable : l'espace de caractéristiques ne s'effondre pas lorsqu'on combine plusieurs décalages de style. La concordance moyenne entre la composition prédite et la composition réelle de ces décalages a atteint, selon l'auteur, cos = 0.97. Cela signifie que le modèle peut se déplacer simultanément, par exemple, vers une réponse plus formelle, plus assurée et plus technique.

Le travail n'est toutefois pas terminé : le latent conserve un biais notable lié à la longueur du texte, et les signaux sociaux comme l'âge, le genre ou la profession ressemblent encore davantage à un profil probabiliste qu'à une reconnaissance fiable.

« Le style vit bel et bien dans le latent ».

Ce que cela signifie

Pour les équipes produit, cela ressemble à un passage du réglage grossier de la température à un contrôle plus fin de la manière de répondre : formelle, douce, technique, pédagogique. Si l'approche passe à l'échelle, les LLM pourraient non seulement générer du texte, mais aussi tenir de façon stable un caractère de conversation donné, sans copier le contenu d'un auteur précis. C'est ce qui fait de l'idée d'« embedding de personnalité » une hypothèse d'ingénierie tout à fait praticable, et non une métaphore.