Les émotions de Llama-3 se pilotent par un vecteur dans les activations, mais au-delà de λ=0,15 les textes perdent en clarté

En général, la couleur émotionnelle de la réponse d’un modèle se définit par le prompt : « réponds plus durement », « écris avec chaleur ». Il existe une autre voie : ne pas demander au modèle, mais pousser directement ses activations internes. Le travail de Diallo et al. (2025), publié dans IEEE Access, a testé cette voie auprès de personnes, et ses résultats sont utiles à tous ceux qui conçoivent des personnages, des assistants et des outils créatifs.

Comment l’expérience est construite

La base est Llama-3-8B, affiné (fine-tuning) pour ne pas résister à l’expression des émotions. On y a identifié des « axes » par couche pour les six émotions d’Ekman : colère, dégoût, peur, joie, tristesse et surprise. Le modèle a ensuite reçu des tâches de 19 types : écrire un conte, comparer le théâtre et le cinéma, décrire la journée d’une famille dans les années 1980. À chaque couche du transformeur, avant la formation de la réponse, les activations étaient décalées le long de l’axe voulu. L’ampleur du décalage était fixée par le coefficient λ, que l’on faisait varier de 0 à 0,35 par pas de 0,05.

Les réponses ont été évaluées par 190 participants sur une échelle de 0 à 7 : dans quelle mesure chaque émotion est exprimée et à quel point le texte est compréhensible.

Résultats

Cinq émotions sur six augmentaient avec λ. Les plus fortes hausses concernent le dégoût (de 0,8 à 4,9) et la peur (de 0,8 à 4,8). Pour la colère, la joie et la tristesse, la note culminait à λ=0,30. La surprise s’est comportée à l’inverse : elle a baissé de 1,5 à 1,2.

Les émotions ne sont pas isolées. Un décalage sur l’axe de la colère faisait passer le dégoût de 0,7 à 2,7, la tristesse de 1,2 à 1,7 et la peur de 1,0 à 1,5. Un décalage sur l’axe du dégoût faisait passer la colère de 1,0 à 2,5. Un décalage sur l’axe de la peur ajoutait de la tristesse : de 1,2 à 2,3.

L’intelligibilité dépend elle aussi de λ. À 0,15, elle diffère à peine de l’original : 5,7–6,1 contre 5,8–6,0. À 0,35, elle chute nettement : jusqu’à 2,8 pour le dégoût, 3,2 pour la surprise, 4,1 pour la colère et la peur. La tristesse et la joie tiennent mieux : 5,2–5,5. Lors d’essais préliminaires, au-delà de λ=0,35, les textes perdaient souvent leur cohérence.

Dans un exemple concret, la consigne « décris la journée d’une famille dans les années 1980 » avec de la colère (λ=0,20) produisait un manque d’argent : des enfants toujours dans les mêmes vêtements, la mère lavant à la main, le père à cran. Avec de la joie (λ=0,30), la famille passait la journée gaiement et les enfants se réjouissaient de leurs jouets. Avec de la tristesse (λ=0,35), on voyait apparaître des phrases comme « derrière les couleurs vives se cachait une lutte silencieuse ».

Que faire de tout cela en pratique

Premièrement, ce type de pilotage a une plage de fonctionnement. Un décalage modéré donne une émotion bien perceptible presque sans perte de lisibilité. Si l’on vise le maximum, on obtient un texte expressif mais difficile à lire. Il faudra ajuster λ séparément pour chaque émotion : la joie et la tristesse supportent un fort décalage nettement mieux que le dégoût.

Deuxièmement, on ne peut pas compter sur un « bouton de volume » pur pour une seule émotion. Si vous créez un personnage qui doit être en colère, sans éprouver de dégoût ni de peur, vérifiez les effets secondaires sur de vrais textes, et pas seulement la métrique visée.

Troisièmement, cette méthode convient à ceux qui travaillent avec des poids ouverts et ont accès aux activations. Via l’API d’un modèle fermé, ce n’est pas possible.

Limites

L’expérience a été menée sur un seul modèle de taille 8B, de surcroît affiné spécifiquement pour l’expression des émotions. On ne sait pas, d’après le matériel, si le résultat se transpose à d’autres modèles. Les échelles sont subjectives et les évaluations humaines sont moyennées.

L’auteur de la note originale sur Habr intègre les résultats dans sa propre théorie de la « couche I » et du « système d’exploitation luhmannien » des conversations. C’est son interprétation, non vérifiée de manière indépendante, et elle n’est pas nécessaire pour la conclusion pratique. La partie utile ici, ce sont les chiffres de l’expérience elle-même.