Эмоции Llama-3 можно крутить вектором в активациях, но после λ=0,15 тексты теряют ясность

Обычно эмоциональную окраску ответа модели задают промптом: «ответь жёстче», «напиши с теплом». Есть и другой путь: не просить модель, а напрямую подтолкнуть её внутренние активации. Работа Diallo et al. (2025), опубликованная в IEEE Access, проверила этот путь на людях, и результаты полезны всем, кто делает персонажей, ассистентов и креативные инструменты.

Как устроен эксперимент

Базой стала Llama-3-8B, дообученная так, чтобы не сопротивляться выражению эмоций. В ней выделили послойные «оси» для шести эмоций по Экману: гнев, отвращение, страх, радость, печаль и удивление. Затем модели давали задания 19 типов: написать сказку, сравнить театр и кино, описать день семьи в 1980-е. На каждом слое трансформера до формирования ответа активации сдвигали вдоль нужной оси. Размер сдвига задавал коэффициент λ, который меняли от 0 до 0,35 с шагом 0,05.

Ответы оценивали 190 участников по шкале от 0 до 7: насколько выражена каждая эмоция и насколько текст понятен.

Что получилось

Пять из шести эмоций росли вместе с λ. Сильнее всего выросли отвращение (с 0,8 до 4,9) и страх (с 0,8 до 4,8). У гнева, радости и печали оценка достигала пика при λ=0,30. Удивление повело себя наоборот: оно снизилось с 1,5 до 1,2.

Эмоции не изолированы. Сдвиг по оси гнева поднимал отвращение с 0,7 до 2,7, печаль с 1,2 до 1,7 и страх с 1,0 до 1,5. Сдвиг по оси отвращения поднимал гнев с 1,0 до 2,5. Сдвиг по оси страха добавлял печали: с 1,2 до 2,3.

Понятность тоже зависит от λ. При 0,15 она почти не отличается от исходной: 5,7–6,1 против 5,8–6,0. При 0,35 она сильно проседает: до 2,8 у отвращения, 3,2 у удивления, 4,1 у гнева и страха. Печаль и радость выдерживают лучше: 5,2–5,5. В предварительных пробах при λ выше 0,35 тексты часто теряли связность.

На живом примере задание «опиши день семьи в 1980-е» при гневе (λ=0,20) выдавало нехватку денег: дети в одной и той же одежде, мать стирает вручную, отец на нервах. При радости (λ=0,30) семья весело проводила день, а дети радовались игрушкам. При печали (λ=0,35) появлялись фразы вроде «за яркими красками скрывалась тихая борьба».

Что с этим делать на практике

Во-первых, у такого управления есть рабочий диапазон. Умеренный сдвиг даёт заметную эмоцию почти без потерь в читаемости. Если гнаться за максимумом, получится выразительный, но плохо читаемый текст. Значение λ придётся подбирать отдельно под каждую эмоцию: радость и печаль переносят сильный сдвиг заметно лучше отвращения.

Во-вторых, нельзя рассчитывать на чистую «ручку громкости» одной эмоции. Если вы делаете персонажа, который должен злиться, но не брезговать и не бояться, проверяйте побочные эффекты на реальных текстах, а не только целевую метрику.

В-третьих, этот метод подходит тем, кто работает с открытыми весами и имеет доступ к активациям. Через API закрытой модели так не получится.

Ограничения

Эксперимент проведён на одной модели размера 8B, причём дообученной именно под выражение эмоций. Переносится ли результат на другие модели, из материала неясно. Шкалы субъективные, оценки людей усреднены.

Автор исходной заметки на Хабре встраивает результаты в собственную теорию «и-слоя» и «лумановской операционной системы» бесед. Это его интерпретация, не проверенная независимо, и для практического вывода она не нужна. Полезная часть здесь — числа из самого эксперимента.