Routed Sparse Autoencoders разделяют в речи слова и интонацию на WavLM и SPEAR

Самообучаемые речевые энкодеры хранят слова, голос, эмоции и интонацию в одном общем пространстве признаков. Новая работа на arXiv предлагает Routed Sparse Autoencoders: разреженный автоэнкодер с двумя маршрутами, лингвистическим и паралингвистическим. Метод проверили на двух замороженных энкодерах, SPEAR и WavLM, и на двух корпусах, LibriSpeech и MSP-Podcast. В паралингвистический маршрут попадают личность говорящего, эмоции и просодия.

Почему всё смешано в одном векторе

Модели вроде WavLM учатся на огромных массивах аудио без разметки. Им нужно предсказывать замаскированные фрагменты сигнала, и они усваивают всё, что помогает это делать: фонетику, тембр, темп, эмоциональную окраску. Всё это ложится в одно скрытое представление. Для распознавания речи голос диктора скорее шум. Для верификации диктора или анализа эмоций он составляет суть задачи. Обычно эти задачи решают поверх одного и того же вектора, и информация одного типа просачивается в другой.

Авторы хотят разнести факторы по отдельным каналам. Тогда можно было бы убрать из представления данные о личности говорящего, не ломая транскрипцию, или менять эмоцию, не затрагивая смысл.

Как устроен метод

В основе лежит TopK sparse autoencoder: на каждом шаге активными остаются только K самых сильных признаков. Поверх него авторы добавляют два приёма. Первый — route-specific supervision, то есть каждый маршрут получает собственный обучающий сигнал для своего типа информации. Второй — cross-factor adversaries: состязательные компоненты не дают лингвистическому маршруту нести паралингвистические факторы и наоборот.

Ключевые параметры из аннотации:

• архитектура: TopK sparse autoencoder с двумя маршрутами, лингвистическим и паралингвистическим;
• обучение: supervision по маршрутам плюс кросс-факторные адверсарии;
• базовые энкодеры: SPEAR и WavLM, оба заморожены;
• паралингвистические факторы: идентичность говорящего, эмоции, просодия;
• обучение на LibriSpeech, перенос на MSP-Podcast без переобучения на стороне представлений;
• проверка: независимые пробы и интервенции в пространстве признаков.

Что показали проверки

Главный результат такой: лингвистическая информация сильнее в лингвистическом маршруте, а идентичность говорящего, эмоции и просодия сохраняются в паралингвистическом и существенно ослабляются в лингвистическом. Измеряли это независимыми пробами, то есть классификаторами, не участвовавшими в обучении автоэнкодера. Это важная деталь: если разделение подтверждается пробами, которых модель «не видела», оно вряд ли подогнано под конкретный критерий.

Вторая проверка касается переноса. LibriSpeech состоит из читаемых вслух книг, MSP-Podcast — из спонтанной речи с эмоциональной разметкой. Организация маршрутов, выученная на первом корпусе, сохранилась на втором. Третья проверка — интервенции: если поменять один маршрут между примерами, переносится именно подменённый фактор, а информация неизменённого маршрута в основном сохраняется. Слово «в основном» здесь честное: полной изоляции авторы не заявляют.

Числовых метрик в аннотации нет, поэтому величину эффекта по ней оценить нельзя. Реальный масштаб покажут таблицы в самой статье.

Где это может пригодиться

Самые очевидные применения:

• анонимизация речи: убрать признаки личности из представления и сохранить содержание;
• распознавание эмоций и просодии без утечки смысла, а также разбор того, что именно кодирует модель;
• управляемое преобразование голоса и стиля: подмена паралингвистического маршрута при неизменном смысле.

Перед внедрением стоит проверить три вещи. Во-первых, «существенно снижено» не значит «удалено»: для приватности нужна проверка более сильными атаками, чем пробы из статьи. Во-вторых, обе проверки сделаны на английской речи; как метод поведёт себя на других языках и в шумных записях, неизвестно. В-третьих, эксперименты идут на замороженных энкодерах, и вопрос об обучении end-to-end остаётся открытым. Для команд, которые строят речевые пайплайны, работа полезна как рецепт интерпретируемого разложения представлений. Сначала её стоит воспроизвести на собственных данных.