SEAM учит TTS новым словам без аудио и режет нужду в данных на 75%

Команда исследователей предложила SEAM (Spectral Embedding Alignment and Merging), способ добавлять в условные TTS-модели новые токены без единой аудиозаписи на этапе инициализации. На трёх языках и двух архитектурах синтеза метод достигает базовой производительности или подходит к ней вплотную, используя до четырёх раз меньше обучающих данных. Выборочная сложность падает на 75% по сравнению со случайной инициализацией и усреднением подтокенов (mean pooling).

Почему новое слово ломает синтез речи

Условная TTS-модель опирается на словарь токенов. Каждому токену соответствует эмбеддинг, и по этим векторам декодер понимает, как должен звучать результат. Пока язык и лексика покрыты словарём, всё работает. Как только нужно добавить новые токены, например для малоресурсного языка, диалекта, имён или терминов, возникает проблема. Вектор для токена, которого модель не видела, приходится откуда-то брать.

Стандартный путь такой: инициализировать вектор случайно или усреднить эмбеддинги составляющих подтокенов, а потом дообучать модель на размеченных парах «текст — аудио». Для языков с небольшим корпусом именно эти пары становятся главным узким местом. Их мало, они дорогие, а записывать диктора под каждое расширение словаря никто не хочет.

У усреднения есть и более глубокая слабость. Речь последовательна: «ка» и «ак» состоят из одних и тех же звеньев, но звучат по-разному. Mean pooling этот порядок теряет, и итоговый вектор получается размытым.

Спектральный фильтр и ridge-регрессия вместо дообучения вслепую

SEAM действует в два шага. Сначала новый эмбеддинг собирается из известных подтокенов, но не простым усреднением: применяется спектральный фильтр, который сохраняет временной, то есть фонетический, порядок. Затем вектор нужно «посадить» в пространство, к которому привыкла предобученная модель. Для этого авторы используют ridge-регрессию с решением в замкнутой форме. Это аналитическая формула, а не отдельный цикл градиентного спуска.

Отсюда и главный практический плюс: аудио на этапе инициализации не нужно. Модель стартует с осмысленных векторов, лежащих на нужном многообразии условий, и дообучение начинается не с нуля. Авторы называют решение лёгким, воспроизводимым и теоретически обоснованным.

Ключевые параметры работы:

• Задача: расширение словаря условных TTS-моделей для малоресурсных и кросс-языковых сценариев.
• Инициализация без аудио: эмбеддинги новых токенов строятся из известных подтокенов.
• Спектральный фильтр сохраняет порядок фонетических элементов.
• Выравнивание с условным многообразием предобученной модели делает ridge-регрессия в замкнутой форме.
• Проверка: три языка и две TTS-архитектуры.
• Результат: качество на уровне базового или близкое к нему при объёме данных до 4 раз меньше.
• Снижение sample complexity на 75% относительно random init и mean pooling.

Кому это пригодится первым

Четырёхкратная экономия данных важна не для лидеров рынка с огромными корпусами, а для тех, у кого записей почти нет. Это команды, которые делают озвучку для редких языков, локальные голосовые интерфейсы, ассистентов для специфических доменов с нестандартной лексикой вроде медицины или юридических терминов.

Для инженера метод интересен ещё и тем, что он ничего не ломает в пайплайне. SEAM встраивается как шаг инициализации перед обычным дообучением, без новой архитектуры и без нового датасета. Закрытая формула выравнивания проста в воспроизведении и дешёвая по вычислениям, а значит, её можно проверить на собственной модели за небольшое время.

Практический вывод такой: если вы расширяете словарь TTS и тратите бюджет на сбор парных записей, стоит сначала сравнить свой текущий baseline с инициализацией по подтокенам со спектральной фильтрацией. Даже без полного совпадения с цифрами из статьи потенциал экономии на разметке и записи здесь заметный. Результаты авторов измерены на трёх языках и двух архитектурах, поэтому перенос на другие модели нужно проверять отдельно, и первым делом имеет смысл взять язык, где сейчас больше всего не хватает аудио.