LLM как декодер в ASR: адаптация SALM-архитектуры Nvidia для русскоязычной телефонии

Индустрия распознавания речи (ASR) десятилетиями полагалась на каскадный подход: сначала акустическая модель переводит спектрограмму звука в вероятности букв, затем языковая модель пытается собрать из этого осмысленный текст. Проблема в том, что первый компонент безвозвратно теряет акустическую информацию в момент дискретизации, и ошибка накапливается дальше по цепи. Акустическая модель не знает контекста и часто путает омофоны: слова «кот» и «код» звучат одинаково, но без смысла не различить, какое было сказано.

Индустрия пыталась решить эту проблему несколькими способами: интегрированное декодирование (Beam Search + небольшая языковая модель), авторегрессионные архитектуры (RNN-T, TDT), которые учатся на бедных ASR-датасетах, и обработка ошибок через большую LLM поверх текста — но всё это оставалось в рамках каскадного подхода. На конец 2024 года Nvidia предложила принципиально другую архитектуру: SALM (Speech Augmented Language Model), установившая новый рекорд в лидерборде HuggingFace OpenASR. Эта архитектура легла в основу модели Canary-Qwen-2.5B.

Как работает SALM: гибридный подход вместо каскада

Вместо последовательного конвейера SALM совмещает речевой энкодер и LLM как единую систему. FastConformer извлекает глубокие акустические признаки из сырого аудио. Адаптер проецирует эмбеддинги в пространство токенов LLM. Затем Qwen воспринимает это не как жёсткие буквы, а как мягкий промпт (soft-prompt) — непрерывный поток смыслов, обходя свой словарь. При этом базовые веса LLM остаются замороженными: обучается только адаптер и LoRA-слои, что предотвращает катастрофическое забывание и позволяет снять LoRA и использовать Qwen отдельно для чистых текстовых задач.

Контур решил проверить, насколько эта архитектура работает в их условиях: русскоязычная телефония и видеоконференции с дефицитом размеченных данных. Акустическим энкодером стала открытая модель FastConformer, дообученная на своих данных. Для LLM протестировали два размера Qwen3 — 0.6B и 1.7B — выбрали более тяжелую ради качества, несмотря на требования к вычислительным ресурсам. Это была классическая история переноса SOTA-технологий в условия реального мира с ограниченным бюджетом на разметку данных.

Три архитектурные проблемы и их решения

Галлюцинации на паддинге. Изначально использовался подход Whisper: фиксированная длина аудио, короткие фразы добивались тишиной на уровне сырого звука (waveform). Модель начинала генерировать полный мусор в эти моменты молчания, что ломало метрику WER и замедляло инференс. Решение оказалось простым: отказ от аудио-паддинга в пользу классического паддинга токенами в конце последовательности. Галлюцинации исчезли.

Разрыв модальностей (modality gap). Языковая модель работает с жёстким словарём (условно, 100 тысяч токенов), каждому соответствует вектор фиксированной размерности. Акустический энкодер генерирует векторы своей размерности, описывающие фонетику и акустику. Даже при совпадении размеров это математически совместимые, но семантически чужие пространства: вектор из энкодера просто шум для LLM, пока они не обучены вместе. Адаптер должен спроецировать аудио-признаки так, чтобы LLM восприняла их как родные soft-prompts. Контур протестировал три варианта адаптера: многослойный перцептрон (MLP на 2 слоя), ConformerEncoder для дополнительного сжатия аудио-репрезентаций в 16 раз (с целью обработки более длинного контекста), и линейную проекцию (Linear projection). Conformer оказался слишком параметричным, MLP давал чуть лучшую точность, но разница между MLP и Linear projection была минимальна — в итоге выбрали самый простой вариант.

Результат: прирост качества в домене русскоязычной телефонии достигнут без экономии на акустическом энкодере и без контрастных объёмов данных. Архитектурные инсайты позволили избежать типичных ошибок. Контур пока не спешит внедрять это в production, но рассматривает SALM как перспективное направление для дальнейшего улучшения WER в сложных условиях спонтанной русской речи.