«Криптонит» научил GigaAM понимать русско-английскую речь: WER ниже на 13,6%

Знакомая сцена: на созвоне кто-то говорит «давайте посмотрим на pull request и сделаем deploy до вечера». Живой человек не заметит ничего странного. Система распознавания речи заметит: одни модели превратят английские слова в кашу из латиницы, другие подберут похожие по звучанию русские слова, третьи молча выбросят непонятный кусок. Всё потому, что ASR обычно определяет язык по первым репликам и дальше держится за него.

С этим работала лаборатория ИИ компании «Криптонит». Они придумали рецепт дообучения, который добавляет в модель поддержку code-switch, то есть переключения языка прямо в разговоре. Рецепт подходит для Whisper, GigaAM и других ASR-моделей.

Что именно сделали

За основу взяли GigaAM Multilingual от Сбера. Лицензия MIT разрешает менять модель и использовать её в коммерческих продуктах, так что результат можно взять в работу без юридических плясок.

Главная сложность в том, что готовых датасетов, где русская и английская речь перемешаны в одной фразе, почти нет. Поэтому команда собрала данные сама, примерно на 10 000 часов аудио. Использовали два приёма:

• склейка фрагментов на двух языках из реальных одноязычных записей (YODAS, Sova и другие корпуса);
• TTS-синтез предложений с частичным переводом, когда часть фразы озвучена по-русски, а часть по-английски.

Отдельно подключили KenLM — открытую библиотеку для быстрых n-граммных языковых моделей. Она работает на этапе декодирования: акустическая модель говорит, на что похож звук, а языковая оценивает, насколько правдоподобна последовательность слов. По данным авторов, KenLM сократила долю ошибок, когда в одном слове смешиваются алфавиты. Знакомый баг: «деплой» превращается в нечто вроде «дepлoй» с латинскими буквами внутри.

Что получилось

На бенчмарках с переключением языка WER в среднем снизился на 13,6%. WER показывает долю неверно распознанных слов, так что модель стала заметно реже ошибаться на смешанной речи. Контроль на одноязычной речи тоже был: авторы проверяли, что после дообучения качество там не просело.

Есть и промежуточные выводы. Даже обычные одноязычные корпуса улучшают качество при дообучении открытой модели. Синтетика с одноязычными данными тоже снижает WER, но до оптимума не дотягивает. Нужна именно смесь языков внутри фраз и языковая модель на декодировании.

Что с этим делать

Если вы строите транскрибацию совещаний, разбор звонков поддержки или голосовой ввод для международной аудитории, из этой работы можно взять несколько вещей:

• Соберите собственный тестовый набор с code-switch из своих записей. Общие бенчмарки не покажут, как модель ведёт себя на вашем жаргоне.
• Синтетику можно делать дёшево: склейка реальных кусков и TTS с частичным переводом. Это рабочий способ получить данные там, где готовых нет.
• Всегда гоняйте регрессию на одноязычной речи. Дообучение под смесь языков не должно ломать то, что уже работало.
• Подумайте про n-граммную языковую модель на декодировании. KenLM стоит недорого и убирает часть нелепых гибридов слов.

Ограничения

Эксперимент проведён только на паре «русский — английский». Авторы утверждают, что рецепт универсальный, но для других языков это пока не проверено. Цифра 13,6% — среднее по CS-бенчмаркам; абсолютных значений WER и разбивки по наборам в материале нет, так что сравнивать с вашей задачей придётся самим. Кроме того, процесс небыстрый: на кластере из четырёх NVIDIA L40S с 48 ГБ памяти у каждой дообучение занимает от одной до трёх недель, в зависимости от объёма данных.

Дальше команда хочет заняться Language Diarization, то есть автоматически делить запись на куски по языкам и маршрутизировать их без дообучения ASR. Ещё в планах — модель на базе Whisper V3 Large с поддержкой многих языков. Если эти планы сработают, подход станет заметно проще для внедрения. Пока это хороший практический рецепт для тех, у кого в аудио регулярно мелькает английский посреди русской фразы.