SberDevices выпустила открытую GigaAM-v3: распознавание русской речи лучше минимум на 10%
SberDevices выпустила открытую модель GigaAM-v3: она переводит русскую речь в текст сразу с пунктуацией и цифрами. Новое предобучение HuBERT-CTC использует готовую модель распознавания как учителя и даёт прирост качества минимум 10% против распространённых методов. Размеченных записей стало вдвое больше — 4000 часов, включая колл-центры. Для русских голосовых сервисов это готовая основа.
AI-обработка оригинала SberDevices; редакция Hamidun News
Если вы делаете голосового помощника, расшифровку звонков или субтитры для русскоязычного видео, вам нужна не просто модель, которая слышит слова. Нужен читаемый текст: с запятыми, вопросительными знаками и цифрами вместо «двадцати пяти процентов». SberDevices представила GigaAM-v3 — новую версию открытого семейства акустических моделей для русского языка — и сделала упор именно на это. Главная заявка авторов: новый способ предобучения HuBERT-CTC даёт прирост качества минимум на 10% даже по сравнению с распространёнными в индустрии методами.
Как учат энкодер: HuBERT-CTC
Современные модели распознавания речи (ASR) сначала предобучают на огромном количестве звука без разметки. Идея похожа на BERT в тексте: часть аудио закрывают маской, а модель угадывает, что там было. В классическом HuBERT «правильные ответы» для угадывания получают так: берут признаки звука, группируют их методом k-means и получают набор дискретных токенов — своего рода «звуковой алфавит».
В Сбере поменяли точку старта. Вместо универсального энкодера они взяли энкодер, который уже дообучили распознавать речь с функцией CTC. Его внутренние представления лучше передают фонетику и смысл, поэтому «звуковой алфавит» получается ближе к реальной задаче. Дальше всё как в HuBERT: закрываем фрагменты и учим модель восстанавливать токены. Проще говоря, знания готовой ASR-модели переливаются в предобучение, а неразмеченного аудио при этом используется очень много.
Что показали эксперименты. В тесте с замороженным энкодером качество распознавания растёт от нижних слоёв к верхним. У конкурирующего метода BEST-RQ минимальная доля ошибок в словах (WER) часто достигается на средних слоях. Итоговый WER после дообучения ниже, чем у чистого HuBERT, даже когда берут весь размеченный объём. Если разметки мало — 10%, 1% или 0,1% от полного набора, — выигрыш заметнее.
Данные: больше часов и больше разных ситуаций
Для GigaAM-v2 модель предобучали примерно на 50 тысячах часов русской речи, для v3 этот объём увеличили. Записи чистят просто: детектор речевой активности (VAD) режет длинные файлы на минутные фрагменты и отбрасывает те, где слишком много тишины. Более «умные» фильтры пробовали, но они почти не влияли на качество и требовали заметных вычислений, поэтому оставили VAD.
Размеченных данных стало примерно вдвое больше — 4000 часов, и они разнообразнее:
- сложные тексты, на которых ошибались другие модели, — 950 часов;
- спонтанная разговорная речь — 450 часов;
- колл-центры и телефонные записи — 350 часов;
- речь на фоне музыки — 110 часов;
- синтезированная речь — 100 часов;
- речь с особенностями — 50 часов.
На открытых наборах (Golos, Common Voice, Russian LibriSpeech) качество осталось на уровне v2. Авторы объясняют это тем, что заметно выросла доля трудных внутренних доменов. Поэтому они отдельно показывают результаты на записях колл-центров и речи с особенностями. Для практика это честный сигнал: на «чистых» бенчмарках v3 не обгоняет v2, а выигрыш нужно искать в сложных условиях.
Красивый текст вместо служебной расшифровки
Обычные датасеты хранят транскрипции в служебном виде: без пунктуации, а числа и символы вроде % и $ записаны словами. Для обучения это удобно, для чтения — нет. Чтобы получить корпус с нормальным текстом, команда использовала GigaChat Audio. Модели давали аудио, исходную расшифровку, подробную инструкцию и 10 фиксированных примеров. Аудио нужно, чтобы по интонации понять вопрос и правильно обработать паузы.
Генеративные модели галлюцинируют, поэтому результат фильтровали:
- проверяли, что длина текста почти не изменилась;
- удаляли символы вне заданного алфавита, например эмодзи;
- убирали Markdown и вставки вроде «(тишина)»;
- сверяли, что знак % появился только там, где в оригинале было слово «процент», а $ — там, где было «доллар»;
- следили за расхождением по метрикам CER и WER.
Альтернативой был forced decoding: пунктуацию добавляют прямо при декодировании, а референсный текст не меняют, так что WER точно не ухудшается. Минусы метода — падает гибкость нормализации, а итоговая пунктуация хуже, чем при разметке с помощью LLM. Подходы сравнили на внутренних данных, где транскрипцию и знаки препинания размечали асессоры.
Что с этим делать
GigaAM-v3 — открытая модель, её можно запустить у себя и не отправлять чувствительные звонки во внешние API. Но урок шире самой модели. Если у вас есть «сырые» транскрипции, LLM с доступом к аудио и жёсткими фильтрами может превратить их в обучающие данные с пунктуацией. А при выборе ASR смотрите не только на WER по открытым наборам, но и на собственные домены: шумные звонки, музыку, нестандартную речь. Сами авторы для оценки в нескольких доменах подключили LLM-as-a-judge — оценку другой языковой моделью — поверх классического WER, потому что одна доля ошибочных слов плохо отражает читаемость текста с пунктуацией.
- 21 нояб. 2026 г.Дизайнер без опыта в коде довёл ИИ-расширение для нарезки видео за 3 дня и 700 правок
- 21 нояб. 2026 г.Google научила Gemini делать GIF: 3 секунды, только 16:9 или 9:16, без петли
- 21 нояб. 2026 г.Google выпустила Gemini 4 Neon: 65,2% в Terminal-Bench 4.1 при цене $3 за млн токенов
- 21 нояб. 2026 г.Gemini 4 Neon сжала бинарник TS Rust с 47,44 до 7,97 МБ меньше чем за 10 часов
Вопросы и ответы по материалу
Что известно по теме: как учат энкодер: HuBERT-CTC?
Современные модели распознавания речи (ASR) сначала предобучают на огромном количестве звука без разметки. Идея похожа на BERT в тексте: часть аудио закрывают маской, а модель угадывает, что там было. В классическом HuBERT «правильные ответы» для угадывания получают так: берут признаки звука, группируют их методом k-means и получают набор дискретных токенов — своего рода «звуковой алфавит». В Сбере поменяли точку старта.
Что известно по теме: данные: больше часов и больше разных ситуаций?
Для GigaAM-v2 модель предобучали примерно на 50 тысячах часов русской речи, для v3 этот объём увеличили. Записи чистят просто: детектор речевой активности (VAD) режет длинные файлы на минутные фрагменты и отбрасывает те, где слишком много тишины. Более «умные» фильтры пробовали, но они почти не влияли на качество и требовали заметных вычислений, поэтому оставили VAD.
Что известно по теме: красивый текст вместо служебной расшифровки?
Обычные датасеты хранят транскрипции в служебном виде: без пунктуации, а числа и символы вроде % и $ записаны словами. Для обучения это удобно, для чтения — нет. Чтобы получить корпус с нормальным текстом, команда использовала GigaChat Audio. Модели давали аудио, исходную расшифровку, подробную инструкцию и 10 фиксированных примеров. Аудио нужно, чтобы по интонации понять вопрос и правильно обработать паузы.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.