Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизAPI / Продукт · В работуSberDevices→ оригинал

SberDevices выпустила открытую GigaAM-v3: распознавание русской речи лучше минимум на 10%

SberDevices выпустила открытую модель GigaAM-v3: она переводит русскую речь в текст сразу с пунктуацией и цифрами. Новое предобучение HuBERT-CTC использует готовую модель распознавания как учителя и даёт прирост качества минимум 10% против распространённых методов. Размеченных записей стало вдвое больше — 4000 часов, включая колл-центры. Для русских голосовых сервисов это готовая основа.

AI-обработка оригинала SberDevices; редакция Hamidun News
SberDevices выпустила открытую GigaAM-v3: распознавание русской речи лучше минимум на 10%
Источник: SberDevices. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникSberDevices ↗
Главный редактор
Данные950 часов сложных текстов, 450 — разговорной речи
Ключевой факт #2Пунктуацию расставил GigaChat Audio по 10 примерам в промпте
Ключевой факт #3На Golos и Common Voice качество осталось на уровне v2

Если вы делаете голосового помощника, расшифровку звонков или субтитры для русскоязычного видео, вам нужна не просто модель, которая слышит слова. Нужен читаемый текст: с запятыми, вопросительными знаками и цифрами вместо «двадцати пяти процентов». SberDevices представила GigaAM-v3 — новую версию открытого семейства акустических моделей для русского языка — и сделала упор именно на это. Главная заявка авторов: новый способ предобучения HuBERT-CTC даёт прирост качества минимум на 10% даже по сравнению с распространёнными в индустрии методами.

Как учат энкодер: HuBERT-CTC

Современные модели распознавания речи (ASR) сначала предобучают на огромном количестве звука без разметки. Идея похожа на BERT в тексте: часть аудио закрывают маской, а модель угадывает, что там было. В классическом HuBERT «правильные ответы» для угадывания получают так: берут признаки звука, группируют их методом k-means и получают набор дискретных токенов — своего рода «звуковой алфавит».

В Сбере поменяли точку старта. Вместо универсального энкодера они взяли энкодер, который уже дообучили распознавать речь с функцией CTC. Его внутренние представления лучше передают фонетику и смысл, поэтому «звуковой алфавит» получается ближе к реальной задаче. Дальше всё как в HuBERT: закрываем фрагменты и учим модель восстанавливать токены. Проще говоря, знания готовой ASR-модели переливаются в предобучение, а неразмеченного аудио при этом используется очень много.

Что показали эксперименты. В тесте с замороженным энкодером качество распознавания растёт от нижних слоёв к верхним. У конкурирующего метода BEST-RQ минимальная доля ошибок в словах (WER) часто достигается на средних слоях. Итоговый WER после дообучения ниже, чем у чистого HuBERT, даже когда берут весь размеченный объём. Если разметки мало — 10%, 1% или 0,1% от полного набора, — выигрыш заметнее.

Данные: больше часов и больше разных ситуаций

Для GigaAM-v2 модель предобучали примерно на 50 тысячах часов русской речи, для v3 этот объём увеличили. Записи чистят просто: детектор речевой активности (VAD) режет длинные файлы на минутные фрагменты и отбрасывает те, где слишком много тишины. Более «умные» фильтры пробовали, но они почти не влияли на качество и требовали заметных вычислений, поэтому оставили VAD.

Размеченных данных стало примерно вдвое больше — 4000 часов, и они разнообразнее:

  • сложные тексты, на которых ошибались другие модели, — 950 часов;
  • спонтанная разговорная речь — 450 часов;
  • колл-центры и телефонные записи — 350 часов;
  • речь на фоне музыки — 110 часов;
  • синтезированная речь — 100 часов;
  • речь с особенностями — 50 часов.

На открытых наборах (Golos, Common Voice, Russian LibriSpeech) качество осталось на уровне v2. Авторы объясняют это тем, что заметно выросла доля трудных внутренних доменов. Поэтому они отдельно показывают результаты на записях колл-центров и речи с особенностями. Для практика это честный сигнал: на «чистых» бенчмарках v3 не обгоняет v2, а выигрыш нужно искать в сложных условиях.

Красивый текст вместо служебной расшифровки

Обычные датасеты хранят транскрипции в служебном виде: без пунктуации, а числа и символы вроде % и $ записаны словами. Для обучения это удобно, для чтения — нет. Чтобы получить корпус с нормальным текстом, команда использовала GigaChat Audio. Модели давали аудио, исходную расшифровку, подробную инструкцию и 10 фиксированных примеров. Аудио нужно, чтобы по интонации понять вопрос и правильно обработать паузы.

Генеративные модели галлюцинируют, поэтому результат фильтровали:

  • проверяли, что длина текста почти не изменилась;
  • удаляли символы вне заданного алфавита, например эмодзи;
  • убирали Markdown и вставки вроде «(тишина)»;
  • сверяли, что знак % появился только там, где в оригинале было слово «процент», а $ — там, где было «доллар»;
  • следили за расхождением по метрикам CER и WER.

Альтернативой был forced decoding: пунктуацию добавляют прямо при декодировании, а референсный текст не меняют, так что WER точно не ухудшается. Минусы метода — падает гибкость нормализации, а итоговая пунктуация хуже, чем при разметке с помощью LLM. Подходы сравнили на внутренних данных, где транскрипцию и знаки препинания размечали асессоры.

Что с этим делать

GigaAM-v3 — открытая модель, её можно запустить у себя и не отправлять чувствительные звонки во внешние API. Но урок шире самой модели. Если у вас есть «сырые» транскрипции, LLM с доступом к аудио и жёсткими фильтрами может превратить их в обучающие данные с пунктуацией. А при выборе ASR смотрите не только на WER по открытым наборам, но и на собственные домены: шумные звонки, музыку, нестандартную речь. Сами авторы для оценки в нескольких доменах подключили LLM-as-a-judge — оценку другой языковой моделью — поверх классического WER, потому что одна доля ошибочных слов плохо отражает читаемость текста с пунктуацией.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как учат энкодер: HuBERT-CTC?

Современные модели распознавания речи (ASR) сначала предобучают на огромном количестве звука без разметки. Идея похожа на BERT в тексте: часть аудио закрывают маской, а модель угадывает, что там было. В классическом HuBERT «правильные ответы» для угадывания получают так: берут признаки звука, группируют их методом k-means и получают набор дискретных токенов — своего рода «звуковой алфавит». В Сбере поменяли точку старта.

Что известно по теме: данные: больше часов и больше разных ситуаций?

Для GigaAM-v2 модель предобучали примерно на 50 тысячах часов русской речи, для v3 этот объём увеличили. Записи чистят просто: детектор речевой активности (VAD) режет длинные файлы на минутные фрагменты и отбрасывает те, где слишком много тишины. Более «умные» фильтры пробовали, но они почти не влияли на качество и требовали заметных вычислений, поэтому оставили VAD.

Что известно по теме: красивый текст вместо служебной расшифровки?

Обычные датасеты хранят транскрипции в служебном виде: без пунктуации, а числа и символы вроде % и $ записаны словами. Для обучения это удобно, для чтения — нет. Чтобы получить корпус с нормальным текстом, команда использовала GigaChat Audio. Модели давали аудио, исходную расшифровку, подробную инструкцию и 10 фиксированных примеров. Аудио нужно, чтобы по интонации понять вопрос и правильно обработать паузы.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…