Glas дообучил распознавание речи GigaAM-v3: IT-термины верны в 87% случаев вместо 44%
Диктовщик Glas на модели распознавания речи GigaAM-v3 писал Docker как «докер», а «Мой ИИ редко ошибается» — как «Мои редко ошибается». После дообучения на 25 часах живой речи доля верно написанных IT-терминов выросла с 43,8% до 86,7%, а доля ошибочных слов (WER) упала с 8,81% до 5,76%. Это бета, и тест размечен тем же конвейером, что и обучение, так что на своих данных результат стоит перепроверить.
AI-обработка оригинала Хабр: NLP; редакция Hamidun News
Если вы диктуете код-ревью или рабочие заметки, то знаете эту боль: распознавание речи спокойно справляется с «привет, как дела», но ломается на словах из жизни разработчика. Программа для диктовки Glas работает на GigaAM-v3, модели распознавания русской речи, и именно на IT-лексике она спотыкалась: Docker превращался в «докер», Python в «Пайтон». Команда Glas дообучила модель на 25 часах живой речи, и доля правильно написанных IT-терминов выросла с 43,8% до 86,7%, то есть с «меньше половины» до «почти всегда». Общая доля ошибочных слов (WER) при этом снизилась с 8,81% до 5,76%, примерно на 35% относительно исходного значения.
Что именно ломалось
Базовая модель хорошо понимала обычную русскую речь, но не справлялась с тремя группами слов: английскими названиями (Docker, Kubernetes), освоенными англицизмами вроде «дашборд» и аббревиатурой «ИИ». Иногда пропадали целые слова. Фразу «Мой ИИ редко ошибается» модель записала как «Мои редко ошибается».
Простой словарь замен тут помогает лишь частично. Один только Kubernetes в тестах превращался в «Кьюбернит», «Куберните», «кубернетис», «Gubernitis» и «Qubernit». Все такие варианты в словарь не вставишь. С «ИИ» ещё хитрее: по одному тексту трудно отличить аббревиатуру от затянутого союза «и», нужен звук. Значит, чинить надо саму модель, а не постобработку.
Как дообучали и что получилось
GigaAM — семейство моделей распознавания речи на архитектуре Conformer. Команда использует вариант с RNNT-головой, который сразу выдаёт текст с регистром и пунктуацией. На сервере энкодер работает в FP16, RNNT-голова в FP32. Длинные записи режет по паузам Silero VAD, а короткие сегменты распознаются пачками. Декодирование жадное, без внешней языковой модели, железо — видеокарта RTX A2000 на 12 ГБ.
Менять токенизатор не пришлось: в его словаре на 1024 токена уже есть латиница, и нужные названия кодируются без обходных путей. Архитектуру, код модели и формат весов тоже оставили прежними, чтобы дообученную версию можно было поставить на место старой без переделки сервера.
Итоговое дообучение шло на 25 часах живой речи. Проверка на 525 отложенных коротких записях дала такие цифры:
- WER снизился с 8,81% до 5,76%;
- доля правильно написанных терминов выросла с 43,8% до 86,7%;
- скорость работы почти не изменилась.
Для продакшна последний пункт важен не меньше первых двух: качество выросло без дополнительных затрат на GPU.
Урок первой неудачной попытки
Сначала команда взяла CTC-вариант GigaAM и собрала 4,4 часа данных: около 1100 синтетических фраз с IT-терминами и примерно столько же записей из русской и английской частей датасета FLEURS. Нижние 12 слоёв энкодера заморозили, обучали четыре верхних слоя и CTC-голову.
На стенде из 12 синтетических фраз доля верных терминов подскочила с 6% до 86%. Но при сравнении с рабочей RNNT-моделью на 150 живых записях FLEURS картина выглядела иначе. Вывод для практика: хороший результат на искусственном тесте ничего не гарантирует, проверять нужно на живой речи.
Честные ограничения
Авторы называют релиз версией 0.01 и бетой и не скрывают минусов. Дообученная модель чаще пропускает слова, а на обычной речи хуже воспроизводит регистр и пунктуацию. Кроме того, тестовая выборка размечена тем же автоматическим конвейером, что и обучающая, с выборочной ручной проверкой. Часть выигрыша может объясняться совпадением стиля разметки, а не реальным улучшением распознавания.
Что с этим делать
Если вы строите голосовой ввод, расшифровку созвонов или ассистента для разработчиков, из этой истории можно взять несколько правил:
- прежде чем писать словарь замен, соберите список реальных ошибок: если один термин пишется пятью способами, чинить надо модель;
- дообучение на десятках часов живой речи может вдвое поднять точность терминов без смены архитектуры и без роста нагрузки на железо;
- сохраняйте совместимость с форматом весов, чтобы замена и откат модели занимали минуты;
- размечайте тест независимо от обучающей выборки, иначе вы измеряете согласие с собственным конвейером;
- следите за побочными эффектами: рост точности терминов может стоить пропущенных слов и испорченной пунктуации.
Для узкой доменной лексики вроде IT-терминов дообучение готовой модели выглядит разумнее, чем попытки закрыть проблему словарями.
- 8 нояб. 2026 г.ИИ-протокол приема в Москве заполняет 50 полей за 35 секунд, а частные клиники молчат
- 21 нояб. 2026 г.Whisper лучше GigaAM понимает 454 IT-термина, хотя GigaAM реже ошибается в словах
- 10 окт. 2026 г.Автор офлайн-диктовки на GigaAM выкладывает Писарь в Google Play и ищет тестеров
- 27 окт. 2026 г.SberDevices выпустила открытую GigaAM-v3: распознавание русской речи лучше минимум на 10%
Вопросы и ответы по материалу
Что известно по теме: что именно ломалось?
Базовая модель хорошо понимала обычную русскую речь, но не справлялась с тремя группами слов: английскими названиями (Docker, Kubernetes), освоенными англицизмами вроде «дашборд» и аббревиатурой «ИИ». Иногда пропадали целые слова. Фразу «Мой ИИ редко ошибается» модель записала как «Мои редко ошибается». Простой словарь замен тут помогает лишь частично. Один только Kubernetes в тестах превращался в «Кьюбернит», «Куберните», «кубернетис», «Gubernitis» и «Qubernit». Все такие варианты в словарь не вставишь.
Что известно по теме: как дообучали и что получилось?
GigaAM — семейство моделей распознавания речи на архитектуре Conformer. Команда использует вариант с RNNT-головой, который сразу выдаёт текст с регистром и пунктуацией. На сервере энкодер работает в FP16, RNNT-голова в FP32. Длинные записи режет по паузам Silero VAD, а короткие сегменты распознаются пачками. Декодирование жадное, без внешней языковой модели, железо — видеокарта RTX A2000 на 12 ГБ.
Что известно по теме: урок первой неудачной попытки?
Сначала команда взяла CTC-вариант GigaAM и собрала 4,4 часа данных: около 1100 синтетических фраз с IT-терминами и примерно столько же записей из русской и английской частей датасета FLEURS. Нижние 12 слоёв энкодера заморозили, обучали четыре верхних слоя и CTC-голову. На стенде из 12 синтетических фраз доля верных терминов подскочила с 6% до 86%. Но при сравнении с рабочей RNNT-моделью на 150 живых записях FLEURS картина выглядела иначе.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.