Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизAPI / Продукт · В работуHabr AI→ оригинал

Whisper лучше GigaAM понимает 454 IT-термина, хотя GigaAM реже ошибается в словах

Голосовые задачи для AI-агентов ломаются на терминах: «наш прод» превращается в «на шпрот», и агент ищет не тот код. Автор сравнил модели распознавания речи GigaAM, T-one и Whisper на 1000 записях (20,3 часа) с 454 терминами. У GigaAM ниже WER, то есть доля ошибочных слов, но IT-термины точнее пишет Whisper. Поэтому термины нужно мерить отдельно, на своих записях.

AI-обработка оригинала Habr AI; редакция Hamidun News
Whisper лучше GigaAM понимает 454 IT-термина, хотя GigaAM реже ошибается в словах
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Тест на CPU7 говорящих, 18 тысяч словоформ, из них 454 термина
Ключевой факт #2Одинаковый WER прячет «tmux»→«Teams» и потерянное «не запускай»
Ключевой факт #3GigaAM и T-one быстры на CPU, Whisper без GPU заметно медленнее

Представьте, что вы диктуете задачу AI-агенту, говорите «наш прод», а система распознавания речи (ASR) записывает «на шпрот». Агент честно пойдёт искать что-то про консервы, потратит токены и может сделать не тот коммит. Автор «тёмной фабрики софта», где большую часть разработки он ведёт голосом, решил проверить, какие модели распознавания лучше справляются с технической речью: российская GigaAM, T-one и OpenAI Whisper. Результат неожиданный. По WER (word error rate, доле слов, которые нужно заменить, удалить или вставить, чтобы получить эталонный текст) выигрывает GigaAM. А вот IT-термины точнее передаёт Whisper.

Как проходил замер

Тестовый набор собран из 1000 голосовых записей общей длиной 20,3 часа, в нём 7 говорящих. Большая часть записей принадлежит автору, но он добавил технические подкасты из открытых источников, чтобы бенчмарк не получился «именным». Речь привычная для разработчика: разговорный русский вперемешку с англицизмами, паразитами и крепкими словами.

Из примерно 18 тысяч уникальных словоформ автор выделил 454 термина и разметил каждый в аудио. Все модели работали только на CPU (AMD Ryzen 5 3600, около 63 ГБ памяти), без видеокарты. Прогон один, качество считалось по эталонной разметке.

Метрик несколько. WER и CER показывают долю ошибок по словам и по символам, чем меньше, тем лучше. Для терминов считали точное совпадение с нужной формой написания и более мягкий вариант, где «backend» и «бэкенд» засчитываются оба. Это важно, потому что часть моделей пишет только кириллицей и не выдаст английское название, даже если услышала его правильно. Ещё замерялся RTF: время распознавания, делённое на длительность аудио.

Что получилось

По скорости на CPU GigaAM и T-one заметно впереди, а Whisper без ускорителя работает медленно. Но для фабрики, где задачи не требуют ответа за секунды, автор считает RTF справочным полем, а не критерием выбора.

По общему WER победил GigaAM, и для русского языка это сильная модель. На терминах она заметно проигрывает Whisper. Получается развилка: одна модель аккуратно пишет обычный текст, другая лучше доносит названия сервисов, протоколов и библиотек. В тексте поста самой таблицы с числами нет, поэтому точные разрывы здесь не приводим.

Почему WER обманывает

Каждая операция в WER стоит единицу, поэтому у двух транскрипций может быть одинаковый процент ошибок и разные последствия. Фраза «Открой сессию тмукс» вместо tmux, «Открой сессию Teams» и потерянное «не» в «не запускай автоматически» дают одну и ту же цифру. Первая ошибка безобидна, а последняя может запустить команду, которую запускать не просили.

К тому же в длинных записях короткий критичный термин растворяется в общем знаменателе. WER не игнорирует короткие слова, просто их вклад в итоговую цифру мал.

Автор делит ошибки на две группы. Терпимые: «дашборд», «dashboard», «дашик». Агент при поиске по коду может сделать лишние шаги и всё равно дойти до цели. Опасные: когда звучит правдоподобное, но чужое слово. «Precision» превратился в «пресиджен», по нему намерение ещё восстановимо. А «recall» в «прикол» уже нет: «прикол» не вызывает подозрений и имеет несколько значений. Ещё хуже «наш прод» в «на шпрот».

Откуда берутся такие ошибки

Модель получает не буквы, а log-mel-спектрограмму, то есть карту того, как менялся звук. Пробелов на ней нет, границы слов нужно угадывать. Конечное «д» в «прод» оглушается до «т», быстрая речь склеивает слова, а рядом ещё шумит кофемашина.

Способы сборки текста тоже различаются. GigaAM CTC и T-one используют CTC: на каждом шаге модель оценивает метки независимо, включая специальную blank («ничего не выводить»), а потом повторы схлопываются. Если нужной буквы в выбранном пути нет, свёртка её не вернёт. У GigaAM RNNT следующая метка зависит ещё и от уже выданных. Whisper пишет токен за токеном по BPE-словарю: « backend» занимает один токен, «бэкенд» четыре. Но больше токенов не значит больше ошибок: «recall» занимает один токен, «прикол» два.

Beam search хранит несколько вариантов, но модель умнее не делает. Если ошибочная строка для неё вероятнее верной, увеличение ширины луча её не исправит. Наружу всё равно выходит одна строка без информации о том, какие варианты отброшены.

Что с этим делать

Для тех, кто строит голосовые интерфейсы к агентам, вывод простой: не выбирайте ASR только по WER. Соберите свой список терминов, разметьте их в аудио и меряйте отдельно, включая точное написание. Автор уже попробовал постобработку без изменения моделей, но детали в доступном фрагменте поста не приведены.

Ограничения тоже стоит помнить: один прогон, большая часть голоса принадлежит одному человеку, а точность передачи намерения в этом бенчмарке напрямую не измерялась. Но как шаблон для собственного замера пример хороший.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как проходил замер?

Тестовый набор собран из 1000 голосовых записей общей длиной 20,3 часа, в нём 7 говорящих. Большая часть записей принадлежит автору, но он добавил технические подкасты из открытых источников, чтобы бенчмарк не получился «именным». Речь привычная для разработчика: разговорный русский вперемешку с англицизмами, паразитами и крепкими словами. Из примерно 18 тысяч уникальных словоформ автор выделил 454 термина и разметил каждый в аудио.

Что известно по теме: что получилось?

По скорости на CPU GigaAM и T-one заметно впереди, а Whisper без ускорителя работает медленно. Но для фабрики, где задачи не требуют ответа за секунды, автор считает RTF справочным полем, а не критерием выбора. По общему WER победил GigaAM, и для русского языка это сильная модель. На терминах она заметно проигрывает Whisper. Получается развилка: одна модель аккуратно пишет обычный текст, другая лучше доносит названия сервисов, протоколов и библиотек.

Что известно по теме: почему WER обманывает?

Каждая операция в WER стоит единицу, поэтому у двух транскрипций может быть одинаковый процент ошибок и разные последствия. Фраза «Открой сессию тмукс» вместо tmux, «Открой сессию Teams» и потерянное «не» в «не запускай автоматически» дают одну и ту же цифру. Первая ошибка безобидна, а последняя может запустить команду, которую запускать не просили. К тому же в длинных записях короткий критичный термин растворяется в общем знаменателе. WER не игнорирует короткие слова, просто их вклад в итоговую цифру мал.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…