Whisper лучше GigaAM понимает 454 IT-термина, хотя GigaAM реже ошибается в словах
Голосовые задачи для AI-агентов ломаются на терминах: «наш прод» превращается в «на шпрот», и агент ищет не тот код. Автор сравнил модели распознавания речи GigaAM, T-one и Whisper на 1000 записях (20,3 часа) с 454 терминами. У GigaAM ниже WER, то есть доля ошибочных слов, но IT-термины точнее пишет Whisper. Поэтому термины нужно мерить отдельно, на своих записях.
AI-обработка оригинала Habr AI; редакция Hamidun News
Представьте, что вы диктуете задачу AI-агенту, говорите «наш прод», а система распознавания речи (ASR) записывает «на шпрот». Агент честно пойдёт искать что-то про консервы, потратит токены и может сделать не тот коммит. Автор «тёмной фабрики софта», где большую часть разработки он ведёт голосом, решил проверить, какие модели распознавания лучше справляются с технической речью: российская GigaAM, T-one и OpenAI Whisper. Результат неожиданный. По WER (word error rate, доле слов, которые нужно заменить, удалить или вставить, чтобы получить эталонный текст) выигрывает GigaAM. А вот IT-термины точнее передаёт Whisper.
Как проходил замер
Тестовый набор собран из 1000 голосовых записей общей длиной 20,3 часа, в нём 7 говорящих. Большая часть записей принадлежит автору, но он добавил технические подкасты из открытых источников, чтобы бенчмарк не получился «именным». Речь привычная для разработчика: разговорный русский вперемешку с англицизмами, паразитами и крепкими словами.
Из примерно 18 тысяч уникальных словоформ автор выделил 454 термина и разметил каждый в аудио. Все модели работали только на CPU (AMD Ryzen 5 3600, около 63 ГБ памяти), без видеокарты. Прогон один, качество считалось по эталонной разметке.
Метрик несколько. WER и CER показывают долю ошибок по словам и по символам, чем меньше, тем лучше. Для терминов считали точное совпадение с нужной формой написания и более мягкий вариант, где «backend» и «бэкенд» засчитываются оба. Это важно, потому что часть моделей пишет только кириллицей и не выдаст английское название, даже если услышала его правильно. Ещё замерялся RTF: время распознавания, делённое на длительность аудио.
Что получилось
По скорости на CPU GigaAM и T-one заметно впереди, а Whisper без ускорителя работает медленно. Но для фабрики, где задачи не требуют ответа за секунды, автор считает RTF справочным полем, а не критерием выбора.
По общему WER победил GigaAM, и для русского языка это сильная модель. На терминах она заметно проигрывает Whisper. Получается развилка: одна модель аккуратно пишет обычный текст, другая лучше доносит названия сервисов, протоколов и библиотек. В тексте поста самой таблицы с числами нет, поэтому точные разрывы здесь не приводим.
Почему WER обманывает
Каждая операция в WER стоит единицу, поэтому у двух транскрипций может быть одинаковый процент ошибок и разные последствия. Фраза «Открой сессию тмукс» вместо tmux, «Открой сессию Teams» и потерянное «не» в «не запускай автоматически» дают одну и ту же цифру. Первая ошибка безобидна, а последняя может запустить команду, которую запускать не просили.
К тому же в длинных записях короткий критичный термин растворяется в общем знаменателе. WER не игнорирует короткие слова, просто их вклад в итоговую цифру мал.
Автор делит ошибки на две группы. Терпимые: «дашборд», «dashboard», «дашик». Агент при поиске по коду может сделать лишние шаги и всё равно дойти до цели. Опасные: когда звучит правдоподобное, но чужое слово. «Precision» превратился в «пресиджен», по нему намерение ещё восстановимо. А «recall» в «прикол» уже нет: «прикол» не вызывает подозрений и имеет несколько значений. Ещё хуже «наш прод» в «на шпрот».
Откуда берутся такие ошибки
Модель получает не буквы, а log-mel-спектрограмму, то есть карту того, как менялся звук. Пробелов на ней нет, границы слов нужно угадывать. Конечное «д» в «прод» оглушается до «т», быстрая речь склеивает слова, а рядом ещё шумит кофемашина.
Способы сборки текста тоже различаются. GigaAM CTC и T-one используют CTC: на каждом шаге модель оценивает метки независимо, включая специальную blank («ничего не выводить»), а потом повторы схлопываются. Если нужной буквы в выбранном пути нет, свёртка её не вернёт. У GigaAM RNNT следующая метка зависит ещё и от уже выданных. Whisper пишет токен за токеном по BPE-словарю: « backend» занимает один токен, «бэкенд» четыре. Но больше токенов не значит больше ошибок: «recall» занимает один токен, «прикол» два.
Beam search хранит несколько вариантов, но модель умнее не делает. Если ошибочная строка для неё вероятнее верной, увеличение ширины луча её не исправит. Наружу всё равно выходит одна строка без информации о том, какие варианты отброшены.
Что с этим делать
Для тех, кто строит голосовые интерфейсы к агентам, вывод простой: не выбирайте ASR только по WER. Соберите свой список терминов, разметьте их в аудио и меряйте отдельно, включая точное написание. Автор уже попробовал постобработку без изменения моделей, но детали в доступном фрагменте поста не приведены.
Ограничения тоже стоит помнить: один прогон, большая часть голоса принадлежит одному человеку, а точность передачи намерения в этом бенчмарке напрямую не измерялась. Но как шаблон для собственного замера пример хороший.
- 21 нояб. 2026 г.Математик Anthropic заявил: Claude помог за 6 недель доказать гипотезу Римана
- 21 нояб. 2026 г.Стартап Osmo обучил ИИ запахам на 10 млн оценок людей и генерирует ароматы по тексту
- 21 нояб. 2026 г.КНДР показала первый чатбот «Источник мудрости»: только наука, без политики
- 21 нояб. 2026 г.OpenAI открыла ChatGPT Spaces подписчикам Plus: совместные документы с ИИ
Вопросы и ответы по материалу
Что известно по теме: как проходил замер?
Тестовый набор собран из 1000 голосовых записей общей длиной 20,3 часа, в нём 7 говорящих. Большая часть записей принадлежит автору, но он добавил технические подкасты из открытых источников, чтобы бенчмарк не получился «именным». Речь привычная для разработчика: разговорный русский вперемешку с англицизмами, паразитами и крепкими словами. Из примерно 18 тысяч уникальных словоформ автор выделил 454 термина и разметил каждый в аудио.
Что известно по теме: что получилось?
По скорости на CPU GigaAM и T-one заметно впереди, а Whisper без ускорителя работает медленно. Но для фабрики, где задачи не требуют ответа за секунды, автор считает RTF справочным полем, а не критерием выбора. По общему WER победил GigaAM, и для русского языка это сильная модель. На терминах она заметно проигрывает Whisper. Получается развилка: одна модель аккуратно пишет обычный текст, другая лучше доносит названия сервисов, протоколов и библиотек.
Что известно по теме: почему WER обманывает?
Каждая операция в WER стоит единицу, поэтому у двух транскрипций может быть одинаковый процент ошибок и разные последствия. Фраза «Открой сессию тмукс» вместо tmux, «Открой сессию Teams» и потерянное «не» в «не запускай автоматически» дают одну и ту же цифру. Первая ошибка безобидна, а последняя может запустить команду, которую запускать не просили. К тому же в длинных записях короткий критичный термин растворяется в общем знаменателе. WER не игнорирует короткие слова, просто их вклад в итоговую цифру мал.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.