Каскад T-one и GigaAM: черновик субтитров во встречу, чистовик после

Автор сервиса для встреч один на один проверил, можно ли уйти от облачного Deepgram на собственный сервер без видеокарты и при этом получить и живые субтитры, и качественный итоговый текст. Он собрал каскад из двух моделей. Во время созвона T-one превращает речь в черновик с задержкой менее 2 секунд, после встречи GigaAM вычитывает черновик, исправляет ошибки и выдаёт чистовик с пунктуацией. Схема сработала, а на замеры ушло три дня. Но два результата удивили автора сильнее, чем сами модели: эталон качества ошибался в каждом четвёртом спорном месте, а популярный приём «вторая модель правит термины» на его созвонах почти ничего не дал.

Откуда взялась идея каскада

В первой части автор выяснил, что число vCPU мало что говорит о производительности. Xeon 2013 года без AVX2 держит в 6–8 раз меньше живых дорожек, чем современный процессор с похожим числом ядер. Его машина B (6 vCPU Xeon E5-2680 v2, 11 ГБ RAM) тянет две встречи одновременно: T-one отдаёт фразу через 1,08 с (p50) и 1,2 с (p95) после паузы.

У T-one есть слабые стороны. Он не ставит пунктуацию и по словам уступает и облаку, и GigaAM. GigaAM же работает только по готовой записи. Каскад закрывает обе дыры. Подтолкнул к нему @pahaz, который в тот же день выпустил статью про каскад GigaAM + Parakeet для офлайн-транскрибации и посоветовал добавить Parakeet в сравнение.

Требования остались прежними: дорожки участников приходят раздельно, поэтому диаризация не нужна, фраза в субтитрах должна появиться не позже 2 с (p95), аудио не покидает сервер в России. Добавилось новое: итоговый текст с пунктуацией, не хуже облачного, где важнее всего суммы, сроки и имена.

Эталон, который подыгрывал

В первой части эталоном служил Deepgram, и автор сам считал это слабым местом. Теперь он расширил выборку и вычитал эталон вручную. Выяснилось, что в каждом четвёртом спорном месте прежний эталон ошибался и благоволил моделям, из которых был собран. Это значит, что WER по такому эталону завышает качество «родных» систем.

Вторая находка касается правки терминов. У @pahaz вторая модель, исправляющая термины, давала минус 5 п.п. WER. На рабочих созвонах автора это в лучшем случае ничего не изменило, а в худшем добавило 7 п.п. Выигрыш от каскада сильно зависит от домена и качества записи.

Что именно измеряли

Тестовые данные:

• 51 секунда колл-центра из пакета T-one • 29-минутная коучинговая сессия • 4 записи рабочих созвонов: 2 ч 21 мин, 14 970 слов

Эталоны: согласие движков на образце, текст Deepgram nova-3 на сессии, согласованный текст трёх систем с ручной правкой терминов и выборочное прослушивание.

В первой части сравнивались T-one, GigaAM-v3, Vosk, Deepgram nova-2 и nova-3. Во второй:

• T-one в режимах greedy и с языковой моделью KenLM • GigaAM-v3 e2e • Parakeet TDT 0.6B v3 • Deepgram nova-3

Метрики: WER, WERx, ошибки в числах, точность терминов и пунктуации. Отдельно автор смотрел, что нагружает CPU в реальном времени, как поделить работу между двумя моделями и сколько это стоит.

Практический вывод

Кто собирает собственную транскрибацию, пусть начинает с эталона, а не с моделей. Если эталон собран из выхода тех же систем, которые вы сравниваете, цифры будут оптимистичными. Нужна ручная вычитка хотя бы спорных мест и прослушивание, особенно там, где фигурируют суммы, даты и имена.

Второй вывод касается каскадов. Чужой выигрыш в 5 п.п. от модели-корректора не переносится на ваши разговоры автоматически, проверяйте на своих записях. Разделение ролей между двумя моделями оправдано по самой логике задачи: быстрая и грубая для живых субтитров, медленная и точная для документа после встречи. Для небольшого сервиса это значит, что два одновременных созвона на старом шестиядерном Xeon вполне реальны, если держать живую часть на лёгкой модели, а тяжёлую работу откладывать на момент после встречи.