NVIDIA выпустила Nemotron 3.5 Transcribe: 40 языков и 100 часов аудио за 3 минуты

NVIDIA опубликовала Nemotron 3.5 Transcribe, открытую модель для превращения речи в текст. Она работает с 40 языками, переводит 31 из них и умеет разделять реплики говорящих на 13. Из примерно 34 млрд параметров на каждый токен активируется около 4,3 млрд, поэтому модель быстрая: на одной RTX PRO 6000 она обработала 100 часов записей меньше чем за три минуты. Вместе с ней компания выложила датасет Granary v2 на 463 тысячи часов речи.

Русский язык получил полный набор задач

Для русского доступно всё, чему NVIDIA обучала модель: расшифровка, перевод, разделение речи по говорящим и работа со смешанной речью, когда в одной записи языки перемежаются. Последнее важно для реальных созвонов, где русские и английские термины идут вперемешку, а классические ASR-системы на таких записях часто ломаются.

Модель принимает файлы длиной до часа и расставляет метки времени по словам. Управлять ею можно текстовыми указаниями, например попросить расшифровать запись и подписать каждого говорящего. Есть и режим вопросов по содержанию аудио, но только для английского. Живой поток модель не обрабатывает, она рассчитана на готовые файлы.

Mamba, трансформер и смесь экспертов

Архитектура состоит из речевого кодировщика и гибридной языковой модели, где слои Mamba чередуются с трансформерными, а часть блоков работает как смесь экспертов. Отсюда разрыв между 34 млрд общих и 4,3 млрд активных параметров. Память нужна под все веса, а вычислений на токен требуется как для модели заметно меньшего размера.

Это видно в рейтинге Artificial Analysis. У Nemotron 3.5 Transcribe там 2,8% ошибок, и ровно столько же у конкурента, которому нужно примерно в шесть раз больше активных параметров. При равном качестве выигрыш получается в стоимости инференса.

Что в цифрах и комплекте поставки

• Языки: 40 для расшифровки, 31 для перевода, 13 для разделения по говорящим.
• Длина записи: до одного часа, метки времени по словам.
• Параметры: 34 млрд всего, около 4,3 млрд активных на токен.
• Состав: речевой кодировщик и гибридная языковая модель Mamba + трансформер со смесью экспертов.
• Открытый рейтинг расшифровки Hugging Face: первое место среди открытых моделей. Средняя доля ошибок в словах составила 5,33% на английском, 4,62% на многоязычной части и 10,98% на длинных записях.
• Artificial Analysis: 2,8% ошибок.
• Скорость: 100 часов аудио меньше чем за три минуты на одной RTX PRO 6000. Это более чем в 2000 раз быстрее реального времени.
• Лицензия: OpenMDW-1.1.
• Датасет Granary v2: 463 тысячи часов речи, 48 языков, собран из 16 открытых корпусов.

Цифра 10,98% на длинных записях показывает, где остаётся запас для улучшений. Час аудио с разными голосами и шумами по-прежнему даёт примерно вдвое больше ошибок, чем короткие сегменты.

Отдельно стоит датасет. NVIDIA опубликовала описания и конвейер обработки, но само аудио нужно скачивать отдельно, с учётом лицензий исходных корпусов. Зато остальные команды получают готовый рецепт сборки такого набора и могут воспроизвести его или адаптировать под свои языки.

Кому и для чего пригодится

Модель подойдёт для пакетной обработки архивов: записей звонков, подкастов, лекций и интервью. Тем, кто делает субтитры или протоколы встреч, пригодятся метки времени по словам и разметка говорящих. Русскоязычным командам полезна поддержка смешанной речи, а открытая лицензия позволяет развернуть всё на собственных серверах, без отправки записей во внешний API.

Ограничения тоже понятны. Для голосовых ассистентов и живых субтитров модель не годится, потому что стриминга в ней нет. Вопросы по аудио работают только на английском. Веса, техотчёт, демо и датасет уже лежат на Hugging Face, так что проверить качество на собственных записях можно сразу, прежде чем встраивать модель в продукт.