Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИнфраструктураНаучная статья · В песочницуHabr AI→ оригинал

Русский голосовой ИИ уместили в 21 МБ: tiny-voca-ru работает офлайн на CPU

Автор адаптировал открытую модель синтеза речи tiny-voca к русскому языку: она весит около 21 МБ, имеет 4,5 млн параметров и работает офлайн на обычном процессоре. Обучение шло на 12 часах студийной речи из датасета Dialogs, а ударения расставляет RUAccent с запасным вариантом через eSpeak. Для демо собрали бота: микрофон, распознавание, локальная qwen3.5:9b и озвучка. Для коротких реплик, уведомлений и телефонных ботов этого хватает без облачной подписки.

AI-обработка оригинала Habr AI; редакция Hamidun News
Русский голосовой ИИ уместили в 21 МБ: tiny-voca-ru работает офлайн на CPU
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Полный прогон 100 000 шаговоколо 12,5 часа на V100 против 35–38 на P40
Ключевой факт #2Лимит 125 Вт на V100 дал 2,26 шага/с вместо 1,66 при 225 Вт
Ключевой факт #3Два голоса, лицензия Apache-2.0, но данные под OpenRAIL: для коммерции читайте условия

Голосовые ассистенты обычно упираются в одно и то же: качественный синтез речи требует сотен мегабайт весов, видеокарты или облачного API. Это деньги за трафик, зависимость от чужого сервиса и вопросы о том, куда уходят голоса пользователей. Разработчик, выпустивший tiny-voca-ru, пошёл в обратную сторону: взял крошечную открытую модель и научил её говорить по-русски. В итоге получилось около 21 МБ в формате ONNX и 4,5 млн параметров. Работает она офлайн на обычном CPU.

Что именно сделано

За основу взяли открытую модель tiny-voca. Русского профиля в ней не было, поэтому автор добавил его и обучил модель с нуля на русских данных. Взяли датасет Dialogs: студийные эмоциональные диалоги актёров. Из него выбрали два голоса, женский M1 и мужской D1. Исходно набралось 17,42 часа, после фильтрации по выравниванию, уверенности разметки и неизвестным фонемам осталось около 12 часов чистой речи. Выборочная проверка 60 клипов через распознавание речи дала ошибку в словах 3,3%. Это не гарантия идеальных данных, но признак того, что разметка не разваливается.

Отдельная часть работы — русский «фронтенд», то есть превращение текста в звуки. Для фонем используется eSpeak NG. Ударения берутся из Dialogs для фраз, которые есть в корпусе, а для произвольного текста их ставит RUAccent, который заодно разбирает омографы. Он не единственная точка отказа: если расстановка ударений недоступна, система падает обратно на eSpeak. Есть и небольшой словарь исключений для названий сервисов и слов, где произношение должно быть стабильным. Текст фонемизируется целыми предложениями, иначе предлог «с» может прозвучать как отдельная буква.

Железо и неожиданный эффект с лимитом мощности

Пилот на 15 000 шагов занял около 4,7 часа на Tesla P40. Уже на нём Whisper large-v3 распознал контрольные фразы без ошибок, хотя интонация оставалась вялой. Полный прогон на 100 000 шагов на P40 занял бы 35–38 часов, а на Tesla V100 32 ГБ уложился примерно в 12,5 часа GPU-времени. Ускорение составило 4–5 раз на этапе до GAN и около 2,4 раза в GAN-фазе.

Любопытное наблюдение: на V100 ограничение мощности до 125 Вт дало 2,26 шага в секунду при 70 °C, тогда как при 225 Вт скорость была 1,66 шага/с при 74 °C. Автор объясняет это тем, что на пониженном лимите карта работала стабильнее, а подготовка данных успевала за ней. Он сам оговаривается, что это не универсальный закон: в большинстве задач снижение мощности скорость уменьшает. Практический вывод скромнее: если обучение упирается в загрузчик данных, стоит замерить несколько лимитов, это бесплатный тест.

Демо-ассистент и ограничения

Модель показана не только как кнопка «озвучить». На voice.lmchat.ru можно ввести текст, выбрать голос и скорость, обменяться голосовыми сообщениями с ботом или позвонить ему из браузера. Цепочка такая: микрофон, распознавание речи, локальная LLM qwen3.5:9b через Ollama, русский фронтенд, синтез, воспроизведение. Для настоящей телефонии используется связка Asterisk и AudioSocket: бот принимает вызов, а ответ озвучивает tiny-voca.

Ограничения честные. Качество ниже крупных облачных TTS, особенно на сложной интонации и длинных текстах. Ударения в редких словах иногда ошибаются. Модель заточена под короткие реплики, а не под аудиокниги. Метрики пилота (ошибка высоты тона 3,07 полутона, точность пауз около 92%) показывают, что речь понятна, но WER на контрольных фразах не измеряет естественность.

Есть и юридический нюанс. Код и модель под Apache-2.0, но данные обучения распространяются по OpenRAIL, а голоса принадлежат реальным актёрам. Для коммерческих проектов условия нужно проверить отдельно и не делать рекламу от имени этих голосов без прав.

Для практиков главный вывод такой: голосовой бот для уведомлений, терминалов, колл-сценариев или встраиваемых устройств больше не требует облачного TTS. Связка из маленькой синтезирующей модели и локальной LLM на 9 млрд параметров снимает постоянные платежи за API и оставляет данные внутри контура. Идеальной речи ждать не стоит, зато порог входа резко снижается.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что именно сделано?

За основу взяли открытую модель tiny-voca. Русского профиля в ней не было, поэтому автор добавил его и обучил модель с нуля на русских данных. Взяли датасет Dialogs: студийные эмоциональные диалоги актёров. Из него выбрали два голоса, женский M1 и мужской D1. Исходно набралось 17,42 часа, после фильтрации по выравниванию, уверенности разметки и неизвестным фонемам осталось около 12 часов чистой речи. Выборочная проверка 60 клипов через распознавание речи дала ошибку в словах 3,3%.

Что известно по теме: железо и неожиданный эффект с лимитом мощности?

Пилот на 15 000 шагов занял около 4,7 часа на Tesla P40. Уже на нём Whisper large-v3 распознал контрольные фразы без ошибок, хотя интонация оставалась вялой. Полный прогон на 100 000 шагов на P40 занял бы 35–38 часов, а на Tesla V100 32 ГБ уложился примерно в 12,5 часа GPU-времени. Ускорение составило 4–5 раз на этапе до GAN и около 2,4 раза в GAN-фазе. Любопытное наблюдение: на V100 ограничение мощности до 125 Вт дало 2,26 шага в секунду при 70 °C, тогда как при 225 Вт скорость была 1,66 шага/с при 74 °C.

Что известно по теме: демо-ассистент и ограничения?

Модель показана не только как кнопка «озвучить». На voice.lmchat.ru можно ввести текст, выбрать голос и скорость, обменяться голосовыми сообщениями с ботом или позвонить ему из браузера. Цепочка такая: микрофон, распознавание речи, локальная LLM qwen3.5:9b через Ollama, русский фронтенд, синтез, воспроизведение. Для настоящей телефонии используется связка Asterisk и AudioSocket: бот принимает вызов, а ответ озвучивает tiny-voca. Ограничения честные.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…