Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

Une IA vocale russe en 21 Mo : tiny-voca-ru tourne hors ligne sur CPU

L'auteur a adapté le modèle de synthèse vocale ouvert tiny-voca au russe : il pèse environ 21 Mo, compte 4,5 M de paramètres et fonctionne hors ligne sur un processeur ordinaire. L'entraînement s'est fait sur 12 heures de parole enregistrée en studio, issues du jeu de données Dialogs. L'accentuation est confiée à RUAccent, avec eSpeak en solution de repli. Pour la démo, un bot a été assemblé : micro, reconnaissance vocale, qwen3.5:9b en local et synthèse. Pour des répliques courtes, des notifications et des bots téléphoniques, cela suffit, sans abonnement cloud.

Traité par IA depuis Habr AI ; édité par Hamidun News
Une IA vocale russe en 21 Mo : tiny-voca-ru tourne hors ligne sur CPU
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Entraînement complet de 100 000 pasenviron 12,5 heures sur V100, contre 35 à 38 sur P40
Chiffre clé #2Une limite de 125 W sur la V100 a donné 2,26 pas/s au lieu de 1,66 à 225 W
Chiffre clé #3Deux voix, licence Apache-2.0, mais données sous OpenRAIL : lisez les conditions avant tout usage commercial

Les assistants vocaux butent généralement sur le même obstacle : une synthèse vocale de qualité exige des centaines de mégaoctets de poids, un GPU ou une API cloud. Cela signifie des coûts de trafic, une dépendance à un service tiers et des questions sur la destination des voix des utilisateurs. Le développeur à l'origine de tiny-voca-ru a pris le chemin inverse : il est parti d'un minuscule modèle ouvert et lui a appris à parler russe. Résultat : environ 21 Mo au format ONNX et 4,5 M de paramètres. Le modèle fonctionne hors ligne sur un CPU ordinaire.

Ce qui a été fait concrètement

La base est le modèle ouvert tiny-voca. Il ne disposait d'aucun profil russe : l'auteur en a ajouté un et a entraîné le modèle de zéro sur des données russes. Il a retenu le jeu de données Dialogs, composé de dialogues émotionnels enregistrés en studio par des acteurs.

Deux voix en ont été extraites, une féminine, M1, et une masculine, D1. Le corpus initial totalisait 17,42 heures ; après filtrage sur l'alignement, la confiance de l'annotation et les phonèmes inconnus, il reste environ 12 heures de parole propre. Une vérification par échantillonnage de 60 clips via reconnaissance vocale a donné un taux d'erreur de 3,3 % sur les mots.

Cela ne garantit pas des données parfaites, mais indique que l'annotation ne se délite pas.

Une partie distincte du travail concerne le « frontend » russe, c'est-à-dire la conversion du texte en sons. Les phonèmes sont produits avec eSpeak NG. Les accents proviennent de Dialogs pour les phrases présentes dans le corpus ; pour un texte quelconque, c'est RUAccent qui les place, en résolvant au passage les homographes.

Il ne constitue pas un point de défaillance unique : si le placement des accents est indisponible, le système retombe sur eSpeak. Un petit dictionnaire d'exceptions existe aussi pour les noms de services et les mots dont la prononciation doit rester stable. Le texte est phonémisé par phrases entières, faute de quoi la préposition « с » (« avec ») pourrait être prononcée comme une lettre isolée.

Matériel et effet inattendu de la limite de puissance

Un pilote de 15 000 pas a duré environ 4,7 heures sur une Tesla P40. Dès cette étape, Whisper large-v3 a reconnu les phrases de contrôle sans erreur, même si l'intonation restait molle. L'entraînement complet de 100 000 pas aurait pris 35 à 38 heures sur la P40 ; sur une Tesla V100 32 Go, il a tenu en environ 12,5 heures de temps GPU. L'accélération est de 4 à 5 fois avant la phase GAN et d'environ 2,4 fois pendant la phase GAN.

Observation curieuse : sur la V100, une limite de puissance abaissée à 125 W a donné 2,26 pas par seconde à 70 °C, contre 1,66 pas/s à 74 °C avec 225 W. L'auteur l'explique par une carte plus stable à limite réduite, avec une préparation des données qui suivait le rythme. Il précise lui-même qu'il ne s'agit pas d'une loi universelle : dans la plupart des tâches, réduire la puissance diminue la vitesse. La conclusion pratique est plus modeste : si l'entraînement est limité par le chargeur de données, il vaut la peine de mesurer plusieurs limites, c'est un test gratuit.

Assistant de démonstration et limites

Le modèle n'est pas présenté comme un simple bouton « lire à voix haute ». Sur voice.lmchat.ru, on peut saisir du texte, choisir la voix et la vitesse, échanger des messages vocaux avec le bot ou l'appeler depuis le navigateur. La chaîne est la suivante : micro, reconnaissance vocale, LLM locale qwen3.5:9b via Ollama, frontend russe, synthèse, lecture. Pour la téléphonie réelle, l'ensemble Asterisk et AudioSocket est utilisé : le bot décroche, et tiny-voca prononce la réponse.

Les limites sont assumées. La qualité reste inférieure à celle des grands TTS cloud, surtout sur les intonations complexes et les textes longs. Les accents des mots rares sont parfois erronés. Le modèle est calibré pour des répliques courtes, pas pour des livres audio. Les métriques du pilote (erreur de hauteur tonale de 3,07 demi-tons, précision des pauses d'environ 92 %) montrent que la parole est intelligible, mais le WER sur des phrases de contrôle ne mesure pas le naturel.

Il y a aussi une nuance juridique. Le code et le modèle sont sous Apache-2.0, mais les données d'entraînement sont diffusées sous OpenRAIL, et les voix appartiennent à de vrais acteurs. Pour des projets commerciaux, les conditions doivent être vérifiées séparément, et il ne faut pas faire de publicité au nom de ces voix sans en avoir les droits.

Pour les praticiens, le principal enseignement est le suivant : un bot vocal pour notifications, bornes, scénarios d'appels ou appareils embarqués n'exige plus de TTS cloud. L'association d'un petit modèle de synthèse et d'une LLM locale de 9 Md de paramètres supprime les paiements récurrents d'API et garde les données dans le périmètre de l'entreprise. Il ne faut pas attendre une parole parfaite, mais le seuil d'entrée baisse nettement.

Dossier

Questions clés sur cet article

Que sait-on sur Ce qui a été fait concrètement ?

La base est le modèle ouvert tiny-voca. Il ne disposait d'aucun profil russe : l'auteur en a ajouté un et a entraîné le modèle de zéro sur des données russes. Il a retenu le jeu de données Dialogs, composé de dialogues émotionnels enregistrés en studio par des acteurs. Deux voix en ont été extraites, une féminine, M1, et une masculine, D1. Le corpus initial totalisait 17,42 heures ; après filtrage sur l'alignement, la confiance de l'annotation et les phonèmes inconnus, il reste environ 12 heures de parole propre.

Que sait-on sur Matériel et effet inattendu de la limite de puissance ?

Un pilote de 15 000 pas a duré environ 4,7 heures sur une Tesla P40. Dès cette étape, Whisper large-v3 a reconnu les phrases de contrôle sans erreur, même si l'intonation restait molle. L'entraînement complet de 100 000 pas aurait pris 35 à 38 heures sur la P40 ; sur une Tesla V100 32 Go, il a tenu en environ 12,5 heures de temps GPU. L'accélération est de 4 à 5 fois avant la phase GAN et d'environ 2,4 fois pendant la phase GAN.

Que sait-on sur Assistant de démonstration et limites ?

Le modèle n'est pas présenté comme un simple bouton « lire à voix haute ». Sur voice.lmchat.ru, on peut saisir du texte, choisir la voix et la vitesse, échanger des messages vocaux avec le bot ou l'appeler depuis le navigateur. La chaîne est la suivante : micro, reconnaissance vocale, LLM locale qwen3.5:9b via Ollama, frontend russe, synthèse, lecture. Pour la téléphonie réelle, l'ensemble Asterisk et AudioSocket est utilisé : le bot décroche, et tiny-voca prononce la réponse. Les limites sont assumées.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…