Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieCode / SDK · Prêt à l'emploiХабр: NLP→ original

Glas affine la reconnaissance vocale GigaAM-v3 : 87 % de termes IT corrects contre 44 %

Avec GigaAM-v3, l'outil de dictée Glas écrivait Docker « dokier » (transcription phonétique en cyrillique) et transformait la phrase russe « Moï II rédkoochibaïétsia » (« Mon IA se trompe rarement ») en « Moï rédko ochibaïétsia », en perdant « IA ». Après un affinage sur 25 heures de parole réelle, la part de termes IT correctement écrits est passée de 43,8 % à 86,7 %, et le taux de mots erronés (WER) est tombé de 8,81 % à 5,76 %. Il s'agit d'une bêta, et le jeu de test est annoté par le même pipeline que l'entraînement : mieux vaut donc revérifier le résultat sur vos propres données.

Traité par IA depuis Хабр: NLP ; édité par Hamidun News
Glas affine la reconnaissance vocale GigaAM-v3 : 87 % de termes IT corrects contre 44 %
Source : Хабр: NLP. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireХабр: NLP ↗
Rédacteur en chef
Chiffre clé #1Le modèle RNNT de production a été affiné, sans changer l'architecture ni le format des poids
Contrepartieil saute plus souvent des mots et gère moins bien la casse sur la parole ordinaire
MatérielRTX A2000 12 Go, vitesse quasiment inchangée

Si vous dictez vos revues de code ou vos notes de travail, vous connaissez le problème : la reconnaissance vocale gère sans effort un « salut, ça va ? », mais déraille sur le vocabulaire du quotidien des développeurs. L'outil de dictée Glas repose sur GigaAM-v3, un modèle de reconnaissance de la parole russe, et c'est précisément sur le lexique IT qu'il trébuchait : Docker devenait « dokier » (transcription phonétique en cyrillique), Python devenait « Païton ».

L'équipe de Glas a affiné le modèle sur 25 heures de parole réelle, et la part de termes IT correctement écrits est passée de 43,8 % à 86,7 %, soit de « moins de la moitié » à « presque toujours ». Le taux global de mots erronés (WER) a, lui, baissé de 8,81 % à 5,76 %, environ 35 % en valeur relative par rapport à la valeur initiale.

Ce qui ne fonctionnait pas

Le modèle de base comprenait bien la parole russe courante, mais butait sur trois catégories de mots : les noms anglais (Docker, Kubernetes), les anglicismes bien installés comme « dachbord » (« dashboard » en russe) et l'abréviation « II » (« IA » en russe). Des mots entiers disparaissaient parfois. La phrase « Moï II rédko ochibaïétsia » (« Mon IA se trompe rarement ») était transcrite « Moï rédko ochibaïétsia », sans « II ».

Un simple dictionnaire de remplacements n'aide que partiellement. À lui seul, Kubernetes s'est transformé en tests en « Kiouberni(t) », « Kouberniété », « koubernétis », « Gubernitis » et « Qubernit » (variantes en cyrillique ou en latin). Impossible de toutes les mettre dans un dictionnaire. Le cas de « II » est encore plus retors : à l'écrit seul, il est difficile de distinguer l'abréviation de la conjonction « i » (« et ») étirée, il faut le son. Conclusion : c'est le modèle lui-même qu'il faut réparer, pas la post-traitement.

Comment l'affinage a été mené, et les résultats

GigaAM est une famille de modèles de reconnaissance vocale à architecture Conformer. L'équipe utilise la variante à tête RNNT, qui produit directement du texte avec casse et ponctuation. Côté serveur, l'encodeur tourne en FP16 et la tête RNNT en FP32. Silero VAD découpe les longs enregistrements aux pauses, et les segments courts sont reconnus par lots. Le décodage est glouton, sans modèle de langage externe, et le matériel est une carte graphique RTX A2000 de 12 Go.

Il n'a pas été nécessaire de modifier le tokenizer : son vocabulaire de 1024 tokens contient déjà l'alphabet latin, et les noms voulus s'encodent sans contournement. L'architecture, le code du modèle et le format des poids sont également restés identiques, afin de pouvoir remplacer l'ancienne version par la version affinée sans refaire le serveur.

L'affinage final a porté sur 25 heures de parole réelle. Le contrôle sur 525 courts enregistrements mis de côté donne les chiffres suivants :

  • le WER passe de 8,81 % à 5,76 % ;
  • la part de termes correctement écrits passe de 43,8 % à 86,7 % ;
  • la vitesse de traitement reste quasiment inchangée.

Pour la production, ce dernier point compte autant que les deux premiers : la qualité progresse sans coût GPU supplémentaire.

La leçon d'une première tentative ratée

L'équipe était d'abord partie de la variante CTC de GigaAM et avait constitué 4,4 heures de données : environ 1100 phrases synthétiques contenant des termes IT, et à peu près autant d'enregistrements issus des parties russe et anglaise du jeu de données FLEURS. Les 12 couches inférieures de l'encodeur étaient gelées ; seules les quatre couches supérieures et la tête CTC étaient entraînées.

Sur un banc de 12 phrases synthétiques, la part de termes corrects a bondi de 6 % à 86 %. Mais la comparaison avec le modèle RNNT de production sur 150 enregistrements réels de FLEURS donnait une image bien différente. Leçon pour les praticiens : un bon score sur un test artificiel ne garantit rien, il faut valider sur de la parole réelle.

Des limites assumées

Les auteurs qualifient leur publication de version 0.01 et de bêta, et ne cachent pas les points faibles. Le modèle affiné saute plus souvent des mots, et restitue moins bien la casse et la ponctuation sur la parole ordinaire. De plus, le jeu de test est annoté par le même pipeline automatique que le jeu d'entraînement, avec une vérification manuelle par échantillonnage. Une partie du gain peut donc s'expliquer par la concordance du style d'annotation, et non par une réelle amélioration de la reconnaissance.

Que faire de tout cela

Si vous construisez une saisie vocale, une transcription de réunions ou un assistant pour développeurs, cette histoire donne plusieurs règles :

  • avant d'écrire un dictionnaire de remplacements, dressez la liste des erreurs réelles : si un terme s'écrit de cinq façons différentes, c'est le modèle qu'il faut corriger ;
  • un affinage sur quelques dizaines d'heures de parole réelle peut doubler la précision sur les termes, sans changer d'architecture ni alourdir la charge matérielle ;
  • conservez la compatibilité avec le format des poids, pour que le remplacement et le retour arrière du modèle prennent quelques minutes ;
  • annotez le test indépendamment du jeu d'entraînement, sinon vous mesurez l'accord avec votre propre pipeline ;
  • surveillez les effets secondaires : gagner en précision sur les termes peut coûter des mots sautés et une ponctuation dégradée.

Pour un lexique de domaine étroit comme les termes IT, affiner un modèle existant paraît plus raisonnable que tenter de régler le problème avec des dictionnaires.

Dossier

Questions clés sur cet article

Que sait-on sur Ce qui ne fonctionnait pas ?

Le modèle de base comprenait bien la parole russe courante, mais butait sur trois catégories de mots : les noms anglais (Docker, Kubernetes), les anglicismes bien installés comme « dachbord » (« dashboard » en russe) et l'abréviation « II » (« IA » en russe). Des mots entiers disparaissaient parfois. La phrase « Moï II rédko ochibaïétsia » (« Mon IA se trompe rarement ») était transcrite « Moï rédko ochibaïétsia », sans « II ». Un simple dictionnaire de remplacements n'aide que partiellement.

Comment l'affinage a été mené, et les résultats?

GigaAM est une famille de modèles de reconnaissance vocale à architecture Conformer. L'équipe utilise la variante à tête RNNT, qui produit directement du texte avec casse et ponctuation. Côté serveur, l'encodeur tourne en FP16 et la tête RNNT en FP32. Silero VAD découpe les longs enregistrements aux pauses, et les segments courts sont reconnus par lots. Le décodage est glouton, sans modèle de langage externe, et le matériel est une carte graphique RTX A2000 de 12 Go.

Que sait-on sur La leçon d'une première tentative ratée ?

L'équipe était d'abord partie de la variante CTC de GigaAM et avait constitué 4,4 heures de données : environ 1100 phrases synthétiques contenant des termes IT, et à peu près autant d'enregistrements issus des parties russe et anglaise du jeu de données FLEURS. Les 12 couches inférieures de l'encodeur étaient gelées ; seules les quatre couches supérieures et la tête CTC étaient entraînées. Sur un banc de 12 phrases synthétiques, la part de termes corrects a bondi de 6 % à 86 %.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…