Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

Whisper comprend mieux que GigaAM 454 termes IT, même si GigaAM se trompe moins souvent sur les mots

Les tâches vocales pour agents IA butent sur les termes techniques : « nos prod » (« наш прод », notre prod) devient « на шпрот » (« sur des sprats »), et l'agent va chercher le mauvais code. L'auteur a comparé les modèles de reconnaissance vocale GigaAM, T-one et Whisper sur 1000 enregistrements (20,3 heures) contenant 454 termes. GigaAM affiche un WER plus bas, c'est-à-dire une part de mots erronés plus faible, mais Whisper orthographie mieux les termes IT. Il faut donc mesurer les termes séparément, sur ses propres enregistrements.

Traité par IA depuis Habr AI ; édité par Hamidun News
Whisper comprend mieux que GigaAM 454 termes IT, même si GigaAM se trompe moins souvent sur les mots
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Test sur CPU7 locuteurs, 18 000 formes de mots, dont 454 termes
Chiffre clé #2Un WER identique masque « tmux » → « Teams » et un « ne lance pas » amputé de sa négation
Chiffre clé #3GigaAM et T-one sont rapides sur CPU, Whisper nettement plus lent sans GPU

Imaginez que vous dictiez une tâche à un agent IA, que vous disiez « наш прод » (notre prod) et que le système de reconnaissance vocale (ASR) écrive « на шпрот » (« sur des sprats »). L'agent ira consciencieusement chercher quelque chose sur les conserves de poisson, dépensera des tokens et pourra faire le mauvais commit. L'auteur d'une « usine de logiciels dans le noir », où il mène l'essentiel du développement à la voix, a voulu vérifier quels modèles de reconnaissance gèrent le mieux la parole technique : le russe GigaAM, T-one et OpenAI Whisper.

Le résultat est inattendu. Au WER (word error rate, la part de mots à remplacer, supprimer ou insérer pour obtenir le texte de référence), GigaAM l'emporte. Mais pour les termes IT, c'est Whisper qui transcrit le plus fidèlement.

Comment la mesure a été réalisée

Le jeu de test comprend 1000 enregistrements vocaux, d'une durée totale de 20,3 heures, avec 7 locuteurs. La plupart des enregistrements viennent de l'auteur, mais il a ajouté des podcasts techniques issus de sources ouvertes pour que le benchmark ne soit pas trop « personnel ». La parole est celle d'un développeur : du russe parlé mêlé d'anglicismes, de tics de langage et de gros mots.

Sur environ 18 000 formes de mots uniques, l'auteur a retenu 454 termes et a annoté chacun dans l'audio. Tous les modèles ont tourné uniquement sur CPU (AMD Ryzen 5 3600, environ 63 Go de mémoire), sans carte graphique. Il n'y a eu qu'une seule passe, et la qualité a été calculée par rapport à l'annotation de référence.

Plusieurs métriques sont utilisées. Le WER et le CER donnent la part d'erreurs au niveau des mots et des caractères : plus la valeur est basse, mieux c'est. Pour les termes, l'auteur a mesuré la correspondance exacte avec la graphie attendue, ainsi qu'une variante plus souple où « backend » et « бэкенд » sont tous deux acceptés. Cela compte, car certains modèles écrivent uniquement en cyrillique et ne produiront jamais le nom anglais, même s'ils l'ont bien entendu. Le RTF a aussi été mesuré : le temps de reconnaissance divisé par la durée de l'audio.

Résultats

Côté vitesse sur CPU, GigaAM et T-one sont nettement devant, tandis que Whisper est lent sans accélérateur. Mais pour une usine où les tâches n'exigent pas de réponse en quelques secondes, l'auteur considère le RTF comme une donnée indicative, pas comme un critère de choix.

GigaAM l'emporte sur le WER global, et c'est un modèle solide pour le russe. Sur les termes, il perd nettement face à Whisper. On se retrouve devant un choix : l'un des modèles transcrit proprement le texte courant, l'autre restitue mieux les noms de services, de protocoles et de bibliothèques. Le billet ne contient pas le tableau chiffré lui-même, nous ne donnons donc pas ici les écarts exacts.

Pourquoi le WER trompe

Dans le WER, chaque opération coûte une unité : deux transcriptions peuvent donc avoir le même pourcentage d'erreurs et des conséquences différentes. « Открой сессию тмукс » (« Ouvre la session tmuks ») à la place de tmux, « Открой сессию Teams » (« Ouvre la session Teams ») et le « не » perdu dans « не запускай автоматически » (« ne lance pas automatiquement ») donnent le même chiffre. La première erreur est anodine, alors que la dernière peut déclencher une commande qu'on n'avait pas demandé d'exécuter.

De plus, dans les longs enregistrements, un terme court mais critique se dilue dans le dénominateur global. Le WER n'ignore pas les mots courts : leur contribution au chiffre final est simplement faible.

L'auteur répartit les erreurs en deux groupes. Les erreurs tolérables : « дашборд », « dashboard », « дашик ». En cherchant dans le code, l'agent peut faire des pas superflus et atteindre quand même son but. Les erreurs dangereuses : un mot plausible mais étranger. « Precision » devenu « пресиджен » (« presidjen ») laisse encore l'intention reconstituable. En revanche, « recall » devenu « прикол » (« blague, truc marrant ») ne l'est plus : « прикол » n'éveille aucun soupçon et a plusieurs sens. Pire encore, « наш прод » (notre prod) devenu « на шпрот » (« sur des sprats »).

D'où viennent ces erreurs

Le modèle ne reçoit pas des lettres mais un spectrogramme log-mel, c'est-à-dire une carte de l'évolution du son. Il n'y a pas d'espaces dessus, et les frontières des mots doivent être devinées. Le « д » final de « прод » s'assourdit en « т », la parole rapide soude les mots, et une machine à café fait du bruit à côté.

Les méthodes d'assemblage du texte diffèrent aussi. GigaAM CTC et T-one utilisent le CTC : à chaque pas, le modèle évalue les étiquettes indépendamment, y compris l'étiquette spéciale blank (« ne rien produire »), puis les répétitions sont fusionnées. Si la bonne lettre est absente du chemin retenu, la fusion ne la rétablira pas. Chez GigaAM RNNT, l'étiquette suivante dépend aussi de celles déjà émises. Whisper écrit token après token d'après un vocabulaire BPE : « backend » (avec l'espace initial) occupe un token, « бэкенд » quatre. Mais davantage de tokens ne signifie pas davantage d'erreurs : « recall » occupe un token, « прикол » deux.

Le beam search conserve plusieurs hypothèses, mais il ne rend pas le modèle plus intelligent. Si une chaîne erronée lui paraît plus probable que la bonne, élargir le faisceau ne la corrigera pas. Au final, une seule chaîne sort, sans information sur les variantes écartées.

Que faire de tout cela

Pour ceux qui construisent des interfaces vocales pour agents, la conclusion est simple : ne choisissez pas un ASR uniquement d'après le WER. Constituez votre propre liste de termes, annotez-les dans l'audio et mesurez-les séparément, orthographe exacte comprise. L'auteur a déjà essayé un post-traitement sans modifier les modèles, mais les détails ne figurent pas dans l'extrait disponible du billet.

Il faut aussi garder les limites en tête : une seule passe, l'essentiel de la voix appartient à une seule personne, et la fidélité de transmission de l'intention n'a pas été mesurée directement dans ce benchmark. Mais comme modèle pour sa propre mesure, l'exemple est bon.

Dossier

Questions clés sur cet article

Comment la mesure a été réalisée?

Le jeu de test comprend 1000 enregistrements vocaux, d'une durée totale de 20,3 heures, avec 7 locuteurs. La plupart des enregistrements viennent de l'auteur, mais il a ajouté des podcasts techniques issus de sources ouvertes pour que le benchmark ne soit pas trop « personnel ». La parole est celle d'un développeur : du russe parlé mêlé d'anglicismes, de tics de langage et de gros mots. Sur environ 18 000 formes de mots uniques, l'auteur a retenu 454 termes et a annoté chacun dans l'audio.

Que sait-on sur Résultats ?

Côté vitesse sur CPU, GigaAM et T-one sont nettement devant, tandis que Whisper est lent sans accélérateur. Mais pour une usine où les tâches n'exigent pas de réponse en quelques secondes, l'auteur considère le RTF comme une donnée indicative, pas comme un critère de choix. GigaAM l'emporte sur le WER global, et c'est un modèle solide pour le russe. Sur les termes, il perd nettement face à Whisper.

Pourquoi le WER trompe?

Dans le WER, chaque opération coûte une unité : deux transcriptions peuvent donc avoir le même pourcentage d'erreurs et des conséquences différentes. « Открой сессию тмукс » (« Ouvre la session tmuks ») à la place de tmux, « Открой сессию Teams » (« Ouvre la session Teams ») et le « не » perdu dans « не запускай автоматически » (« ne lance pas automatiquement ») donnent le même chiffre. La première erreur est anodine, alors que la dernière peut déclencher une commande qu'on n'avait pas demandé d'exécuter.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…