Whisper comprend mieux que GigaAM 454 termes IT, même si GigaAM se trompe moins souvent sur les mots
Les tâches vocales pour agents IA butent sur les termes techniques : « nos prod » (« наш прод », notre prod) devient « на шпрот » (« sur des sprats »), et l'agent va chercher le mauvais code. L'auteur a comparé les modèles de reconnaissance vocale GigaAM, T-one et Whisper sur 1000 enregistrements (20,3 heures) contenant 454 termes. GigaAM affiche un WER plus bas, c'est-à-dire une part de mots erronés plus faible, mais Whisper orthographie mieux les termes IT. Il faut donc mesurer les termes séparément, sur ses propres enregistrements.
Traité par IA depuis Habr AI ; édité par Hamidun News
Imaginez que vous dictiez une tâche à un agent IA, que vous disiez « наш прод » (notre prod) et que le système de reconnaissance vocale (ASR) écrive « на шпрот » (« sur des sprats »). L'agent ira consciencieusement chercher quelque chose sur les conserves de poisson, dépensera des tokens et pourra faire le mauvais commit. L'auteur d'une « usine de logiciels dans le noir », où il mène l'essentiel du développement à la voix, a voulu vérifier quels modèles de reconnaissance gèrent le mieux la parole technique : le russe GigaAM, T-one et OpenAI Whisper.
Le résultat est inattendu. Au WER (word error rate, la part de mots à remplacer, supprimer ou insérer pour obtenir le texte de référence), GigaAM l'emporte. Mais pour les termes IT, c'est Whisper qui transcrit le plus fidèlement.
Comment la mesure a été réalisée
Le jeu de test comprend 1000 enregistrements vocaux, d'une durée totale de 20,3 heures, avec 7 locuteurs. La plupart des enregistrements viennent de l'auteur, mais il a ajouté des podcasts techniques issus de sources ouvertes pour que le benchmark ne soit pas trop « personnel ». La parole est celle d'un développeur : du russe parlé mêlé d'anglicismes, de tics de langage et de gros mots.
Sur environ 18 000 formes de mots uniques, l'auteur a retenu 454 termes et a annoté chacun dans l'audio. Tous les modèles ont tourné uniquement sur CPU (AMD Ryzen 5 3600, environ 63 Go de mémoire), sans carte graphique. Il n'y a eu qu'une seule passe, et la qualité a été calculée par rapport à l'annotation de référence.
Plusieurs métriques sont utilisées. Le WER et le CER donnent la part d'erreurs au niveau des mots et des caractères : plus la valeur est basse, mieux c'est. Pour les termes, l'auteur a mesuré la correspondance exacte avec la graphie attendue, ainsi qu'une variante plus souple où « backend » et « бэкенд » sont tous deux acceptés. Cela compte, car certains modèles écrivent uniquement en cyrillique et ne produiront jamais le nom anglais, même s'ils l'ont bien entendu. Le RTF a aussi été mesuré : le temps de reconnaissance divisé par la durée de l'audio.
Résultats
Côté vitesse sur CPU, GigaAM et T-one sont nettement devant, tandis que Whisper est lent sans accélérateur. Mais pour une usine où les tâches n'exigent pas de réponse en quelques secondes, l'auteur considère le RTF comme une donnée indicative, pas comme un critère de choix.
GigaAM l'emporte sur le WER global, et c'est un modèle solide pour le russe. Sur les termes, il perd nettement face à Whisper. On se retrouve devant un choix : l'un des modèles transcrit proprement le texte courant, l'autre restitue mieux les noms de services, de protocoles et de bibliothèques. Le billet ne contient pas le tableau chiffré lui-même, nous ne donnons donc pas ici les écarts exacts.
Pourquoi le WER trompe
Dans le WER, chaque opération coûte une unité : deux transcriptions peuvent donc avoir le même pourcentage d'erreurs et des conséquences différentes. « Открой сессию тмукс » (« Ouvre la session tmuks ») à la place de tmux, « Открой сессию Teams » (« Ouvre la session Teams ») et le « не » perdu dans « не запускай автоматически » (« ne lance pas automatiquement ») donnent le même chiffre. La première erreur est anodine, alors que la dernière peut déclencher une commande qu'on n'avait pas demandé d'exécuter.
De plus, dans les longs enregistrements, un terme court mais critique se dilue dans le dénominateur global. Le WER n'ignore pas les mots courts : leur contribution au chiffre final est simplement faible.
L'auteur répartit les erreurs en deux groupes. Les erreurs tolérables : « дашборд », « dashboard », « дашик ». En cherchant dans le code, l'agent peut faire des pas superflus et atteindre quand même son but. Les erreurs dangereuses : un mot plausible mais étranger. « Precision » devenu « пресиджен » (« presidjen ») laisse encore l'intention reconstituable. En revanche, « recall » devenu « прикол » (« blague, truc marrant ») ne l'est plus : « прикол » n'éveille aucun soupçon et a plusieurs sens. Pire encore, « наш прод » (notre prod) devenu « на шпрот » (« sur des sprats »).
D'où viennent ces erreurs
Le modèle ne reçoit pas des lettres mais un spectrogramme log-mel, c'est-à-dire une carte de l'évolution du son. Il n'y a pas d'espaces dessus, et les frontières des mots doivent être devinées. Le « д » final de « прод » s'assourdit en « т », la parole rapide soude les mots, et une machine à café fait du bruit à côté.
Les méthodes d'assemblage du texte diffèrent aussi. GigaAM CTC et T-one utilisent le CTC : à chaque pas, le modèle évalue les étiquettes indépendamment, y compris l'étiquette spéciale blank (« ne rien produire »), puis les répétitions sont fusionnées. Si la bonne lettre est absente du chemin retenu, la fusion ne la rétablira pas. Chez GigaAM RNNT, l'étiquette suivante dépend aussi de celles déjà émises. Whisper écrit token après token d'après un vocabulaire BPE : « backend » (avec l'espace initial) occupe un token, « бэкенд » quatre. Mais davantage de tokens ne signifie pas davantage d'erreurs : « recall » occupe un token, « прикол » deux.
Le beam search conserve plusieurs hypothèses, mais il ne rend pas le modèle plus intelligent. Si une chaîne erronée lui paraît plus probable que la bonne, élargir le faisceau ne la corrigera pas. Au final, une seule chaîne sort, sans information sur les variantes écartées.
Que faire de tout cela
Pour ceux qui construisent des interfaces vocales pour agents, la conclusion est simple : ne choisissez pas un ASR uniquement d'après le WER. Constituez votre propre liste de termes, annotez-les dans l'audio et mesurez-les séparément, orthographe exacte comprise. L'auteur a déjà essayé un post-traitement sans modifier les modèles, mais les détails ne figurent pas dans l'extrait disponible du billet.
Il faut aussi garder les limites en tête : une seule passe, l'essentiel de la voix appartient à une seule personne, et la fidélité de transmission de l'intention n'a pas été mesurée directement dans ce benchmark. Mais comme modèle pour sa propre mesure, l'exemple est bon.
- 21 nov. 2026Les offres FDE ont été multipliées par 4,6 en un an : ce que fait un ingénieur chez le client
- 21 nov. 2026La capitaine d'une équipe de nageurs a confié trois tâches planifiées à ChatGPT et divisé sa charge de travail par plusieurs
- 21 nov. 2026OpenAI GPT-6 Cyber a trouvé une trentaine de failles dans les iPhone, Mac et autres appareils Apple
- 21 nov. 202622 agents Claude ont cherché pendant six semaines des réponses sur les trous noirs — et ont résolu deux problèmes
Questions clés sur cet article
Comment la mesure a été réalisée?
Le jeu de test comprend 1000 enregistrements vocaux, d'une durée totale de 20,3 heures, avec 7 locuteurs. La plupart des enregistrements viennent de l'auteur, mais il a ajouté des podcasts techniques issus de sources ouvertes pour que le benchmark ne soit pas trop « personnel ». La parole est celle d'un développeur : du russe parlé mêlé d'anglicismes, de tics de langage et de gros mots. Sur environ 18 000 formes de mots uniques, l'auteur a retenu 454 termes et a annoté chacun dans l'audio.
Que sait-on sur Résultats ?
Côté vitesse sur CPU, GigaAM et T-one sont nettement devant, tandis que Whisper est lent sans accélérateur. Mais pour une usine où les tâches n'exigent pas de réponse en quelques secondes, l'auteur considère le RTF comme une donnée indicative, pas comme un critère de choix. GigaAM l'emporte sur le WER global, et c'est un modèle solide pour le russe. Sur les termes, il perd nettement face à Whisper.
Pourquoi le WER trompe?
Dans le WER, chaque opération coûte une unité : deux transcriptions peuvent donc avoir le même pourcentage d'erreurs et des conséquences différentes. « Открой сессию тмукс » (« Ouvre la session tmuks ») à la place de tmux, « Открой сессию Teams » (« Ouvre la session Teams ») et le « не » perdu dans « не запускай автоматически » (« ne lance pas automatiquement ») donnent le même chiffre. La première erreur est anodine, alors que la dernière peut déclencher une commande qu'on n'avait pas demandé d'exécuter.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.