Cascade T-one + GigaAM : brouillon de sous-titres pendant la réunion, version finale après

L'auteur d'un service de réunions en tête-à-tête a cherché à savoir s'il pouvait quitter le Deepgram cloud pour son propre serveur, sans carte graphique, tout en obtenant à la fois des sous-titres en direct et un texte final de qualité. Il a assemblé une cascade de deux modèles. Pendant l'appel, T-one transforme la parole en brouillon avec un retard inférieur à 2 secondes.

Après la réunion, GigaAM relit ce brouillon, corrige les erreurs et produit une version finale avec ponctuation. Le montage fonctionne, et les mesures ont pris trois jours. Mais deux résultats ont surpris l'auteur plus que les modèles eux-mêmes : la référence de qualité se trompait sur un point litigieux sur quatre, et la technique populaire du « second modèle qui corrige les termes » n'a presque rien apporté sur ses appels.

D'où vient l'idée de la cascade

Dans la première partie, l'auteur a établi que le nombre de vCPU en dit peu sur les performances. Un Xeon de 2013 sans AVX2 supporte 6 à 8 fois moins de flux en direct qu'un processeur moderne avec un nombre de cœurs similaire. Sa machine B (6 vCPU Xeon E5-2680 v2, 11 Go de RAM) gère deux réunions simultanées : T-one renvoie une phrase 1,08 s (p50) et 1,2 s (p95) après la pause.

T-one a ses faiblesses. Il ne pose pas de ponctuation et, au niveau des mots, reste derrière le cloud comme derrière GigaAM. GigaAM, lui, ne travaille que sur un enregistrement terminé. La cascade comble ces deux lacunes. L'idée vient de @pahaz, qui a publié le même jour un article sur une cascade GigaAM + Parakeet pour la transcription hors ligne et a conseillé d'ajouter Parakeet à la comparaison.

Les contraintes restent les mêmes : les pistes des participants arrivent séparément, la diarisation est donc inutile ; la phrase doit apparaître dans les sous-titres en 2 s au plus (p95) ; l'audio ne quitte pas le serveur en Russie. Une exigence s'ajoute : un texte final avec ponctuation, au moins aussi bon que celui du cloud, là où les montants, les délais et les noms comptent le plus.

La référence qui favorisait certains modèles

Dans la première partie, la référence était Deepgram, et l'auteur y voyait lui-même un point faible. Il a depuis élargi l'échantillon et relu la référence à la main. Résultat : sur un point litigieux sur quatre, l'ancienne référence se trompait et favorisait les modèles à partir desquels elle avait été construite. Un WER calculé sur une telle référence surestime donc la qualité des systèmes « maison ».

La seconde découverte concerne la correction des termes. Chez @pahaz, le second modèle chargé de corriger les termes faisait baisser le WER de 5 points de pourcentage. Sur les appels de travail de l'auteur, il n'a au mieux rien changé et, au pire, a ajouté 7 points de pourcentage. Le gain d'une cascade dépend fortement du domaine et de la qualité de l'enregistrement.

Ce qui a été mesuré

Données de test :

• 51 secondes d'un centre d'appels issues du package T-one • une séance de coaching de 29 minutes • 4 enregistrements d'appels de travail : 2 h 21 min, 14 970 mots

Références : l'accord des moteurs sur l'échantillon, le texte de Deepgram nova-3 sur la séance, le texte consensuel de trois systèmes avec correction manuelle des termes, et une écoute par échantillonnage.

La première partie comparait T-one, GigaAM-v3, Vosk, Deepgram nova-2 et nova-3. La seconde compare :

• T-one en mode greedy et avec le modèle de langage KenLM • GigaAM-v3 e2e • Parakeet TDT 0.6B v3 • Deepgram nova-3

Métriques : WER, WERx, erreurs sur les nombres, précision des termes et de la ponctuation. L'auteur a aussi examiné séparément ce qui charge le CPU en temps réel, comment répartir le travail entre les deux modèles et ce que cela coûte.

Conclusion pratique

Qui construit sa propre transcription doit commencer par la référence, pas par les modèles. Si la référence est issue des sorties des systèmes que vous comparez, les chiffres seront trop optimistes. Il faut une relecture manuelle, au moins des points litigieux, et une écoute, surtout là où figurent des montants, des dates et des noms.

Seconde leçon, sur les cascades : le gain de 5 points de pourcentage obtenu par d'autres avec un modèle correcteur ne se transpose pas automatiquement à vos conversations, il faut le vérifier sur vos propres enregistrements. La répartition des rôles entre deux modèles se justifie par la logique même du problème : un modèle rapide et approximatif pour les sous-titres en direct, un modèle lent et précis pour le document produit après la réunion. Pour un petit service, cela signifie que deux appels simultanés sur un vieux Xeon à six cœurs sont tout à fait réalistes, à condition de confier la partie en direct à un modèle léger et de reporter le gros du travail à la fin de la réunion.