Kriptonit a appris à GigaAM à comprendre la parole russo-anglaise : un WER réduit de 13,6 %

Une scène familière : lors d'un appel, quelqu'un dit « давайте посмотрим на pull request и сделаем deploy до вечера » (« regardons la pull request et faisons le deploy avant ce soir »). Un humain n'y voit rien d'étrange. Un système de reconnaissance vocale, si : certains modèles transforment les mots anglais en bouillie de lettres latines, d'autres choisissent des mots russes à la sonorité proche, d'autres encore éliminent en silence le passage incompréhensible. La raison : l'ASR détermine généralement la langue d'après les premières répliques et s'y accroche ensuite.

C'est sur ce problème que le laboratoire d'IA de l'entreprise Kriptonit a travaillé. Il a mis au point une recette d'affinage qui ajoute au modèle la prise en charge du code-switch, c'est-à-dire du changement de langue en pleine conversation. La recette convient à Whisper, GigaAM et à d'autres modèles ASR.

Ce qui a été fait

L'équipe est partie de GigaAM Multilingual de Sber. La licence MIT autorise à modifier le modèle et à l'utiliser dans des produits commerciaux : le résultat peut donc être exploité sans acrobaties juridiques.

La principale difficulté est qu'il n'existe presque pas de jeux de données prêts à l'emploi où la parole russe et anglaise se mêlent dans une même phrase. L'équipe a donc constitué elle-même les données, soit environ 10 000 heures d'audio. Deux techniques ont été utilisées :

• l'assemblage de fragments dans deux langues à partir d'enregistrements monolingues réels (YODAS, Sova et d'autres corpus) ;
• la synthèse TTS de phrases avec traduction partielle, où une partie de la phrase est prononcée en russe et l'autre en anglais.

KenLM a été ajouté séparément : une bibliothèque ouverte pour des modèles de langue à n-grammes rapides. Elle intervient à l'étape du décodage : le modèle acoustique indique à quoi ressemble le son, tandis que le modèle de langue évalue la plausibilité de la séquence de mots. D'après les auteurs, KenLM a réduit la part d'erreurs lorsque des alphabets se mélangent au sein d'un même mot. Un bug bien connu : « деплой » se transforme en quelque chose comme « дepлoй », avec des lettres latines à l'intérieur.

Résultats

Sur les benchmarks avec changement de langue, le WER a baissé en moyenne de 13,6 %. Le WER mesure la proportion de mots mal reconnus : le modèle se trompe donc nettement moins souvent sur la parole mixte. Un contrôle sur la parole monolingue a aussi été réalisé : les auteurs ont vérifié que la qualité n'avait pas baissé après l'affinage.

Il y a également des conclusions intermédiaires. Même les corpus monolingues ordinaires améliorent la qualité lors de l'affinage d'un modèle ouvert. Les données synthétiques avec des données monolingues réduisent aussi le WER, mais n'atteignent pas l'optimum. Il faut précisément un mélange de langues à l'intérieur des phrases et un modèle de langue au décodage.

Que faire de tout cela

Si vous développez de la transcription de réunions, l'analyse d'appels au support ou la saisie vocale pour un public international, vous pouvez tirer plusieurs enseignements de ce travail :

• Constituez votre propre jeu de test avec du code-switch à partir de vos enregistrements. Les benchmarks généraux ne montreront pas le comportement du modèle face à votre jargon.
• La synthèse peut se faire à bas coût : assemblage de fragments réels et TTS avec traduction partielle. C'est un moyen efficace d'obtenir des données là où il n'y en a pas.
• Lancez toujours une régression sur la parole monolingue. L'affinage pour des langues mélangées ne doit pas casser ce qui fonctionnait déjà.
• Envisagez un modèle de langue à n-grammes au décodage. KenLM coûte peu et supprime une partie des hybrides de mots absurdes.

Limites

L'expérience n'a été menée que sur la paire russe-anglais. Les auteurs affirment que la recette est universelle, mais cela n'a pas encore été vérifié pour d'autres langues. Le chiffre de 13,6 % est une moyenne sur les benchmarks CS ; le document ne donne ni valeurs absolues de WER ni détail par jeu de données : il faudra donc comparer avec votre propre tâche. De plus, le processus n'est pas rapide : sur un cluster de quatre NVIDIA L40S dotées chacune de 48 Go de mémoire, l'affinage prend de une à trois semaines, selon le volume de données.

L'équipe souhaite ensuite s'attaquer à la Language Diarization, c'est-à-dire découper automatiquement l'enregistrement en segments par langue et les router sans réentraîner l'ASR. Elle prévoit aussi un modèle basé sur Whisper V3 Large prenant en charge de nombreuses langues. Si ces plans aboutissent, l'approche sera nettement plus simple à déployer. Pour l'instant, c'est une bonne recette pratique pour ceux dont l'audio voit régulièrement surgir de l'anglais au milieu d'une phrase russe.