Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarSberDevices→ original

SberDevices publie GigaAM-v3, un modèle ouvert de reconnaissance de la parole russe meilleur d'au moins 10 %

SberDevices a publié GigaAM-v3, un modèle ouvert qui transforme la parole russe en texte, directement avec la ponctuation et les chiffres. Le nouveau préentraînement HuBERT-CTC utilise un modèle de reconnaissance déjà prêt comme enseignant et apporte un gain de qualité d'au moins 10 % face aux méthodes courantes. Les enregistrements annotés ont doublé, pour atteindre 4 000 heures, dont des centres d'appels. Pour les services vocaux russes, c'est une base prête à l'emploi.

Traité par IA depuis SberDevices ; édité par Hamidun News
SberDevices publie GigaAM-v3, un modèle ouvert de reconnaissance de la parole russe meilleur d'au moins 10 %
Source : SberDevices. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireSberDevices ↗
Rédacteur en chef
Données950 heures de textes complexes, 450 heures de parole spontanée
Chiffre clé #2La ponctuation a été ajoutée par GigaChat Audio, à partir de 10 exemples dans le prompt
Chiffre clé #3Sur Golos et Common Voice, la qualité reste au niveau de la v2

Si vous développez un assistant vocal, une transcription d'appels ou des sous-titres pour une vidéo en russe, il ne vous suffit pas d'un modèle qui entend les mots. Il vous faut un texte lisible, avec des virgules, des points d'interrogation et des chiffres à la place de « vingt-cinq pour cent ». SberDevices a présenté GigaAM-v3, la nouvelle version de sa famille ouverte de modèles acoustiques pour le russe, et a mis l'accent précisément sur ces points. L'affirmation principale des auteurs : la nouvelle méthode de préentraînement HuBERT-CTC apporte un gain de qualité d'au moins 10 %, même face aux méthodes répandues dans l'industrie.

Comment on entraîne l'encodeur : HuBERT-CTC

Les modèles modernes de reconnaissance vocale (ASR) sont d'abord préentraînés sur une quantité énorme d'audio non annoté. L'idée rappelle BERT pour le texte : une partie de l'audio est masquée, et le modèle devine ce qui s'y trouvait. Dans le HuBERT classique, les « bonnes réponses » à deviner sont obtenues ainsi : on prend les caractéristiques du son, on les regroupe avec la méthode k-means et on obtient un ensemble de tokens discrets, une sorte d'« alphabet sonore ».

Chez Sber, le point de départ a changé. Au lieu d'un encodeur universel, ils ont pris un encodeur déjà affiné pour reconnaître la parole avec une fonction CTC. Ses représentations internes restituent mieux la phonétique et le sens, si bien que l'« alphabet sonore » se rapproche de la tâche réelle. Ensuite, tout se passe comme dans HuBERT : on masque des fragments et on entraîne le modèle à restituer les tokens. En clair, les connaissances d'un modèle ASR déjà prêt sont transférées au préentraînement, et une grande quantité d'audio non annoté est utilisée.

Ce que montrent les expériences. Dans un test avec un encodeur gelé, la qualité de reconnaissance progresse des couches basses vers les couches hautes. Chez la méthode concurrente BEST-RQ, le taux minimal d'erreurs de mots (WER) est souvent atteint sur les couches intermédiaires. Le WER final après affinage est inférieur à celui d'un HuBERT pur, même lorsqu'on utilise tout le volume annoté. Lorsque les annotations sont rares — 10 %, 1 % ou 0,1 % de l'ensemble complet —, le gain est encore plus net.

Données : plus d'heures et de situations variées

Pour GigaAM-v2, le modèle avait été préentraîné sur environ 50 000 heures de parole russe ; pour la v3, ce volume a été augmenté. Le nettoyage des enregistrements est simple : un détecteur d'activité vocale (VAD) découpe les longs fichiers en fragments d'une minute et écarte ceux qui contiennent trop de silence. Des filtres plus sophistiqués ont été testés, mais ils n'influençaient presque pas la qualité et demandaient des calculs importants ; on a donc conservé le VAD.

Les données annotées ont environ doublé — 4 000 heures — et gagné en diversité :

  • textes complexes, sur lesquels d'autres modèles se trompaient — 950 heures ;
  • parole conversationnelle spontanée — 450 heures ;
  • centres d'appels et enregistrements téléphoniques — 350 heures ;
  • parole sur fond musical — 110 heures ;
  • parole synthétisée — 100 heures ;
  • parole présentant des particularités — 50 heures.

Sur les jeux de données ouverts (Golos, Common Voice, Russian LibriSpeech), la qualité est restée au niveau de la v2. Les auteurs expliquent cela par une hausse notable de la part de domaines internes difficiles. C'est pourquoi ils présentent séparément les résultats sur les enregistrements de centres d'appels et sur la parole à particularités. Pour un praticien, c'est un signal honnête : sur les benchmarks « propres », la v3 ne dépasse pas la v2, et c'est dans les conditions difficiles qu'il faut chercher le gain.

Un texte lisible plutôt qu'une transcription technique

Les jeux de données classiques stockent les transcriptions sous une forme technique : sans ponctuation, et les nombres ainsi que les symboles comme % et $ sont écrits en toutes lettres. C'est pratique pour l'entraînement, mais peu lisible. Pour obtenir un corpus au texte normal, l'équipe a utilisé GigaChat Audio. Au modèle, on fournissait l'audio, la transcription d'origine, une instruction détaillée et 10 exemples fixes. L'audio est nécessaire pour repérer une question à l'intonation et traiter correctement les pauses.

Les modèles génératifs hallucinent ; les résultats ont donc été filtrés :

  • on vérifiait que la longueur du texte était presque inchangée ;
  • on supprimait les caractères hors de l'alphabet défini, comme les emojis ;
  • on retirait le Markdown et les insertions du type « (silence) » ;
  • on s'assurait que le signe % n'apparaissait qu'à la place du mot « pour cent » de l'original, et $ à la place de « dollar » ;
  • on surveillait l'écart sur les métriques CER et WER.

Une alternative était le forced decoding : on ajoute la ponctuation directement pendant le décodage, sans modifier le texte de référence, de sorte que le WER ne peut pas se dégrader. Inconvénients de cette méthode : la souplesse de normalisation diminue, et la ponctuation obtenue est moins bonne qu'avec un étiquetage par LLM. Les deux approches ont été comparées sur des données internes, où la transcription et la ponctuation étaient annotées par des évaluateurs.

Que faire de tout cela

GigaAM-v3 est un modèle ouvert : on peut le faire tourner chez soi sans envoyer des appels sensibles vers des API externes. Mais la leçon dépasse le modèle lui-même. Si vous disposez de transcriptions « brutes », un LLM ayant accès à l'audio et soumis à des filtres stricts peut les transformer en données d'entraînement ponctuées.

Et lorsque vous choisissez un ASR, regardez non seulement le WER sur les jeux ouverts, mais aussi vos propres domaines : appels bruyants, musique, parole atypique. Pour l'évaluation dans plusieurs domaines, les auteurs ont eux-mêmes ajouté du LLM-as-a-judge — une évaluation par un autre modèle de langage — au-dessus du WER classique, car une simple proportion de mots erronés rend mal compte de la lisibilité d'un texte ponctué.

Dossier

Questions clés sur cet article

Comment on entraîne l'encodeur : HuBERT-CTC?

Les modèles modernes de reconnaissance vocale (ASR) sont d'abord préentraînés sur une quantité énorme d'audio non annoté. L'idée rappelle BERT pour le texte : une partie de l'audio est masquée, et le modèle devine ce qui s'y trouvait. Dans le HuBERT classique, les « bonnes réponses » à deviner sont obtenues ainsi : on prend les caractéristiques du son, on les regroupe avec la méthode k-means et on obtient un ensemble de tokens discrets, une sorte d'« alphabet sonore ». Chez Sber, le point de départ a changé.

Que sait-on sur Données : plus d'heures et de situations variées ?

Pour GigaAM-v2, le modèle avait été préentraîné sur environ 50 000 heures de parole russe ; pour la v3, ce volume a été augmenté. Le nettoyage des enregistrements est simple : un détecteur d'activité vocale (VAD) découpe les longs fichiers en fragments d'une minute et écarte ceux qui contiennent trop de silence. Des filtres plus sophistiqués ont été testés, mais ils n'influençaient presque pas la qualité et demandaient des calculs importants ; on a donc conservé le VAD.

Que sait-on sur Un texte lisible plutôt qu'une transcription technique ?

Les jeux de données classiques stockent les transcriptions sous une forme technique : sans ponctuation, et les nombres ainsi que les symboles comme % et $ sont écrits en toutes lettres. C'est pratique pour l'entraînement, mais peu lisible. Pour obtenir un corpus au texte normal, l'équipe a utilisé GigaChat Audio. Au modèle, on fournissait l'audio, la transcription d'origine, une instruction détaillée et 10 exemples fixes.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…