Le modèle ouvert Apriel Voice 27B obtient 98,90 points au test audio Big Bench Audio

Les chercheurs du projet Apriel ont publié Apriel Voice 27B Preview, un modèle de langage vocal ouvert construit sur un checkpoint affiné de Gemma 4 26B-A4B. Il reçoit la voix directement, raisonne et appelle des outils sans modèle de dialogue séparé. En mode raisonnement, il obtient 98,90 points sur Big Bench Audio, un test de raisonnement sur des questions posées au format audio, et 81,13 sur Speech-BFCL, qui évalue l'appel de fonctions à partir d'une requête vocale. Autre résultat : un taux moyen de réussite des tâches de 65,51% sur un benchmark vocal, pour une latence moyenne de 1,91 seconde.

Un seul socle plutôt qu'une cascade

L'assistant vocal classique repose sur trois briques : reconnaissance vocale (ASR), modèle de langage et synthèse vocale (TTS). Une autre approche réserve à la couche vocale la seule conversation et confie le raisonnement et les outils à un modèle backend distinct. Dans Apriel Voice, un seul modèle gère tout : il comprend la parole, répond dans le dialogue et choisit lui-même quand appeler un outil, et lequel. Le contexte conserve le texte, les images et les résultats des outils appelés.

La Gemma 4 26B-A4B d'origine est un modèle de type mixture-of-experts : environ 26 milliards de paramètres au total, dont environ 4 milliards actifs par token. L'application exécute les outils, renvoie les résultats dans le dialogue et transmet le texte de la réponse à un synthétiseur vocal interchangeable ; la voix peut donc changer sans réentraîner le modèle. La détection de fin de tour de parole et la gestion des interruptions fonctionnent autour du modèle.

La parole atteint le décodeur via un encodeur Whisper large-v3-turbo figé, qui produit des caractéristiques acoustiques de dimension 1280, puis via un projecteur entraînable. Le projecteur concatène huit trames voisines, les fait passer par des couches linéaires et un bloc SwiGLU, puis les projette dans l'espace d'embeddings du décodeur, de dimension 2816. Il compte exactement 47 722 496 paramètres. Aucune transcription n'est générée à l'inférence : le modèle travaille directement sur les représentations acoustiques.

Deux étapes d'entraînement et distillation en ligne

Dans la première étape, le socle reste figé et seul le projecteur est entraîné, sur des tâches de transcription multilingue, de traduction et de continuation de la parole. Dans la seconde, le projecteur et le socle sont affinés ensemble : l'équipe utilise un affinage supervisé sur des tâches vocales, des dialogues générés en interne et des interactions avec des outils, ainsi qu'un rejeu de données textuelles pour que le modèle ne perde pas ses compétences antérieures.

Les dialogues vocaux sont construits automatiquement. Des dialogues textuels de tâches sont convertis en exemples oraux : les passages à vocaliser sont sélectionnés, chaque conversation utilise la même voix de référence, et la fidélité de la conversion est vérifiée séparément.

Chaque source de données a sa propre fonction de perte : entropie croisée, divergence KL directe (FKL) ou une combinaison des deux. L'entropie croisée apprend les réponses cibles, tandis que la FKL, calculée par rapport à une copie figée du socle d'origine, transfère son comportement vers les contextes vocaux. Le modèle enseignant n'intervient qu'à l'entraînement ; il est absent à l'inférence.

Pour rendre ce schéma réalisable en termes de calcul, les auteurs exécutent l'enseignant en local, à côté de l'étudiant, font se chevaucher dans le temps les calculs de l'enseignant et de l'étudiant, utilisent des noyaux de perte fusionnés sur l'ensemble du vocabulaire et coordonnent la sauvegarde des checkpoints.

Résultats et contexte

En plus de Big Bench Audio et de Speech-BFCL, les auteurs ont évalué le modèle sur EVA-Bench, qui mesure à la fois la précision du service et la qualité de l'interaction. Dans la version anglaise, la précision atteint 51,27% et le score d'expérience pass@1 74,13%. Le rapport couvre également la couverture multilingue, l'effet du mode raisonnement, la traduction, les scénarios d'entreprise et la préservation des capacités textuelles et visuelles.

La méthode s'appuie sur des approches connues : l'association encodeur-projecteur, comme dans Ultravox et SLAM-ASR, et le transfert de comportement entre modalités, comme dans BLSP-KD. L'apport des auteurs porte sur le choix des signaux d'entraînement, sur les dialogues vocaux synthétiques et sur une implémentation efficace de la distillation en ligne. Il s'agit d'une version Preview, et tous les chiffres proviennent du rapport des développeurs eux-mêmes.

Pour les concepteurs d'agents vocaux, c'est l'architecture qui compte : quand la compréhension de la parole, le raisonnement et l'appel d'outils résident dans un seul modèle ouvert, le système compte moins de points de jonction entre composants. Pour la démonstration, les auteurs ont lancé la plateforme Apriel Live, où l'on peut tester le modèle dans des conversations vocales en direct.