Le modèle ouvert Apriel Voice 27B atteint 98,90 sur Big Bench Audio et 81,13 sur Speech-BFCL

Les chercheurs du projet Apriel ont présenté Apriel Voice 27B Preview, un modèle de langage vocal ouvert qui réunit compréhension de la voix, raisonnement et appel d'outils au sein d'un même backbone. En mode raisonnement, il obtient 98,90 sur Big Bench Audio (un jeu de questions de raisonnement posées sous forme audio) et 81,13 sur Speech-BFCL (la version vocale du benchmark d'appel de fonctions Berkeley Function-Calling Leaderboard). La latence moyenne de réponse est de 1,91 seconde.

Le modèle repose sur un checkpoint de Gemma 4 26B-A4B affiné : une architecture mixture-of-experts d'environ 26 milliards de paramètres au total, dont environ 4 milliards actifs par token. Apriel Voice accepte directement la parole, conserve les entrées texte et image, et génère lui-même aussi bien les réponses que les appels d'outils : aucun modèle de dialogue distinct n'est nécessaire.

Ce que montrent les benchmarks

Au-delà de ces deux résultats principaux, le taux moyen de réussite des tâches dans le benchmark vocal Voice s'établit à 65,51%. Sur EVA-Bench en anglais, qui mesure à la fois la précision du service et la qualité de l'interaction, la précision atteint 51,27% et le score d'expérience pass@1 74,13%. Les auteurs y voient un bon résultat pour un modèle ouvert dont les capacités vocales s'étendent au raisonnement et à l'action.

Ils soulignent par ailleurs que la précision de la reconnaissance ne suffit pas à un agent vocal : le modèle peut transcrire correctement une demande et pourtant ne pas respecter les contraintes ou ne pas appeler l'outil voulu. La parole a donc été évaluée comme une interface vers des capacités générales (raisonnement, suivi d'instructions, dialogue, achèvement des tâches), en plus de la reconnaissance et de la traduction. Le rapport compare aussi les modes avec et sans raisonnement, examine la couverture linguistique et vérifie la préservation des compétences en traitement du texte et des images.

Architecture : encodeur, projecteur et backbone commun

Le son passe par un encodeur Whisper large-v3-turbo gelé, qui produit des caractéristiques acoustiques à 1280 dimensions. Un projecteur entraînable concatène huit trames voisines, puis les fait traverser des couches linéaires à porte SwiGLU pour les projeter dans l'espace à 2816 dimensions du décodeur. Cette conception est empruntée à Ultravox, et le projecteur compte exactement 47 722 496 paramètres, soit environ 47,7 M. Aucune transcription n'est produite à l'inférence : le décodeur reçoit directement les représentations acoustiques.

L'exécution des outils et la synthèse vocale restent en dehors du modèle. L'application lance les outils, réinjecte les résultats dans le même contexte et envoie le texte de la réponse à un synthétiseur vocal interchangeable. La détection de fin de tour de parole et la gestion des interruptions fonctionnent elles aussi autour du modèle. On peut ainsi changer la voix ou le système de synthèse sans réentraîner le modèle de raisonnement.

Comment le modèle a été entraîné

L'objectif : ajouter une interface vocale à un décodeur déjà performant sans perdre ses capacités d'origine. Lors de la première étape, le projecteur est entraîné sur de la transcription multilingue, de la traduction et de la continuation de parole, avec un backbone gelé. Lors de la seconde, le projecteur et le backbone sont mis à jour ensemble, à partir de tâches vocales, de dialogues générés en interne, d'exemples d'utilisation d'outils et d'un rejeu de données textuelles.

Pour chaque source de données, l'entraînement combine l'entropie croisée et la divergence de Kullback-Leibler directe. La première apprend les réponses cibles et les appels d'outils ; la seconde transfère le comportement d'une copie gelée du backbone d'origine et limite l'oubli. Ce modèle enseignant n'est nécessaire que pendant l'entraînement : il est absent à l'inférence.

Les dialogues sont d'abord créés sous forme de texte, puis convertis automatiquement en parole : des fragments sont sélectionnés, une seule voix de référence est utilisée au sein de chaque dialogue, et la fidélité de la conversion est vérifiée. Côté ingénierie, le dispositif comprend un lancement local de l'enseignant, le recouvrement des calculs de l'enseignant et de l'étudiant, des noyaux fused pour les pertes sur le vocabulaire complet et une sauvegarde cohérente des checkpoints.

Ce que cela signifie

Pour les praticiens, c'est la recette elle-même qui est intéressante : partir d'un modèle textuel solide, y ajouter un projecteur vocal et préserver son comportement par distillation, plutôt que d'assembler une cascade de reconnaissance vocale, de LLM et de synthèse. Il s'agit d'une version Preview, et pour les conversations en direct, les auteurs ont déployé leur propre plateforme, Apriel Live.