Les bots vocaux à base de LLM s'appuient sur le classifieur rapide Jev : une décision en 200–500 ms

Un bot vocal fondé sur un grand modèle de langage (LLM) s'exprime avec aisance, mais se trompe sur des détails lors d'appels réels. Il trouve un créneau libre, mais n'enregistre pas le client. Il coupe la parole à quelqu'un qui cherche simplement un mot.

L'équipe de Voximplant, plateforme russe d'automatisation vocale et de bots téléphoniques, décrit une approche d'ingénierie pour corriger ces défauts. Un modèle classifieur rapide, comme Jev de la société TypeSafe, prend en charge les décisions simples à la place du LLM. Jev est entré en accès anticipé en septembre 2026.

En entrée, il reçoit un extrait de transcription, la dernière réplique du bot et l'étape du scénario, ainsi que plusieurs questions. Il ne génère pas de texte. Il renvoie une structure typée : un choix parmi des options, une note sur une échelle courte ou la probabilité d'un « oui » à une question directe.

Les mesures de latence divergent. Dans l'une, 35 questions ont pris environ 170 ms sur une connexion préchauffée ; dans une autre, on obtient 332–892 ms. TypeSafe annonce 70–500 ms.

Pourquoi un seul modèle ne suffit pas pour toute la conversation

En 2022–2024, Voximplant a développé son propre classifieur, Avatar. Il extrayait l'intention (intent) d'une phrase à partir d'un catalogue configurable et signalait la présence de données structurées : dates, noms, numéros. Puis les LLM sont arrivés, et le classifieur semblait superflu.

La pratique a vite démenti cette impression. Les modèles intermédiaires ne supportaient pas un long prompt de départ et se mettaient à halluciner après plusieurs changements de sujet. Les modèles coûteux faisaient exploser l'économie du projet ou répondaient trop lentement pour le téléphone.

Certains modèles n'étaient pas disponibles dans certaines régions. D'après l'expérience de Voximplant, qui réalise plusieurs centaines de projets commerciaux par an, un modèle unique rate le moment d'appeler un outil, déborde de la fenêtre de contexte et brûle des tokens inutilement. On assemble donc le bot à partir de plusieurs briques.

Quand Jev est sorti, Voximplant était justement en train de remplacer Avatar par une architecture à petit modèle rapide.

Jev n'est pas seul dans cette catégorie. D'autres modèles sont apparus :

• Laya : un équivalent gratuit et open source sous licence Apache 2.0.
• Clef de Cloudflare : un modèle ouvert pour des décisions très rapides au sein de systèmes logiciels.
• CMF de Cortiq : un modèle ouvert de 304,5 Mo, qui fonctionne en quelques millisecondes sans générer de tokens.
• Bespoke Nimble de Bespoke Labs : une recette ouverte fondée sur Qwen3.5-9B, avec fine-tuning LoRA et décodage contraint.
• Kev de @jaredpalmer : lancé sous le nom de Kev-0.5B, sur la base de Qwen2.5-0.5B, pour une exécution locale sur ordinateur portable, il s'agit désormais d'une famille de modèles.
• CLM-8B de Stanford et Nvidia : il met en cache les actions répétitives des agents et, selon les mesures de ses auteurs, il est plus rapide que Jev.

Cinq tâches confiées au classifieur

Routage par sujet. Piotr Zaczek a placé un classifieur à l'entrée du menu vocal. Il sélectionne un petit agent doté d'un prompt court et d'un seul jeu d'outils pour un seul sujet. La décision de changement de sujet a pris 0,5 s, contre près de 5 s lorsqu'un grand modèle la prenait, et le modèle coûteux a consommé moins de tokens.

Vérification des actions. Dans l'assistant téléphonique Pocos pour salons et studios, Giorgi Lomidze a conservé Gemini Live comme modèle vocal. Chacun de ses appels d'outil est d'abord vérifié par Jev avec des questions du type « l'abonné a-t-il confirmé l'action ? » et « l'abonné a-t-il dit au revoir ? ». Les seuils sont les suivants : l'accord est jugé fort à partir de 0,9 et faible en dessous de 0,1 ; les adieux sont jugés forts à partir de 0,75 (et seulement si la personne n'a pas entamé un nouveau sujet). Le principe : le LLM propose, Jev évalue, la logique métier décide.

Fin de tour de parole par le sens. La pause est détectée par des détecteurs acoustiques : chez Voximplant, ce sont Silero VAD, Pipecat Smart Turn et l'anti-bruit Hush. Jev ajoute une vérification sur le texte.

Si le détecteur indique « fin » alors que Jev voit une pensée inachevée, le bot reste silencieux. La latence est d'environ 250 ms : à peu près 50 ms pour la reconnaissance vocale et 200 ms pour la classification. Supreet Tare, de Taritas, pose une seule question après 350 ms de silence et obtient la réponse en 0,4 s.

Ensuite, le code attend 1,7 s en cas de « terminé » assuré (à partir de 0,75), 2,8 s en cas de doute et 4,5 s si la phrase s'interrompt sur « and », « but » ou une virgule.

Interruptions. Jay Albo, sur la plateforme Agora, obtient en un seul appel (environ 300 ms) quatre probabilités : la personne a-t-elle terminé sa pensée, demande-t-elle d'attendre, la réplique s'adresse-t-elle au bot, interrompt-elle le bot ou dit-elle simplement « hum-hum ».

Remplissage d'un formulaire. Jason Stiles a monté la ligne d'une clinique fictive sur Twilio ConversationRelay avec Deepgram et ElevenLabs. Chaque tour déclenche une seule requête de 30–35 questions. Le code extrait lui-même de la transcription des candidats (des nombres pour l'année de naissance, des expressions courtes pour le nom), et Jev choisit le bon. Il ne peut pas inventer de date : l'erreur vient toujours des propos de l'abonné. L'auteur de l'article conteste cette approche : il existe des moyens plus efficaces d'extraire les données.

Réponse coûteuse ou économique

Deepesh Jayal, d'Evalgent, répartit les réponses en trois classes : une réponse toute prête sans modèle, un modèle rapide pour un fait court, un modèle lourd pour les cas ambigus ou dont l'erreur coûte cher. À chaque tour, Jev décide si une réponse coûteuse est nécessaire. Les règles sont les suivantes :

• Une faible confiance fait monter le tour d'une classe.
• Les questions à fort coût d'erreur ne passent pas dans la classe économique, même si le classifieur est sûr de lui.
• On ne rétrograde pas la classe en cours d'appel : le gain est faible, et on risque de dégrader le contexte du modèle coûteux.

Ordre d'assemblage de la cascade

Voximplant propose cette séquence : d'abord la fin de tour de parole et les interruptions, puis le routage par sujet, ensuite le remplissage de formulaires, la vérification des actions modifiantes et le choix de la classe de modèle. Il faudra ajuster les seuils de confiance pour chaque projet. Pour les ingénieurs, la conclusion est pratique. Tout ce qui peut se ramener à une question « oui/non » ou à un choix dans une liste coûte moins cher et gagne en fiabilité si on le confie à un modèle rapide. Le grand LLM reste réservé aux cas où il faut une réponse vivante.