Adventists AI dévoile Sophon, un modèle vocal au temps de réponse annoncé de 0,31 seconde

Vous appelez un assistant vocal, commencez à préciser une adresse, mais il continue de réciter sa réponse précédente. Pour l’utilisateur, ce sont quelques secondes agaçantes. Pour l’équipe produit, c’est une raison de vérifier si le système sait écouter pendant qu’il parle. Adventists AI a présenté le modèle ouvert Sophon-Realtime-v1 avec précisément ce fonctionnement : on peut interrompre l’assistant et poursuivre la conversation. Pour la version rapide Flash, ses créateurs annoncent un premier son en 0,31 seconde.

Cette approche présente un intérêt concret pour les équipes d’assistance, les développeurs d’interfaces vocales et les fondateurs de services utilisant des bots téléphoniques. Mais il serait prématuré de choisir un modèle sur la seule base d’un chiffre de latence : il faut d’abord comprendre son comportement face aux pauses, aux précisions et aux erreurs.

Comment l’assistant décide quand parler

Sophon prend en charge le full-duplex : il écoute et parle simultanément. Cette famille repose sur un modèle de 32 milliards de paramètres. Selon la description des développeurs, il distingue une intervention terminée, une prise de parole qui se poursuit, une brève réaction de l’interlocuteur et une pause de réflexion. Une ébauche de réponse est préparée à l’avance ; si la personne continue de parler, le système l’abandonne.

Prenons une commande de livraison. Le client dit : « Livrez demain… hum, plutôt après-demain. » Pour évaluer un tel assistant, il faut vérifier qu’il attend la correction et confirme le bon jour. Si le bot a déjà commencé à répondre et que le client ajoute « après six heures », la conversation doit aussi tenir compte de cette précision. Il s’agit d’un exemple de scénario de test, et non d’un résultat confirmé de Sophon.

Les créateurs annoncent également la reconnaissance de l’intonation, des rires, des soupirs et du sarcasme grâce à DuplexJev. Pour une équipe produit, cela justifie de tester séparément les phrases ambiguës. « Ah, parfait » peut exprimer la satisfaction d’un client ou son agacement. Toutefois, la capacité à identifier le ton ne prouve pas, à elle seule, que l’assistant choisira correctement l’action suivante.

Trois versions, des compromis différents

La variante Tag privilégie l’expressivité : le modèle annote la réponse, puis un module vocal distinct restitue les rires, les soupirs et les accentuations. Flash utilise une synthèse plus rapide. La troisième version, E2E, est publiée en préversion et destinée aux expérimentations sur la génération vocale au sein de l’architecture globale.

Le document source indique, pour Tag, environ 0,6 seconde avant le premier son et 16 utilisateurs simultanés, contre 0,31 seconde et 40 utilisateurs pour Flash. Une précision essentielle figure dans le dépôt du projet : les créateurs ont mesuré la latence et la capacité en charge sur une H100 dotée de 80 Go de mémoire. Ces performances ne peuvent pas être extrapolées automatiquement à n’importe quelle carte graphique disposant de la même quantité de mémoire.

Le choix entre les versions dépend de l’usage. Pour un personnage ou un outil d’entraînement à la conversation, l’expressivité peut être utile. Pour un bref appel visant à connaître le statut d’une commande, il est plus important de vérifier la rapidité, l’intelligibilité et la justesse des actions. Le rire de l’assistant ne compense pas une erreur d’adresse.

Les vérifications à effectuer avant l’intégration au produit

Commencez par un petit ensemble de conversations propres à votre usage : une personne interrompt le bot, réfléchit longuement, change d’avis ou parle dans un environnement bruyant. Des tests distincts doivent porter sur les langues et les accents de votre public. Les résultats présentés ne permettent pas de conclure à la qualité de la parole en russe.

Mesurez le délai entre la fin de l’intervention et le premier son, le temps nécessaire pour s’arrêter lorsqu’on l’interrompt et la proportion de conversations dans lesquelles le bot a correctement retenu une précision. Effectuez ces vérifications sous la charge attendue. Un premier son rapide est de peu d’utilité si la réponse se bloque ensuite ou si le système perd le contexte après une intervention de l’utilisateur.

Pour les scénarios impliquant des actions, une autre série de vérifications s’impose : l’assistant appelle-t-il correctement les outils et confirme-t-il le résultat ? Le score Pass@1 de 48% indiqué dans le document pour le test d’appel d’outils ne justifie pas de lui confier des opérations sans vérification. Il est raisonnable de commencer par tester la consultation d’un statut et la préparation d’une action, puis d’évaluer des scénarios plus complexes.

Sophon mérite l’attention comme candidat pour un prototype de service vocal. La décision de l’adopter doit reposer sur vos enregistrements de conversations, le coût d’exploitation et le nombre de tâches menées à bien. Les comparaisons publiées par ses créateurs aident à élaborer un programme de tests ; il vous faudra vérifier vous-même si le système est prêt à interagir avec des clients.