MOSS-Live réunit voix, vision et tâches en arrière-plan dans un seul assistant

Échanger avec la plupart des assistants vocaux ressemble encore à une communication par talkie-walkie. L’humain parle d’abord, puis la machine. Si l’on glisse un « mhm », le système peut interrompre sa réponse ; si on l’interrompt réellement, il perd souvent le contexte et recommence depuis le début. MOSS-Live tente précisément de supprimer cette mécanique : l’assistant écoute, parle et exécute des tâches simultanément, sans transformer le dialogue en une file de fragments audio.

L’équipe OpenMOSS a ouvert MOSS-Live en version bêta, avec notamment un accès via API. Le modèle accepte non seulement le son, mais aussi les données visuelles provenant d’une caméra ou d’un écran, prend en charge la traduction simultanée et peut poursuivre une longue opération en arrière-plan pendant que la conversation continue. Cela le rend intéressant non comme un énième chat vocal, mais comme une base pour des interfaces où parole, image et actions sont réunies au sein d’une même session.

Ce que change le duplex intégral

Imaginons un assistant de support technique. L’utilisateur montre un routeur à la caméra et demande où brancher le câble. L’assistant commence son explication, mais la personne l’interrompt : « Attendez, j’ai un autre connecteur. » Un système classique n’entendra la remarque qu’à la fin de sa réponse, ou s’arrêtera en oubliant où il en était. MOSS-Live revendique un comportement plus naturel : le modèle distingue les signaux d’attention d’une véritable interruption, respecte les pauses et reprend la conversation au bon endroit après la précision apportée.

Pour un produit, il ne s’agit pas d’une fonction cosmétique. Une interruption mal interprétée détruit un scénario vocal aussi vite qu’un bouton bloqué ruine une interface graphique. Le duplex intégral peut servir aux interprètes, aux applications éducatives, au support, aux assistants affichés à l’écran et aux services destinés aux personnes qui trouvent peu pratique de passer constamment de la voix au clavier.

Le canal visuel élargit le nombre de scénarios possibles. L’utilisateur peut montrer une pièce défectueuse, une maquette d’application ou un tableau à l’écran, puis commenter oralement ce qu’il voit. Les tâches en arrière-plan permettent, par exemple, de lancer l’analyse d’un document tout en continuant à préciser les exigences, sans attendre en silence la fin de l’opération.

L’élément important est une gamme, pas un modèle isolé

OpenMOSS développe plusieurs axes : MOSS-TTS pour la synthèse et le clonage de la parole, MOSS-Audio pour la reconnaissance et l’analyse du son, MOSS-VL pour les images et la vidéo, ainsi que MOSS-Image pour la génération d’images. MOVA a également été publié séparément : ce modèle produit de la vidéo avec du son, et son code ainsi que ses poids sont accessibles dans le dépôt du projet.

Cette gamme esquisse une architecture possible pour un futur produit : des modèles spécialisés sont réunis autour d’une interface interactive commune. Le développeur n’est pas obligé de confier toutes les fonctions à un seul modèle gigantesque. La reconnaissance vocale, la vision, la synthèse de la voix et la génération de médias peuvent être réparties entre différents composants, dont la latence peut être mesurée et qui peuvent être remplacés indépendamment.

Ce qui ne peut pas encore être considéré comme prêt

Une partie des projets a été présentée lors d’un AMA de l’équipe sur Reddit. Elle comprend MOSS-Anime, un nouveau modèle de retouche d’images, MOSS-TTS 2.0 avec contrôle des émotions et un générateur compact de vidéos avec son destiné aux cartes graphiques grand public. Ce sont des indications utiles sur l’orientation du développement, mais pas des produits finalisés. Tant que les poids, la licence, les besoins en mémoire et des tests indépendants n’ont pas été publiés, il serait risqué de bâtir une feuille de route sur ces promesses.

Il convient également de commencer par un prototype avec MOSS-Live lui-même. Pour un produit vocal, les démonstrations spectaculaires ne suffisent pas : il faut aussi examiner la latence de réponse, la qualité de détection des interruptions, la robustesse au bruit, le coût par minute, la couverture linguistique et les règles de traitement des flux audio provenant de la caméra et du microphone.

L’étape pratique est simple : choisir un scénario court — par exemple, un accompagnement vocal lors d’un travail à l’écran — puis le tester avec de véritables interruptions, pauses et tâches en arrière-plan. Si l’API conserve le contexte de manière stable sans introduire de latence perceptible, MOSS-Live peut devenir une couche utile pour un produit multimodal. Le reste de la gamme annoncée ne pourra raisonnablement être évalué qu’après les sorties et des tests reproductibles.