Google apprend à l'agent vidéo StreamVibe à décider seul quand intervenir : +10,7%

Une équipe de chercheurs de Google, Stanford, Oxford et de plusieurs universités américaines présente StreamVibe, un agent vidéo qui décide seul du moment où intervenir. Il observe une personne via un flux vidéo, par exemple pendant qu'elle cuisine ou démonte un jouet, et ne parle que lorsque l'aide est réellement nécessaire. Le chiffre clé de l'étude : 10,7%. C'est l'avance de StreamVibe-VL sur les autres modèles, mesurée en combinant deux indicateurs : le bon timing de la réplique et son utilité. Mais l'étude montre aussi l'envers du décor : aucun des systèmes testés n'est encore capable de garder longtemps le fil d'une tâche.

En quoi un assistant vidéo diffère d'un assistant classique

Les assistants vidéo existants sont calibrés pour des commandes précises, du genre « préviens-moi quand l'eau bout ». Ils peinent sur trois points pourtant évidents pour un humain :

• les intentions non exprimées : la personne demande « aide-moi si j'ai des difficultés » sans nommer d'étapes précises ; • la mémoire de ce qui a été fait : l'assistant répète un conseil ou arrive trop tard, faute de se rappeler ce qui s'est déjà passé ; • le changement de demande en cours de route : l'utilisateur change d'avis, mais le modèle reste accroché à l'instruction initiale.

Exemple tiré de l'article : une personne démonte un excavateur jouet et demande à être informée de sa progression, puis, trois minutes plus tard, demande de vérifier la qualité du montage. L'assistant doit repérer le changement de tâche et s'y adapter.

Comment le test a été construit et le modèle entraîné

Pour mesurer le problème, les auteurs ont constitué un benchmark (un jeu de tâches de test) d'environ 4100 exemples. Le matériau provient de plus de 183 heures de vidéos d'activités quotidiennes et d'enregistrements de travail sur des logiciels. Le modèle Gemini 2.5 Flash proposait à quel moment aider et quoi dire. Quatre évaluateurs humains vérifiaient ensuite chaque exemple, qui n'était retenu qu'en cas d'approbation unanime. Le test comporte trois niveaux : instructions précises, objectifs flous et demandes qui évoluent dans le temps.

StreamVibe-VL a été entraîné sur ces données. Selon la source, elle reposerait sur le modèle ouvert Qwen3.5-9B d'Alibaba. Chaque seconde, le modèle décide de se taire ou de parler. Une seconde phase d'apprentissage par renforcement, c'est-à-dire des récompenses et des pénalités selon le comportement, rend le modèle plus réservé, afin qu'il n'interrompe pas la personne à tout bout de champ.

Un système de mémoire distinct fonctionne en parallèle. Il tient la liste des demandes non satisfaites et note les étapes terminées. La décision de parler, et de ce qu'il faut dire, reste au modèle lui-même.

Ce que montrent les chiffres, et où tout se grippe

D'après les auteurs, StreamVibe-VL dépasse nettement son modèle de base et les autres modèles ouverts. Le système de mémoire ajoute 12,3% à la proactivité et, entre autres, réduit les interventions superflues. L'entraînement spécialisé ne dégrade pas la compréhension générale de la vidéo. Mais le modèle propriétaire Gemini 3.8 Flash de Google fait tout de même mieux dans plusieurs tests.

La principale limite est apparue lors des essais sur de longues vidéos :

• quand le modèle doit seulement juger, à des moments isolés, si une réplique est pertinente, il tranche souvent correctement ; • quand il regarde la vidéo en entier et s'appuie sur ses propres réponses passées, les erreurs s'accumulent et la qualité baisse pour tous les systèmes testés ; • la métrique clé sur le contenu des réponses recule jusqu'à 61,5% à cause de l'historique propre au système ; • sur les vidéos de plus de cinq minutes, les modèles choisissent rarement le bon moment et suivent particulièrement mal une instruction modifiée.

Les exemples de l'article rendent l'écart tangible. Dans un tutoriel de conversion de photo en noir et blanc sous GIMP, le modèle concurrent JoyAI a affirmé que l'image finale était déjà enregistrée, alors que l'utilisateur ne l'avait même pas ouverte. StreamVibe-VL, elle, a indiqué la bonne étape suivante au bon moment : d'abord « Couleurs », puis « Désaturer ». Dans une recette de roulés de pain de mie à la confiture, les autres modèles se contentaient de décrire ce qui se passait à l'écran, par exemple que le pain était étalé au rouleau. StreamVibe-VL a conseillé de couper d'abord la croûte.

Ce que cela apporte aux développeurs

Les auteurs reconnaissent que les situations réelles sont plus complexes que celles du laboratoire, et souhaitent étudier à l'avenir comment les préférences de l'utilisateur et l'environnement s'influencent mutuellement. Pour ceux qui conçoivent des assistants pour lunettes connectées, des programmes de formation ou des outils de support, la conclusion est pragmatique. Une mémoire dédiée aux tâches aide, mais ne règle pas tout le problème. L'accumulation d'erreurs sur les longues sessions reste le principal goulot d'étranglement.

Ce travail s'inscrit dans la lignée des recherches de Google. En septembre, l'entreprise a présenté dans Gemini une analyse vidéo agentique, où le modèle décide lui-même quelles scènes examiner de plus près. Gemini 4 Argon a récemment montré comment l'IA suit de longues séquences d'actions dans des vidéos de robots et y repère des erreurs. D'autres équipes obtiennent des résultats voisins : sur le test ProactiveBench, les modèles devinent souvent ou refusent de répondre au lieu de poser une question de clarification. Des chercheurs de Microsoft ont montré que, chez les agents autonomes, le dialogue lui-même peut dégrader la qualité du travail.