L'agent vidéo StreamVibe de Google devance les autres modèles de 10,7 % sur le timing et la qualité des réponses

Une équipe de chercheurs de Google, de Stanford, d'Oxford et de plusieurs universités américaines a présenté StreamVibe, un agent vidéo qui observe une personne en train de cuisiner ou de monter un meuble et décide seul du moment où il faut intervenir. Son modèle entraîné, StreamVibe-VL, choisit chaque seconde entre le silence et une réplique, et dépasse les autres modèles de 10,7 % sur le timing et la qualité des réponses : autrement dit, il choisit mieux le moment du conseil et le formule mieux. Un système de mémoire supplémentaire apporte encore 12,3 % à l'interaction proactive. La tâche reste toutefois très difficile pour les IA actuelles, surtout sur les vidéos longues.

Ce que les assistants vidéo actuels ne savent pas faire

Selon les auteurs, les assistants vidéo existants sont calibrés pour des commandes précises, du type « préviens-moi quand l'eau bout ». Ils saisissent mal les intentions non exprimées. Autre faiblesse : la prise en compte de ce qui a déjà été fait, l'assistant répétant ses conseils ou répondant trop tard. Et si l'utilisateur modifie sa demande en cours de tâche, le système continue souvent de suivre la demande initiale. StreamVibe, lui, doit comprendre même des requêtes floues comme « aide-moi si je rencontre des difficultés ».

L'agent distingue trois types d'intentions : explicites, implicites et évolutives. Pour mesurer le problème, l'équipe a constitué un benchmark d'environ 4 100 exemples, fondé sur plus de 183 heures d'enregistrements d'activités quotidiennes et d'utilisation de logiciels. Gemini 2.5 Flash proposait quand aider et quoi dire, et quatre évaluateurs humains devaient approuver chaque exemple à l'unanimité. Le test comporte trois niveaux : instructions claires, objectifs flous et demandes qui changent avec le temps. Dans l'un des exemples, l'utilisateur démonte une pelleteuse jouet, demande à être informé de l'avancement, puis, trois minutes plus tard, passe au contrôle qualité.

Comment fonctionne le modèle et ce qu'il a montré

Sur ces données, les chercheurs ont entraîné StreamVibe-VL, apparemment à partir de Qwen3.5-9B d'Alibaba. Chaque seconde, le modèle décide de se taire ou de parler. La seconde étape d'entraînement repose sur l'apprentissage par renforcement : elle rend le modèle plus réservé, pour qu'il n'interrompe pas sans cesse l'utilisateur. Un système de mémoire distinct suit les demandes encore non satisfaites et les étapes déjà accomplies. Ce qu'il faut dire, et quand, reste néanmoins décidé par le modèle lui-même.

D'après les auteurs, StreamVibe-VL fait 10,7 % mieux que les autres modèles sur le timing et la qualité des réponses. Le système de mémoire ajoute encore 12,3 % à l'interaction proactive et réduit, entre autres, les répliques superflues. StreamVibe-VL se détache nettement du modèle de base et des autres systèmes ouverts, mais Gemini 3.8 Flash, le modèle propriétaire de Google, reste devant dans plusieurs tests. Selon l'article, l'entraînement spécialisé ne dégrade pas la compréhension vidéo générale.

Les exemples de l'article et de la page du projet montrent la différence de façon parlante. Dans un tutoriel GIMP sur la conversion d'une photo en noir et blanc, le modèle de comparaison JoyAI affirme que l'image finale est déjà enregistrée, alors que l'utilisateur ne l'a pas encore ouverte. StreamVibe-VL suggère à temps l'étape suivante : d'abord « Couleurs », puis « Désaturer ». Dans une vidéo de roulés de pain de mie à la confiture, les autres modèles se contentent de décrire ce qui se passe à l'écran, par exemple que le pain est aplati au rouleau, tandis que StreamVibe-VL conseille de couper d'abord la croûte.

Là où le système craque

La partie la plus importante de l'étude concerne ses limites. Quand les modèles doivent seulement évaluer, à des moments ponctuels, si un conseil est pertinent, ils s'en sortent souvent bien. Mais lorsque le modèle traite la vidéo entière et s'appuie sur ses propres réponses passées, la qualité chute pour tous les systèmes testés : les erreurs s'accumulent. La métrique de contenu des réponses perd jusqu'à 61,5 % quand elle repose sur l'historique du modèle. Au-delà de cinq minutes de vidéo, les modèles choisissent rarement le bon moment, et suivent particulièrement mal une instruction modifiée sur la durée. La couche de mémoire réduit surtout le nombre d'interventions inutiles, sans résoudre le problème du timing.

Les auteurs reconnaissent eux-mêmes que les situations réelles sont probablement plus complexes que le cadre du test. À l'avenir, ils veulent étudier comment les préférences de l'utilisateur et son environnement s'influencent mutuellement au fil du temps.

Contexte :

Google avance depuis longtemps vers l'analyse vidéo active

En septembre, Google a présenté l'analyse vidéo agentique dans Gemini : le modèle décide lui-même quelles scènes examiner plus en détail. Récemment, avec Gemini 4 Argon, l'entreprise a montré comment l'IA suit de longues chaînes d'actions dans des vidéos de robots et repère les erreurs. StreamVibe y ajoute la capacité de comprendre ce qui se passe à l'instant présent et de reconnaître quand une aide est réellement nécessaire.

Des travaux voisins pointent des faiblesses similaires. Sur ProactiveBench (un test de la capacité à poser des questions de clarification), les modèles, faute d'informations visuelles, devinent ou refusent de répondre plus souvent qu'ils ne demandent des précisions. Un autre benchmark de compréhension vidéo a mis au jour de sérieuses lacunes en raisonnement spatial et temporel. Et pour les agents autonomes, le dialogue lui-même peut dégrader le résultat, comme l'ont montré des chercheurs de Microsoft.

La conclusion pratique pour les développeurs : un assistant vidéo proactif doit pour l'instant être conçu avec une mémoire explicite de la tâche et un plafond sur la fréquence des interventions. Compter sur un seul modèle pour garder le fil d'une longue vidéo, c'est encore prématuré.