Le benchmark EvaOmni a testé 24 modèles omni : le leader atteint 79,4%, mais seulement 35,1% en grounding

Les auteurs du benchmark EvaOmni proposent d'évaluer les modèles omni non pas sur une seule option de réponse choisie, mais sur toute la chaîne de raisonnement. Le jeu de données comprend 392 vidéos et 1027 paires « question — réponse » annotées manuellement par des humains. Le modèle doit renvoyer sa réponse ainsi que les intervalles temporels sur lesquels il s'est appuyé, dans l'audio comme dans la vidéo. Vingt-quatre systèmes ont été testés : 7 à poids ouverts et 17 propriétaires. Gemini3.7-Flash obtient le meilleur résultat : 79,4% de précision, mais seulement 35,1% sur la métrique Bottleneck Grounded Score.

Pourquoi le benchmark a besoin de preuves

La plupart des tests de raisonnement audiovisuel reposent sur des questions à choix multiples. Le modèle marque un point pour la bonne lettre, et c'est tout. Une telle évaluation ne permet pas de savoir s'il a trouvé le bon son et la bonne image, ou s'il a deviné à partir de la formulation de la question. Les auteurs pointent un second problème : les raccourcis textuels et unimodaux. Si l'on peut trouver la réponse en regardant uniquement l'image ou en lisant uniquement la question, le benchmark ne mesure pas ce qu'il prétend mesurer.

EvaOmni repose donc sur une annotation en plusieurs étapes. Des experts commencent par marquer les preuves audio et visuelles, puis construisent des distracteurs à partir de la vidéo elle-même. Ensuite, des humains vérifient que chaque question satisfait des critères stricts. Le dernier filtre est confié à des modèles : ils écartent les questions que l'on peut résoudre à partir du texte seul ou d'une seule modalité. Les questions couvrent 15 capacités regroupées en trois niveaux : recherche et localisation, compréhension de base, raisonnement complexe.

Comment le grounding est calculé

En plus de la réponse, le modèle renvoie les intervalles des fragments qui la justifient. Pour les évaluer, les auteurs ont introduit deux métriques. Le Coverage Grounded Score (C.G.) indique la part des preuves annotées par les experts que le modèle a retrouvée. Le Bottleneck Grounded Score (B.G.) pénalise une mauvaise localisation temporelle dans l'une ou l'autre des modalités : un point faible en audio ou en vidéo tire le score vers le bas. Les deux métriques tiennent compte, en parallèle, de l'exactitude de la réponse.

Chiffres clés pour le leader, Gemini3.7-Flash :

• précision globale : 79,4% ;
• C.G. : 70,8% ;
• B.G. : 35,1% ;
• Level 3 (raisonnement complexe) : précision de 79,1%, B.G. de 12,3%.

Sur les trois indicateurs globaux, Gemini3.7-Flash devance les concurrents, qu'ils soient ouverts ou propriétaires. Mais l'écart entre ses propres résultats est plus marqué que l'écart entre les modèles. Sur les tâches complexes, elle répond correctement presque aussi souvent que sur l'ensemble du jeu de données, alors que ses intervalles temporels ne coïncident avec ceux des experts que dans une faible proportion des cas.

Cet écart peut s'interpréter de plusieurs façons. Le modèle peut comprendre la scène dans son ensemble, sans parvenir à indiquer précisément où se trouvent, dans le flux, les sons et les images pertinents. Il peut aussi subsister des contournements que le filtrage n'a pas détectés. L'article ne fournit que des chiffres agrégés, qui ne permettent pas de déterminer quelle cause prédomine. Les auteurs eux-mêmes concluent avec prudence que même les modèles omni les plus puissants ont encore une marge de progression en raisonnement audiovisuel ancré. Il faut aussi garder l'échelle en tête : 1027 questions constituent un jeu de données compact, et le B.G. est par construction une métrique très stricte.

Ce qu'il faut changer dans l'évaluation et les produits

Pour les équipes qui construisent des produits autour de la vidéo et du son (analyse d'appels visio, exploitation d'enregistrements de caméras, assistance par vidéos explicatives), la conclusion est pragmatique. La précision sur un choix de réponse prédit mal si l'on peut se fier au modèle quand il faut vérifier son affirmation. Si la réponse alimente un rapport, un document à valeur juridique ou la décision d'un opérateur, exigez du modèle des timecodes distincts pour la parole et pour l'image, et vérifiez-les au moins sur un échantillon.

On peut monter sur ses propres données une mini-version du même dispositif : 50–100 exemples annotés avec des intervalles, une évaluation à la fois de la réponse et de la localisation, et un calcul séparé pour la modalité la plus faible. Un tel test montre vite dans quels cas le modèle répond avec assurance mais ne peut pas montrer d'où il tire sa réponse. Enfin, l'interface gagne à afficher un lien vers le fragment, afin que l'utilisateur vérifie la conclusion en quelques secondes plutôt que de revoir toute la vidéo.