Omni-Woodpecker réduit les hallucinations des LLM omni sans réentraînement : +12,9 sur CMM

Les modèles omni, qui écoutent le son et regardent la vidéo en même temps, savent désormais raisonner de façon convaincante, mais se trompent tout aussi convaincamment. Une équipe de l'université de Nankin (Zijian Liu, Chaoyou Fu, Yan Yang, Caifeng Shan, Ran He) propose Omni-Woodpecker, ou OWP. Cette méthode réduit les hallucinations intermodales sans aucun réentraînement. Sur Qwen2.5-Omni-7B, elle ajoute 12,9 points sur le benchmark CMM et 8,6 sur AVHBench. L'article est paru sur arXiv sous le numéro 2610.27103 et figure dans les Hugging Face Daily Papers.

Où le lien entre son et image se rompt dans les modèles omni

Une hallucination intermodale survient lorsque les pistes audio et visuelle disent des choses différentes, ou lorsque l'une d'elles ne fournit pas d'indice net. Le modèle ne retient pas ce qui est réellement présent dans l'entrée, mais ce qui « arrive d'habitude » statistiquement : les associations familières d'objets et de sons issues des données d'entraînement l'emportent sur les faits de la vidéo concernée.

La plupart des remèdes existants agissent au niveau de la sortie : ils corrigent la distribution des tokens pendant le décodage ou filtrent la réponse déjà générée. Les auteurs d'OWP y voient un traitement des symptômes. Au moment du décodage, les preuves tirées de l'entrée et les a priori appris sont déjà mélangés dans les représentations fusionnées, et il est difficile de les démêler en sortie.

Trois étapes dans les états cachés

OWP déplace l'intervention de la sortie vers les représentations internes et procède en trois étapes :

1. Détection des conflits. La méthode repère les contradictions entre modalités en comparant des vues de l'entrée propres à chaque modalité et complémentaires entre elles. 2. Décomposition orthogonale. Dans les états cachés, la méthode isole la composante qui s'appuie sur des preuves réelles (grounding evidence) et la sépare des a priori concurrents. 3. Rééquilibrage adaptatif. Les représentations fusionnées sont réajustées : l'influence des a priori trompeurs est atténuée, tandis que les preuves ignorées sont renforcées. Tout cela se produit avant le décodage.

La logique est la suivante : si l'on parvient à isoler dans l'espace latent la direction selon laquelle le modèle « extrapole », on peut l'affaiblir de façon ciblée, sans toucher aux poids ni lancer un nouveau cycle d'entraînement. D'où le qualificatif training-free, qui compte plus pour les praticiens que n'importe quelle métrique : il ne faut ni annotation, ni heures de GPU pour un fine-tuning.

Ce que montrent les mesures

Les auteurs ont testé la méthode sur deux architectures et plusieurs jeux de tâches :

• Qwen2.5-Omni-7B, benchmark CMM : +12,9 points.
• Qwen2.5-Omni-7B, benchmark AVHBench : +8,6 points.
• Qwen2.5-Omni-7B, quatre benchmarks généraux de raisonnement OLLM : gain constant de 0,67 à 2,25 points.
• VideoLLaMA2-AV, les mêmes deux benchmarks d'hallucinations : +4,6 et +3,9 points.

Le rapport entre ces résultats est révélateur. Sur les tests spécialisés dans les hallucinations, le gain est à deux chiffres ; sur les tâches générales de raisonnement, il est modeste mais jamais négatif. La suppression des a priori n'abîme donc pas les capacités du modèle, ce qui est un coût fréquent pour ce type de méthodes. Le transfert vers VideoLLaMA2-AV, d'architecture différente, indique que l'approche n'est pas liée à la conception de Qwen, même si le gain y est plus faible.

À qui cela peut servir dès maintenant

Le code est publié dans le dépôt Omni-Woodpecker (environ 94 étoiles au moment de la publication), ce qui permet de tester la méthode sur sa propre stack. Les équipes qui bâtissent sur des modèles omni des produits où l'erreur coûte cher en profiteront le plus : analyse d'appels vidéo et d'enregistrements de réunions, vidéosurveillance avec son, descriptions automatiques de vidéos, assistants de veille médias. Dans ces cas, le modèle « entend » le plus souvent ce qui n'est pas dans l'image, et inversement.

La marche à suivre est simple. D'abord, passer OWP sur ses propres données, avec des audio et vidéo délibérément en conflit, et pas seulement sur les benchmarks publics. Ensuite, mesurer la latence et la consommation de mémoire : l'analyse des conflits entre modalités ajoute probablement du calcul à l'inférence. Enfin, comparer avec les méthodes de décodage de la génération précédente, car on peut les combiner avec une intervention sur les états cachés. Les expériences de l'article se limitent à des modèles de classe 7B ; le comportement de la méthode sur des systèmes omni plus grands devra être établi par des vérifications indépendantes.