AV-FABLE : des chercheurs rassemblent 998 heures de vidéo pour traquer les deepfakes ponctuels

Une équipe de chercheurs liée à Tsinghua University a publié AV-FABLE, un benchmark d'analyse forensique pour les longues vidéos audio-visuelles. Il comprend 16 650 paires « vidéo propre – double retouché », soit 998 heures de matériel et 27 configurations de modification. Les auteurs y associent une méthode, NFSR. Elle apprend à repérer les manipulations non pas dans le texte des réponses d'un modèle multimodal, mais dans ses représentations internes gelées.

Un verdict « faux ou pas » ne suffit pas

Les vrais montages couvrent rarement toute la vidéo. Il s'agit plus souvent d'un court épisode au milieu d'un enregistrement authentique : une phrase remplacée, un fragment inséré, une scène modifiée. Une classification au niveau de la vidéo entière est ici inutile. Une vidéo est authentique à 90%, et ce sont les 10% restants qu'il faut trouver et montrer à l'expert.

Les benchmarks de deepfakes audio-visuels existants reposent surtout sur de courts clips de type « tête parlante ». Les travaux de localisation temporelle dans les longues vidéos sont, pour l'essentiel, purement visuels. AV-FABLE comble cet écart : scènes ouvertes, vidéos longues, manipulations clairsemées.

Un choix de conception important : deux timelines indépendantes, l'une pour l'audio, l'autre pour la vidéo. Une voix substituée sur une image intacte et, à l'inverse, des images retouchées sous un son d'origine sont évaluées séparément. Selon les auteurs, une évaluation sur une timeline commune masque une partie des erreurs : le modèle est crédité d'une détection dans l'intervalle alors qu'il s'est trompé de modalité.

Le modèle de langage se tait, alors que ses représentations savent

Les auteurs ont testé des grands modèles de langage audio-visuels (AV-LLM) en zero-shot, c'est-à-dire via un prompt classique. Le résultat est faible : la détection est proche du hasard et la localisation temporelle médiocre. Si on demande à ces modèles « où est le faux », ils ne répondent pas sur le fond.

Les chercheurs ont ensuite pris les représentations perceptives gelées des mêmes modèles et entraîné par-dessus des « têtes de lecture » supervisées. Un fort signal forensique est apparu. Conclusion : les indices de manipulation sont bien encodés dans les représentations des AV-LLM, mais la sortie linguistique ne les exprime pas. Le savoir existe, l'interface pour y accéder non.

Deux décodeurs au lieu d'un

NFSR (Native Forensics via Separated Readouts) s'appuie sur cette observation. Le schéma est le suivant :

• backbone : une AV-LLM gelée, dont les poids ne sont pas réentraînés ;
• un décodeur audio lit les représentations et prédit les intervalles temporels de manipulation dans le son ;
• un décodeur visuel fait de même pour la piste vidéo ;
• les décodeurs sont séparés, de sorte que chaque modalité obtient sa propre annotation temporelle.

Selon les auteurs, NFSR obtient la meilleure localisation audio-visuelle in-domain et dans les trois scénarios out-of-distribution. L'un d'eux consiste en un transfert vers des vidéos mises de côté, issues d'un benchmark externe de forensique de vidéos longues.

Paramètres du benchmark et de la méthode

• Nom : AV-FABLE, benchmark à double timeline pour les manipulations clairsemées dans de longues vidéos audio-visuelles en conditions ouvertes.
• Volume : 16 650 paires « original – manipulation », 998 heures.
• Retouches : 27 configurations d'édition.
• Annotation : timelines distinctes pour l'audio et la vidéo.
• Référence : les AV-LLM en zero-shot offrent une détection proche du hasard et une localisation faible.
• Méthode : NFSR, avec représentations gelées d'AV-LLM et décodeurs temporels audio et visuel séparés.
• Évaluation : première place in-domain et dans trois scénarios OOD, dont un benchmark externe de vidéos longues.
• Publication : les auteurs promettent d'ouvrir le dataset, le code et les poids du modèle. Preprint : arXiv 2610.33413, avec 25 upvotes sur Hugging Face Daily Papers.

Pour les plateformes et les rédactions qui vérifient des contenus vidéo, l'approche est pragmatique. Inutile d'entraîner un énorme modèle multimodal from scratch : on peut prendre une AV-LLM existante, la geler et ajouter des décodeurs légers. Les timelines séparées donnent au vérificateur un résultat concret, « substitution dans le son à telle minute », plutôt qu'un vague « suspect ». Si les poids et les données sont bien publiés comme promis, le benchmark deviendra très probablement la référence de travail pour comparer les détecteurs de falsifications longues. Il montrera aussi à quelle vitesse les défenses prennent du retard sur les outils génératifs d'édition.