AV-FABLE: investigadores reúnen 998 horas de video para detectar deepfakes puntuales

Un equipo de investigadores vinculado a la Universidad de Tsinghua publicó AV-FABLE, un benchmark forense para videos audiovisuales largos. Incluye 16.650 pares «clip original-doble editado», con un total de 998 horas de material y 27 configuraciones de edición. Junto con el benchmark, los autores proponen el método NFSR, que aprende a localizar manipulaciones no en el texto de las respuestas del modelo multimodal, sino en sus rasgos internos congelados.

Por qué no basta con el veredicto «falso o no»

Las falsificaciones reales rara vez abarcan todo el video. Lo más común es un episodio breve dentro de una grabación auténtica: una frase sustituida, un fragmento insertado, una escena alterada. La clasificación a nivel de video completo no sirve en estos casos. Si un clip es 90% real, lo que hay que localizar y mostrar al experto es justamente ese 10%.

Los benchmarks de deepfakes audiovisuales existentes se basan principalmente en clips cortos de cabezas parlantes. Los trabajos sobre localización temporal en videos largos son en su mayoría visuales. AV-FABLE cubre esa brecha: escenas abiertas, videos largos, manipulaciones dispersas.

Un detalle clave del diseño son las dos líneas de tiempo independientes, una para audio y otra para video. La sustitución de voz con imagen intacta y, a la inversa, la edición de fotogramas con audio original, se evalúan por separado. Según los autores, al evaluar sobre una línea de tiempo conjunta se ocultan algunos errores: el modelo recibe el acierto por caer dentro del intervalo correcto aunque haya identificado la modalidad equivocada.

El modelo de lenguaje guarda silencio, aunque sus rasgos lo saben todo

Los autores probaron modelos de lenguaje grandes audiovisuales (AV-LLM) en modo zero-shot, es decir, mediante un prompt estándar. El resultado es débil: la detección se acerca al azar y la localización temporal es pobre. Si se les pregunta a estos modelos «dónde está la falsificación», no responden de manera sustantiva.

Después, los investigadores tomaron los rasgos perceptivos congelados de esos mismos modelos y entrenaron encima «cabezas lectoras» supervisadas. Encontraron una señal forense fuerte. La conclusión: la evidencia de manipulación está codificada en las representaciones de las AV-LLM, pero la salida en lenguaje no la muestra. El conocimiento existe; lo que falta es una interfaz para acceder a él.

Dos decodificadores en lugar de uno

Sobre esta observación se construye NFSR (Native Forensics via Separated Readouts). El esquema es el siguiente:

• backbone: una AV-LLM congelada, cuyos pesos no se reentrenan;
• decodificador de audio: lee los rasgos y predice los intervalos temporales de manipulación en el sonido;
• decodificador visual: hace lo mismo para el video;
• los decodificadores son independientes, por lo que cada modalidad recibe su propia marca temporal.

Según informan los autores, NFSR muestra la mejor localización audiovisual tanto dentro del dominio como en los tres escenarios out-of-distribution. Uno de ellos consiste en transferir el modelo a videos de retención de un benchmark externo de forense de videos largos.

Parámetros del benchmark y del método

• Nombre: AV-FABLE, benchmark de doble línea de tiempo para manipulaciones dispersas en videos audiovisuales largos y abiertos.
• Volumen: 16.650 pares «original-manipulación», 998 horas.
• Ediciones: 27 configuraciones de edición.
• Etiquetado: líneas de tiempo separadas para audio y video.
• Línea base: las AV-LLM en zero-shot ofrecen una detección cercana al azar y una localización débil.
• Método: NFSR con rasgos congelados de AV-LLM y decodificadores temporales independientes para audio y video.
• Evaluación: liderazgo dentro del dominio y en tres escenarios OOD, incluyendo un benchmark externo de videos largos.
• Publicación: prometen abrir el dataset, el código y los pesos del modelo. El preprint está en arXiv 2610.33413, y el trabajo cuenta con 25 votos a favor en Hugging Face Daily Papers.

Para plataformas y redacciones que verifican contenido de video, el enfoque es pragmático. No es necesario entrenar un enorme modelo multimodal desde cero: se puede tomar una AV-LLM ya existente, congelarla y añadir decodificadores livianos. Las líneas de tiempo separadas le dan al verificador un resultado concreto: «sustitución de audio en tal minuto» en lugar de un «sospechoso» genérico. Si los pesos y los datos se publican en abierto, como se promete, el benchmark probablemente se convertirá en un estándar de trabajo para comparar detectores de falsificaciones largas. Y también mostrará con qué rapidez crece la brecha entre la defensa y las herramientas generativas de edición.