AV-FABLE: investigadores reúnen 998 horas de vídeo para localizar deepfakes puntuales

Un equipo de investigadores vinculados a Tsinghua University ha publicado AV-FABLE, un benchmark para el análisis forense de vídeos audiovisuales largos. Incluye 16 650 pares «clip limpio — gemelo editado», con un total de 998 horas de material y 27 configuraciones de edición. Junto con él, los autores proponen el método NFSR, que aprende a encontrar manipulaciones no en el texto de las respuestas de un modelo multimodal, sino en sus rasgos internos congelados.

Por qué no basta con un veredicto de «falso o no»

Las falsificaciones reales rara vez abarcan todo el vídeo. Lo habitual es un episodio corto dentro de una grabación auténtica: una frase sustituida, un fragmento insertado, una escena alterada. Clasificar el vídeo completo no sirve de nada en este caso. Si el clip es auténtico en un 90 %, lo que hay que encontrar y mostrar al perito es precisamente ese 10 %.

Los benchmarks audiovisuales de deepfakes existentes se basan sobre todo en clips cortos de una persona hablando a cámara. Los trabajos sobre localización temporal en vídeos largos son en su mayoría exclusivamente visuales. AV-FABLE cubre ese hueco: las escenas son abiertas, los vídeos largos y las manipulaciones, dispersas.

Un detalle importante del diseño son las dos líneas temporales independientes, una de audio y otra de vídeo. Se evalúan por separado la sustitución de la voz con la imagen intacta y, a la inversa, la edición de fotogramas con el sonido original. Según los autores, al evaluar sobre una línea temporal común se ocultan parte de los errores: el modelo recibe crédito por acertar el intervalo aunque haya adivinado la modalidad equivocada.

El modelo de lenguaje calla, aunque los rasgos lo saben todo

Los autores probaron grandes modelos de lenguaje audiovisuales (AV-LLM) en modo zero-shot, es decir, mediante un prompt normal. El resultado es flojo: la detección se acerca al azar y la localización temporal es mala. Si se pregunta a estos modelos «dónde está la falsificación», no responden con fundamento.

A continuación, los investigadores tomaron los rasgos perceptivos congelados de esos mismos modelos y entrenaron encima cabezales de «lectura» supervisados. Apareció una señal forense fuerte. La conclusión: las pruebas de manipulación están codificadas en las representaciones de los AV-LLM, pero la salida lingüística no las muestra. El conocimiento existe; lo que falta es una interfaz para acceder a él.

Dos decodificadores en lugar de uno

NFSR (Native Forensics via Separated Readouts) se construye sobre esta observación. El esquema es el siguiente:

• el backbone es un AV-LLM congelado, cuyos pesos no se reentrenan;
• el decodificador de audio lee los rasgos y predice los intervalos temporales de manipulación en el sonido;
• el decodificador visual hace lo mismo con la secuencia de vídeo;
• los decodificadores son independientes, de modo que cada modalidad obtiene su propia anotación temporal.

Según los autores, NFSR logra la mejor localización audiovisual dentro del dominio y en los tres escenarios out-of-distribution. Uno de ellos es la transferencia a vídeos reservados de un benchmark externo de análisis forense de vídeos largos.

Parámetros del benchmark y del método

• Nombre: AV-FABLE, benchmark de doble línea temporal para manipulaciones dispersas en vídeos audiovisuales largos y abiertos.
• Volumen: 16 650 pares «original — manipulación», 998 horas.
• Ediciones: 27 configuraciones de edición.
• Anotación: líneas temporales separadas para audio y vídeo.
• Nivel base: los AV-LLM en zero-shot ofrecen una detección cercana al azar y una localización débil.
• Método: NFSR, con rasgos congelados de AV-LLM y decodificadores temporales de audio y de vídeo independientes.
• Evaluación: liderazgo in-domain y en tres escenarios OOD, incluido un benchmark externo de vídeos largos.
• Publicación: los autores prometen abrir el dataset, el código y los pesos del modelo. El preprint es arXiv 2610.33413 y el trabajo suma 25 upvotes en Hugging Face Daily Papers.

Para las plataformas y redacciones que verifican contenido de vídeo, el enfoque es pragmático. No hace falta entrenar desde cero un enorme modelo multimodal: se puede tomar un AV-LLM ya existente, congelarlo y añadir decodificadores ligeros. Las líneas temporales separadas dan al verificador un resultado concreto, «sustitución en el audio en tal minuto», en lugar de un genérico «sospechoso». Si los pesos y los datos se publican en abierto, como se ha prometido, el benchmark probablemente se convertirá en un estándar de trabajo para comparar detectores de falsificaciones largas. También mostrará con qué rapidez crece el retraso de la defensa frente a las herramientas generativas de edición.