AV-FABLE: pesquisadores reúnem 998 horas de vídeo para detectar deepfakes pontuais

Uma equipe de pesquisadores ligada à Universidade Tsinghua publicou o AV-FABLE, um benchmark forense para vídeos audiovisuais longos. Ele reúne 16.650 pares «clipe original-dublê editado», somando 998 horas de material e 27 configurações de edição. Junto com o benchmark, os autores propõem o método NFSR, que aprende a localizar manipulações não no texto das respostas do modelo multimodal, mas em suas características internas congeladas.

Por que o veredito «falso ou não» não é suficiente

Falsificações reais raramente cobrem o vídeo inteiro. O mais comum é um episódio curto dentro de uma gravação autêntica: uma frase substituída, um trecho inserido, uma cena alterada. A classificação no nível do vídeo completo não ajuda nesses casos. Se um clipe é 90% real, são justamente esses 10% que precisam ser localizados e mostrados ao especialista.

Os benchmarks de deepfake audiovisual existentes são, em sua maioria, baseados em clipes curtos de «talking head». Os trabalhos sobre localização temporal em vídeos longos são majoritariamente visuais. O AV-FABLE preenche essa lacuna: cenas abertas, vídeos longos, manipulações esparsas.

Um detalhe importante do design são as duas linhas do tempo independentes, uma para áudio e outra para vídeo. A substituição de voz com a imagem intacta e, inversamente, a edição de quadros com o áudio original, são avaliadas separadamente. Segundo os autores, ao avaliar em uma linha do tempo conjunta, alguns erros ficam escondidos: o modelo recebe crédito por acertar o intervalo, mesmo tendo identificado a modalidade errada.

O modelo de linguagem fica em silêncio, embora as características saibam tudo

Os autores testaram grandes modelos de linguagem audiovisuais (AV-LLMs) em modo zero-shot, ou seja, por meio de um prompt comum. O resultado é fraco: a detecção fica próxima do acaso e a localização temporal é ruim. Se perguntadas «onde está a falsificação», essas modelos não respondem de forma substancial.

Em seguida, os pesquisadores pegaram as características perceptuais congeladas desses mesmos modelos e treinaram «cabeças de leitura» supervisionadas sobre elas. Encontraram um sinal forense forte. A conclusão: as evidências de manipulação estão codificadas nas representações das AV-LLMs, mas a saída em linguagem não as revela. O conhecimento existe; falta uma interface de acesso a ele.

Dois decodificadores em vez de um

É nessa observação que se baseia o NFSR (Native Forensics via Separated Readouts). O esquema é o seguinte:

• backbone: uma AV-LLM congelada, cujos pesos não são retreinados;
• decodificador de áudio: lê as características e prevê os intervalos temporais de manipulação no som;
• decodificador visual: faz o mesmo para o vídeo;
• os decodificadores são separados, de modo que cada modalidade recebe sua própria marcação temporal.

Segundo os autores, o NFSR apresenta a melhor localização audiovisual tanto dentro do domínio quanto nos três cenários out-of-distribution. Um deles consiste em transferir o modelo para vídeos de validação de um benchmark externo de forense de vídeos longos.

Parâmetros do benchmark e do método

• Nome: AV-FABLE, benchmark de linha do tempo dupla para manipulações esparsas em vídeos audiovisuais longos e abertos.
• Volume: 16.650 pares «original-manipulação», 998 horas.
• Edições: 27 configurações de edição.
• Marcação: linhas do tempo separadas para áudio e vídeo.
• Linha de base: AV-LLMs em zero-shot oferecem detecção próxima do acaso e localização fraca.
• Método: NFSR com características congeladas de AV-LLM e decodificadores temporais separados para áudio e vídeo.
• Avaliação: liderança dentro do domínio e em três cenários OOD, incluindo um benchmark externo de vídeos longos.
• Publicação: dataset, código e pesos do modelo devem ser abertos. O preprint está no arXiv 2610.33413, e o trabalho tem 25 votos positivos no Hugging Face Daily Papers.

Para plataformas e redações que verificam conteúdo de vídeo, a abordagem é pragmática. Não é preciso treinar um enorme modelo multimodal do zero: basta usar uma AV-LLM já existente, congelá-la e adicionar decodificadores leves. As linhas do tempo separadas dão ao verificador um resultado concreto: «substituição de áudio em tal minuto» em vez de um «suspeito» genérico. Se os pesos e os dados forem abertos, como prometido, o benchmark provavelmente se tornará um padrão de trabalho para comparar detectores de falsificações longas. Ele também vai mostrar com que rapidez cresce a defasagem da defesa em relação às ferramentas generativas de edição.