AV-FABLE: pesquisadores reúnem 998 horas de vídeo para localizar deepfakes pontuais

Uma equipe de pesquisadores ligados à Tsinghua University publicou o AV-FABLE, um benchmark para perícia forense de vídeos audiovisuais longos. Ele inclui 16 650 pares “vídeo limpo — gêmeo editado”, com 998 horas de material no total e 27 configurações de edição. Junto com o benchmark, os autores propõem o método NFSR, que aprende a encontrar manipulações não no texto das respostas de um modelo multimodal, mas nos atributos internos congelados dele.

Por que o veredicto “falso ou não” não basta

Falsificações reais raramente cobrem o vídeo inteiro. Em geral, trata-se de um episódio curto dentro de uma gravação autêntica: uma frase trocada, um trecho inserido, uma cena alterada. Classificar o vídeo como um todo é inútil nesse caso. O vídeo é 90% autêntico, e são justamente os 10% restantes que é preciso encontrar e mostrar ao perito.

Os benchmarks audiovisuais de deepfake existentes se baseiam, em sua maioria, em clipes curtos com uma pessoa falando diante da câmera. Já os trabalhos de localização temporal em vídeos longos são, em grande parte, apenas visuais. O AV-FABLE preenche essa lacuna: as cenas são abertas, os vídeos são longos e as manipulações são esparsas.

Um detalhe importante do projeto são as duas linhas do tempo independentes, uma de áudio e outra de vídeo. A troca de voz com a imagem intacta e, ao contrário, a edição de quadros com o áudio original são avaliadas separadamente. Segundo os autores, a avaliação em uma linha do tempo comum esconde parte dos erros: o modelo recebe crédito por acertar o intervalo, mesmo tendo errado a modalidade.

O modelo de linguagem não diz nada, embora os atributos saibam

Os autores testaram grandes modelos de linguagem audiovisuais (AV-LLM) em modo zero-shot, ou seja, por meio de um prompt comum. O resultado é fraco: a detecção fica próxima do acaso, e a localização temporal é ruim. Quando se pergunta a esses modelos “onde está a falsificação”, eles não respondem de forma útil.

Em seguida, os pesquisadores pegaram os atributos perceptivos congelados dos mesmos modelos e treinaram sobre eles “cabeças de leitura” supervisionadas. Foi encontrado um sinal forense forte. A conclusão: as evidências de manipulação estão codificadas nas representações dos AV-LLMs, mas a saída em linguagem não as revela. O conhecimento existe; falta uma interface para acessá-lo.

Dois decodificadores em vez de um

O NFSR (Native Forensics via Separated Readouts) foi construído a partir dessa observação. O esquema é o seguinte:

• backbone: um AV-LLM congelado, cujos pesos não passam por ajuste fino;
• decodificador de áudio: lê os atributos e prevê os intervalos de tempo das manipulações no som;
• decodificador visual: faz o mesmo para a sequência de vídeo;
• os decodificadores são separados, de modo que cada modalidade recebe sua própria marcação temporal.

Segundo os autores, o NFSR apresenta a melhor localização audiovisual dentro do domínio e nos três cenários out-of-distribution. Um deles é a transferência para vídeos reservados de um benchmark externo de perícia forense de vídeos longos.

Parâmetros do benchmark e do método

• Nome: AV-FABLE, benchmark de linha do tempo dupla para manipulações esparsas em vídeos audiovisuais longos e abertos.
• Escala: 16 650 pares “original — manipulação”, 998 horas.
• Edições: 27 configurações de edição.
• Anotação: linhas do tempo separadas para áudio e vídeo.
• Linha de base: AV-LLMs em zero-shot têm detecção próxima do acaso e localização fraca.
• Método: NFSR, com atributos congelados de AV-LLM e decodificadores temporais separados para áudio e vídeo.
• Avaliação: liderança no domínio e em três cenários OOD, incluindo um benchmark externo de vídeos longos.
• Publicação: os autores prometem abrir o dataset, o código e os pesos do modelo. O preprint é o arXiv 2610.33413, e o trabalho tem 25 upvotes no Hugging Face Daily Papers.

Para plataformas e redações que verificam conteúdo em vídeo, a abordagem é pragmática. Não é preciso treinar do zero um enorme modelo multimodal: dá para pegar um AV-LLM pronto, congelá-lo e acrescentar decodificadores leves. As linhas do tempo separadas entregam ao verificador um resultado concreto, como “troca no áudio em tal minuto”, em vez de um genérico “suspeito”. Se os pesos e os dados forem abertos, como prometido, o benchmark provavelmente se tornará um padrão de trabalho para comparar detectores de falsificações longas. Ele também vai mostrar a rapidez com que a defesa fica para trás em relação às ferramentas generativas de edição.