Omni-Woodpecker reduz alucinações de LLMs omni sem retreinamento: +12,9 no CMM

Os modelos omni, que ouvem o áudio e assistem ao vídeo ao mesmo tempo, aprenderam a raciocinar de forma convincente, mas também erram de forma igualmente convincente. Um grupo de pesquisadores da Universidade de Nanquim (Zijian Liu, Chaoyou Fu, Yan Yang, Caifeng Shan, Ran He) propôs o Omni-Woodpecker, ou OWP. O método reduz alucinações cross-modais sem nenhum retreinamento. No Qwen2.5-Omni-7B, ele acrescenta 12,9 pontos no benchmark CMM e 8,6 no AVHBench. O artigo foi publicado no arXiv sob o número 2610.27103 e entrou no Hugging Face Daily Papers.

Onde a ligação entre som e imagem quebra nos modelos omni

A alucinação cross-modal acontece quando as trilhas de áudio e de vídeo dizem coisas diferentes, ou quando uma delas não oferece uma pista inequívoca. O modelo não escolhe o que foi de fato registrado na entrada, e sim o que estatisticamente "costuma acontecer": a combinação habitual de objetos e sons vista nos dados de treinamento pesa mais do que os fatos de um vídeo específico.

A maioria das abordagens existentes atua na saída: ajusta a distribuição de tokens durante a decodificação ou filtra a resposta já pronta. Para os autores do OWP, isso é tratar o sintoma. Quando chega a hora de decodificar, as evidências da entrada e os priors aprendidos já estão misturados nas representações fundidas, e separá-los na saída é difícil.

Três etapas dentro dos estados ocultos

O OWP move a intervenção da saída para as representações internas e age em três etapas:

1. Busca de conflitos. O método identifica contradições entre as modalidades comparando visões da entrada específicas de cada uma e complementares entre si. 2. Decomposição ortogonal. Nos estados ocultos, o método separa o componente baseado em evidências reais (grounding evidence) dos priors concorrentes. 3. Rebalanceamento adaptativo. As representações fundidas são reajustadas: a contribuição dos priors enganosos é suprimida, e as evidências ignoradas são reforçadas. Tudo isso acontece antes da decodificação.

A lógica é a seguinte: se for possível isolar, no espaço oculto, a direção em que o modelo "inventa" detalhes, ela pode ser atenuada de forma pontual, sem mexer nos pesos e sem iniciar um novo ciclo de treinamento. Daí o rótulo training-free, que para quem trabalha na prática vale mais do que qualquer métrica: não é preciso nem anotação de dados, nem horas de GPU para fine-tuning.

O que as medições mostraram

Os autores testaram o método em duas arquiteturas e em vários conjuntos de tarefas:

• Qwen2.5-Omni-7B, benchmark CMM: +12,9 pontos.
• Qwen2.5-Omni-7B, benchmark AVHBench: +8,6 pontos.
• Qwen2.5-Omni-7B, quatro benchmarks gerais de raciocínio OLLM: ganho estável de 0,67 a 2,25 pontos.
• VideoLLaMA2-AV, os mesmos dois benchmarks de alucinação: +4,6 e +3,9 pontos.

O contraste entre os resultados chama atenção. Nos testes específicos de alucinação, o ganho tem dois dígitos; nas tarefas gerais de raciocínio, ele é modesto, mas não negativo. A supressão dos priors não prejudica as capacidades do modelo, o que costuma ser o preço de métodos desse tipo. A transferência para o VideoLLaMA2-AV, que tem outra arquitetura, indica que a técnica não depende da estrutura do Qwen, embora o ganho ali seja menor.

Para quem isso serve já

O código foi publicado no repositório Omni-Woodpecker (com cerca de 94 estrelas no momento da publicação), então o método pode ser testado na própria stack. Os maiores beneficiados serão as equipes que constroem, sobre modelos omni, produtos em que o erro sai caro: análise de videochamadas e gravações de reuniões, videovigilância com áudio, descrições automáticas de vídeos e assistentes de monitoramento de mídia. Nesses casos, o modelo costuma "ouvir" o que não está no quadro, e vice-versa.

O roteiro prático é simples. Primeiro, rodar o OWP com dados próprios, que tenham áudio e vídeo sabidamente conflitantes, e não apenas com benchmarks públicos. Depois, medir latência e consumo de memória: a análise de conflitos entre modalidades provavelmente adiciona computação na inferência. Por fim, comparar com métodos de decodificação da geração anterior, já que eles podem ser combinados com a intervenção nos estados ocultos. Os experimentos do artigo se limitam a modelos da classe 7B, e só verificações independentes dirão como o método se comporta em sistemas omni maiores.