Benchmark EvaOmni testa 24 modelos omni: líder atinge 79,4%, mas o grounding fica em 35,1%

Os autores do benchmark EvaOmni propõem avaliar os modelos omni não pela alternativa escolhida, mas por toda a cadeia de raciocínio. O conjunto reúne 392 vídeos e 1027 pares de «pergunta e resposta» anotados manualmente por pessoas. O modelo deve devolver a resposta e os intervalos de tempo em que se apoiou, tanto no áudio quanto no vídeo. Foram testados 24 sistemas: 7 com pesos abertos e 17 proprietários. O melhor resultado é do Gemini3.7-Flash: precisão de 79,4%, mas apenas 35,1% na métrica Bottleneck Grounded Score.

Por que o benchmark passou a exigir evidências

A maioria dos testes de raciocínio audiovisual se baseia em perguntas de múltipla escolha. O modelo ganha ponto pela letra correta, e só. Essa avaliação não mostra se ele encontrou o som e o quadro certos ou se acertou pela formulação da pergunta. Os autores apontam um segundo problema: os atalhos textuais e de modalidade única. Se dá para chegar à resposta olhando só a imagem ou lendo só a pergunta, o benchmark mede outra coisa que não a declarada.

Por isso, o EvaOmni adota uma anotação em várias etapas. Primeiro, especialistas marcam as evidências de áudio e de imagem e criam distratores a partir do próprio vídeo. Em seguida, pessoas verificam se cada pergunta atende a critérios rigorosos. O último filtro fica por conta de modelos, que descartam as perguntas resolvíveis só pelo texto ou por uma única modalidade. As perguntas cobrem 15 habilidades, agrupadas em três níveis: busca e localização, compreensão básica e raciocínio complexo.

Como o grounding é calculado

Além da resposta, o modelo devolve os intervalos dos trechos que a sustentam. Para avaliá-los, os autores criaram duas métricas. O Coverage Grounded Score (C.G.) mostra que fração das evidências marcadas pelos especialistas o modelo encontrou. O Bottleneck Grounded Score (B.G.) penaliza a localização temporal ruim em qualquer uma das modalidades: um ponto fraco no áudio ou no vídeo puxa a nota para baixo. As duas métricas são consideradas em conjunto com a correção da resposta.

Números principais do líder, o Gemini3.7-Flash:

• precisão geral: 79,4%;
• C.G.: 70,8%;
• B.G.: 35,1%;
• Level 3 (raciocínio complexo): precisão de 79,1%, B.G. de 12,3%.

Nos três indicadores gerais, o Gemini3.7-Flash ficou à frente dos concorrentes, tanto abertos quanto fechados. Mas a distância entre os próprios resultados dele é mais marcante do que a distância entre os modelos. Nas tarefas difíceis, ele acerta a resposta quase tão frequentemente quanto na média do conjunto, mas os intervalos de tempo coincidem com os dos especialistas apenas em uma pequena parte dos casos.

Essa distância admite mais de uma interpretação. O modelo pode compreender a cena como um todo, mas não saber indicar com precisão onde, no fluxo, estão os sons e os quadros relevantes. Também é possível que existam caminhos alternativos até a resposta que a filtragem não pegou. O artigo traz apenas números agregados, e com eles não dá para determinar qual causa predomina. Os próprios autores chegam a uma conclusão cautelosa: mesmo os modelos omni mais fortes ainda têm margem para evoluir no raciocínio audiovisual com grounding. Vale lembrar também a escala: 1027 perguntas formam um conjunto compacto, e o B.G., por construção, é uma métrica muito rigorosa.

O que mudar na avaliação e nos produtos

Para equipes que desenvolvem produtos com vídeo e áudio (transcrição de reuniões, análise de gravações de câmeras, suporte com base em videoinstruções), a conclusão é prática. A precisão na escolha da resposta prevê mal se é possível confiar no modelo quando é preciso verificar uma afirmação dele. Se a resposta vai para um relatório, um documento com valor jurídico ou a decisão de um operador, exija do modelo timecodes separados para a fala e para a imagem e confira-os, ao menos por amostragem.

Com os seus próprios dados, é possível montar uma versão reduzida do mesmo esquema: 50–100 exemplos anotados com intervalos, avaliação tanto da resposta quanto da localização e cálculo separado para a modalidade mais fraca. Esse teste mostra rapidamente em que casos o modelo responde com segurança, mas não consegue mostrar de onde tirou a resposta. Já na interface, vale exibir um link para o trecho, de modo que a pessoa verifique a conclusão em poucos segundos, em vez de rever o vídeo inteiro.