Kimi lança PerceptionBench: nenhum dos 16 MLLMs chegou a 60%

A equipe da Kimi, da Moonshot AI, publicou o PerceptionBench, um benchmark de 3000 perguntas verificadas que mede uma única coisa: o que um modelo multimodal realmente enxerga em uma imagem. Entre os dezesseis MLLMs de fronteira testados, nenhum alcançou 60% de acerto. Em média, o ponto mais fraco dos modelos são as alucinações ligadas à percepção. O dataset e o código de avaliação estão abertos no GitHub.

Taxonomia construída a partir de falhas, não de teoria

Normalmente, define-se primeiro um conjunto de habilidades e só depois se escrevem as perguntas. Os autores do PerceptionBench fizeram o caminho inverso. Eles pegaram os erros de modelos de fronteira em 42 benchmarks existentes e, para cada um, localizaram o primeiro passo errado. Primeiro veio o erro, depois a categoria. Foi assim que surgiram as dez capacidades atômicas.

Em seguida, selecionaram as falhas mais reveladoras e as decompuseram em subperguntas simples. Parte das perguntas foi escrita do zero, sobre imagens adicionais. O pool interno chegou a 17 000+ perguntas verificadas. O release inclui 3000 delas: 60% vêm da decomposição de erros reais dos modelos, e 40% foram escritas do zero. As categorias foram equilibradas em volume, e a dificuldade foi estratificada.

O requisito central é que a resposta esteja visível a olho nu, sem raciocínio e sem conhecimento externo. Exemplos do anúncio: em qual marcação do mostrador está o símbolo do Gemini, quantos vasos de planta aparecem no quadro (reflexos no vidro não contam), qual de oito fragmentos preenche o recorte de um padrão, o que apareceu na segunda foto da mesma cena.

Os autores fazem ainda uma observação: os benchmarks de origem se sobrepõem pouco. O índice de Jaccard ponderado médio entre pares é de 0,20. Cada um captura apenas uma fatia estreita dos erros de percepção, e nenhum cobre o quadro completo.

Dez categorias e o peso de cada uma

No release, as 3000 perguntas se distribuem assim:

• Depth & 3D — 330 (11,00%)
• Visual Counting — 330 (11,00%)
• Visual Relation — 330 (11,00%)
• Visual Attribute — 330 (11,00%)
• Visual Localization — 330 (11,00%)
• Fine-grained Recognition — 290 (9,67%)
• Visual Comparison — 279 (9,30%)
• Hallucination — 271 (9,03%)
• Context Integration — 255 (8,50%)
• OCR — 255 (8,50%)

Os testes miram vulnerabilidades específicas. Pede-se aos modelos que leiam o texto branco de maior tamanho, preservando maiúsculas, minúsculas e pontuação, ou que encontrem um texto a partir de coordenadas normalizadas. Eles contam cubos em uma pilha, inclusive os invisíveis, e comparam a espessura de linhas em um gráfico. A categoria Hallucination funciona de outro modo: em perguntas sobre mesas brancas em um escritório e sobre logotipos com um cachorro entre 15 padrões, a resposta correta é zero. O modelo que tende a "inventar" objetos erra aqui.

O que os resultados mostram e como usá-los

Os resultados, segundo o anúncio, são estes. Nenhum dos dezesseis participantes chegou a 60%. As alucinações de percepção foram, em média, a capacidade mais fraca. Modelos com pontuação geral quase idêntica divergem de forma clara naquilo que conseguem distinguir. Isso importa na hora de escolher um modelo: a nota geral esconde o perfil, e é o perfil que determina onde o modelo vai falhar na sua tarefa.

No texto disponível do anúncio não há tabela com resultados por modelo, então os rankings específicos precisam ser consultados no repositório. O benchmark foi publicado pela própria Moonshot, que é uma das players desse mercado. Por isso, vale reavaliá-lo com seus próprios dados, e não tratá-lo como um árbitro independente.

A conclusão prática para equipes que integram MLLMs a produtos é simples. Se você constrói um fluxo de documentos, olhe para OCR e Localization. Em robótica e navegação, pesam mais Depth & 3D e Visual Relation. No varejo e no controle de estoque, Counting é crítico. Em qualquer cenário em que o erro custa dinheiro, é preciso olhar a categoria Hallucination, que mostra o quanto o modelo tende a ver o que não existe. O código de avaliação é aberto, então dá para rodar os candidatos por categoria e comparar os perfis em uma noite. Isso é mais confiável do que conferir um único número final em um leaderboard.