Moonshot lança o WorldVQA: 3500 perguntas sobre o mundo em que os modelos erram

A Kimi Team, da Moonshot AI, lançou o WorldVQA, um benchmark que testa o conhecimento visual sobre o mundo em modelos de linguagem multimodais. O conjunto reúne 3500 pares de imagem e pergunta, cada um com uma única resposta verificável. O teste é simples: o modelo reconhece o objeto específico que aparece na foto ou completa a resposta com base em padrões visuais familiares? Segundo os autores, em conhecimentos raros, da chamada "cauda longa", até os modelos de ponta frequentemente nem chegam a 50% de acurácia. O dataset e os scripts de avaliação foram publicados, junto com um artigo no arXiv.

O que há no dataset

As perguntas foram elaboradas para medir a amplitude do conhecimento enciclopédico, e não o raciocínio sobre a imagem. Os autores excluíram perguntas subjetivas e cenas ambíguas. Todas as imagens e os pares de pergunta e resposta passaram por uma verificação manual em várias etapas.

Os exemplos mostram a variedade do conjunto: identificar a espécie de uma ave (Chestnut Shortwing), uma flor (frésia), um marco natural (Cabo da Boa Esperança), o balé "O Lago dos Cisnes", um personagem de jogo, o anime Your Name e o logotipo da EgyptAir. Também há perguntas que exigem precisão máxima, como nomear um gadget de consumo com o modelo exato, até o iPhone 17 Pro. Parte das perguntas está em chinês e trata de um antigo templo budista, de uma peça de museu da época dos Reinos Combatentes, do caça J-20 e de um estádio em Xangai.

Principais parâmetros do conjunto:

• 3500 pares de imagem e pergunta;
• 2240 perguntas em inglês (64%) e 1260 em chinês (36%);
• 9 categorias, de natureza e arquitetura a marcas, esportes e personalidades públicas;
• dificuldade: 31,16% de perguntas fáceis, 40,77% médias e 28,07% difíceis;
• divisão em Head (conhecimento comum) e Tail (conhecimento raro), para mostrar como a qualidade cai à medida que o objeto fica menos popular.

As maiores categorias são "Locais e arquitetura" (14,63%), "Entretenimento e mídia" (14,60%), "Cultura e arte" (14,46%) e "Personalidades públicas" (14,29%). A menor é esporte, com 4,06%.

Além da precisão, há o problema da autoavaliação

A segunda parte do estudo trata da calibração: em que medida a confiança declarada pelo modelo coincide com a proporção real de respostas corretas. Para isso, os autores usaram duas métricas. O ECE (Expected Calibration Error) mostra a diferença média entre confiança e acurácia, e o valor ideal é 0. O Slope (inclinação média ponderada) indica o quanto a acurácia acompanha a confiança, e o valor ideal é 1,0.

O resultado é o mesmo para todos os modelos avaliados: excesso sistemático de confiança. A maioria das previsões se concentra na faixa de 90% a 100% de confiança declarada, embora a acurácia real seja bem menor. Os melhores números nas duas métricas são do modelo dos próprios autores, o Kimi-K2.5, com ECE de 37,9% e Slope de 0,550. É o melhor resultado da comparação, mas ainda está longe do ideal: com calibração sem erro, o ECE ficaria próximo de zero e o Slope, próximo de um. Os próprios autores reconhecem que os modelos ainda estão longe de ser "honestos" e de agir de forma coerente com os limites do que conhecem.

Conclusões práticas

Para as equipes que integram modelos multimodais a produtos, a principal conclusão diz respeito à confiança nas respostas. Quando o modelo indica o modelo de um carro, a espécie de uma planta, um logotipo ou uma obra de arte, uma confiança alta na resposta diz pouco sobre se ela está certa. Isso vale sobretudo para objetos raros: é neles que a acurácia cai, enquanto a confiança continua alta.

O que vale fazer na prática:

• rodar no WorldVQA os modelos candidatos, se o produto depende do reconhecimento de entidades específicas, e analisar Head e Tail separadamente;
• não usar a autoavaliação do modelo como único filtro: em cenários em que o erro tem custo, incluir verificação externa ou consulta a uma base de dados;
• em tarefas em chinês, levar em conta a parcela de perguntas em chinês no teste (36%), em vez de se limitar a métricas em inglês;
• olhar para ECE e Slope com a mesma atenção dedicada à acurácia bruta.

Os autores consideram que melhorar o desempenho no WorldVQA é um passo necessário para a próxima geração de agentes de IA: um agente que identifica um objeto de forma incorreta e ainda assim confia na própria resposta erra justamente onde age por conta própria. Com os dados e os scripts abertos, outros laboratórios podem comparar seus modelos na mesma escala.