Moonshot publica o Kimi Vendor Verifier: 6 testes para checar provedores do K2.6

Junto com o modelo Kimi K2.6, a Moonshot AI publicou em acesso aberto o Kimi Vendor Verifier (KVV), um conjunto de testes para verificar com que precisão provedores terceiros reproduzem o comportamento do modelo. A execução completa leva cerca de 15 horas em dois servidores com oito NVIDIA H20 cada. Os resultados de referência da API oficial do Kimi são: 91.0 no OCRBench, 98.4 no AIME2025 (avg@32) e 78.8 no MMMU Pro Vision. Agora qualquer pessoa pode comparar o próprio deploy com esses números.

De onde surgiu o problema

Depois do lançamento do K2 Thinking, a Moonshot passou a receber com frequência queixas sobre resultados estranhos em benchmarks. A análise mostrou que uma parcela considerável dos casos estava ligada a parâmetros de decodificação incorretos. A primeira linha de defesa foi montada na camada de API: no modo Thinking, Temperature=1.0 e TopP=0.95 são impostos de forma obrigatória, e o sistema também confere se o conteúdo do "raciocínio" é devolvido corretamente na requisição.

Depois surgiram anomalias mais sutis. Em um dos testes no LiveBenchmark, uma API de terceiros ficou claramente atrás da oficial. A checagem de diferentes provedores de infraestrutura mostrou que essa diferença aparece em todo lugar. A conclusão no blog da Moonshot é a seguinte: quanto mais livres os pesos e mais variados os canais de implantação, mais difícil é controlar a qualidade. Se o usuário não consegue distinguir um defeito do próprio modelo de um erro de implementação, a confiança nos modelos abertos desmorona.

Seis verificações

O conjunto foi montado para que cada teste detecte uma classe específica de falhas:

• Pre-Verification confere se a API realmente respeita as restrições de temperature, top_p e outros parâmetros. Sem passar por essa etapa, não se avança para as seguintes.
• OCRBench funciona como um smoke test de cinco minutos do pipeline multimodal.
• MMMU Pro verifica o pré-processamento de imagens em entradas visuais variadas.
• AIME2025 exige geração longa. Ela expõe bugs de KV-cache e degradação causada por quantização, que testes curtos não percebem.
• K2VV ToolCall mede a estabilidade do acionamento de chamadas de ferramentas (F1) e a precisão do JSON Schema. Em agentes, os erros de ferramentas se acumulam, por isso convém detectá-los cedo.
• SWE-Bench testa codificação agêntica completa. Ele não entrou no código aberto porque depende de uma sandbox.

Em paralelo, a Moonshot trabalha com as comunidades vLLM, SGLang e KTransformers para corrigir as causas-raiz nos motores de inferência, e não apenas registrar os sintomas. Além disso, a empresa dá aos provedores acesso antecipado aos modelos, antes do lançamento, para que consigam validar suas stacks. Também foi prometido um leaderboard público de provedores. A expectativa é que a transparência leve os provedores a zelar pela precisão.

O custo da verificação e o que fazer na prática

A Moonshot executou todo o processo em dois servidores com 8 NVIDIA H20 cada, e a execução sequencial levou cerca de 15 horas. Os scripts são otimizados para inferência longa: há saída em streaming, novas tentativas automáticas e retomada a partir de checkpoint. Isso importa porque uma execução do AIME2025 com limite de cerca de 98 mil tokens é facilmente interrompida por uma falha de rede.

As configurações de referência estão na tabela de resultados oficiais: Temperature 1.0, TopP 0.95, e limites de tokens de 16 384 para o OCRBench, 98 304 para o AIME2025 e 65 536 para o MMMU Pro Vision.

Para equipes que usam o K2.6 de um provedor terceiro, a ordem de ação é simples. Primeiro rode o Pre-Verification, depois o smoke test do OCRBench e só então os testes longos e caros. Se houver divergência em relação às referências de 91.0, 98.4 e 78.8, o melhor é procurar primeiro nos parâmetros de decodificação, na quantização e no tratamento de contexto longo. Concluir que o problema está no próprio modelo deve ser o último passo.

Para os provedores, o KVV oferece um checklist pronto antes do lançamento. A Moonshot reconhece, porém, que a cobertura de provedores ainda é incompleta e busca testes agênticos mais leves. Sem eles, o SWE-Bench continua sendo a etapa mais rigorosa da verificação, mas inacessível para reprodução independente.