Kodik explica por que benchmarks públicos de modelos de linguagem são enganosos

O debate sobre qual LLM é realmente melhor há muito se transformou em uma competição de lançamentos brilhantes e tabelas bonitas, mas a Kodik nos lembra: um benchmark público por si só não garante quase nada. Se um modelo obtém uma pontuação mais alta em um conjunto popular de tarefas, isso não significa necessariamente que será mais forte em um produto real, especialmente se estamos falando de um editor de código, onde importa não apenas o conhecimento, mas também a resiliência, a precisão das edições e a capacidade de entregar um resultado funcional. A principal reclamação do time sobre as métricas industriais é que elas se tornam facilmente objeto de otimização.

Os criadores de modelos sabem exatamente quais testes o mercado discute e inevitavelmente adaptam seu treinamento, pós-treinamento e sistema de avaliação de acordo. Como resultado, uma diferença de alguns pontos percentuais frequentemente parece um grande avanço tecnológico, quando na prática pode significar apenas uma melhor adaptação a um formato específico de perguntas. Um problema adicional é que muitos benchmarks testam uma habilidade estreita: em alguns lugares, a erudição acadêmica seca importa mais; em outros, quebra-cabeças lógicos; e ainda em outros, respostas curtas em um modelo fixo.

Um cenário de usuário quase nunca se reduz a apenas um desses modos. Para a Kodik, este não é um debate teórico. A empresa faz um editor de código AI, o que significa que precisa entender como um modelo se comporta dentro de um processo de desenvolvimento real.

Um bom sistema não deve apenas conhecer sintaxe ou adivinhar a resposta correta de um teste, mas entender o contexto de um arquivo, fazer mudanças cuidadosamente sem quebrar a lógica adjacente, seguir instruções e repetir consistentemente resultados em tarefas similares. Além da qualidade, existem fatores operacionais: custo de requisição, latência, a tendência do modelo para ações desnecessárias e previsibilidade geral em produção. Por essa razão, olhar apenas para os leaderboards externos é insuficiente para o time.

É exatamente por isso que a Kodik construiu seu próprio KodikBenchmark interno. Do material, segue que sua lógica está mais próxima do uso real do que de uma olimpíada abstrata para modelos. Em vez da pergunta geral "quem é mais inteligente", o time tenta verificar quem é mais útil para uma tarefa específica: ao editar código, executar instruções multi-etapa, trabalhar com contexto e manter a correção após as mudanças.

Essa abordagem permite avaliar não uma resposta bonita isolada, mas a utilidade prática de um modelo. O teste interno também oferece a oportunidade de olhar não apenas para a pontuação média, mas para a consistência: com que frequência o modelo tem sucesso, onde falha sistematicamente e se pode ser confiável em um cenário repetível dentro do produto. É particularmente valioso que os autores não oponham seu benchmark a toda a indústria, mas sim mostrem as limitações dos ratings universais.

Testes públicos são úteis como referência, especialmente no estágio inicial de seleção, mas respondem mal à pergunta de qual modelo será adequado para seu caso específico. Em um conjunto de tarefas, um modelo com bom raciocínio será mais forte; em outro, aquele que segue melhor as instruções; e em um terceiro, um sistema mais barato e rápido com um "teto intelectual" um pouco menor vencerá. O material da Kodik justamente destaca essa divisão: o líder geral não é obrigado a ser o líder em uma tarefa de produto.

A conclusão prática é simples: a era da fé cega em benchmarks está chegando ao fim, e empresas que incorporam LLMs em produtos reais terão que construir seu próprio sistema de avaliação. Quanto mais próximo um teste estiver do cenário operacional, mais úteis seus resultados para seleção de modelos, roteamento de requisições e controle de qualidade após atualizações. A história da Kodik mostra que uma abordagem madura para AI hoje não é perseguir o lançamento mais brilhante, mas uma verificação cuidadosa de como o modelo realmente funciona onde você planeja ganhar dinheiro com ele ou construir a experiência do usuário.