O mesmo benchmark de LLM deu 28% e 76%: a diferença está só na forma de fazer as perguntas

Um desenvolvedor que testava LLMs em língua russa com documentos corporativos obteve, no mesmo benchmark e com o mesmo modelo, resultados entre 28% e 76%. A diferença se explica exclusivamente pela forma como as perguntas foram apresentadas.

Como o benchmark funciona

O autor montou um benchmark para modelos de linguagem em russo com base em tipos reais de documentos corporativos: políticas, ordens internas, faturas e aprovações. A tarefa dos modelos é encontrar o documento certo entre outros parecidos, citar uma linha específica dele e não "quebrar" quando apenas uma data é alterada em um dos documentos.

• Faixa de resultados do mesmo modelo no mesmo benchmark: de 28% a 76%
• Tipo de dados: documentos corporativos, como políticas, ordens internas, faturas e aprovações
• Habilidades avaliadas: encontrar o documento certo entre outros parecidos, citar a linha exata e resistir à mudança de um único detalhe (uma data)
• Causa da variação: não o modelo em si, mas a forma como as consultas a ele são organizadas

De onde vem a diferença de 48 pontos percentuais

A principal conclusão do experimento é que o resultado final dependeu fortemente da forma como as consultas ao modelo foram organizadas, e não de qual modelo foi usado. Em outras palavras, é possível fazer o mesmo modelo "fracassar" no benchmark ou levá-lo a um desempenho quase três vezes melhor apenas mudando a maneira como a pergunta e o contexto dos documentos são apresentados a ele.

Por que isso importa para o uso corporativo de LLMs

Cada vez mais empresas constroem, sobre LLMs, sistemas internos de busca e gestão de documentos, o que o setor chama de RAG (retrieval-augmented generation). Aprovações, ordens internas e faturas raramente estão armazenadas em um formato conveniente para o modelo e, na prática, ele precisa escolher o documento certo entre muitos parecidos e depois citar a linha exata. Era justamente isso que o benchmark do autor avaliava.

Se uma variação de várias vezes no resultado se explica pelo formato da consulta, e não pela escolha do modelo, então, para equipes que implementam LLMs em processos internos, investir na boa organização das consultas e do contexto pode trazer mais retorno do que migrar para um modelo maior ou mais caro. Isso fica especialmente evidente na resistência a mudanças "pequenas": quando apenas uma data é alterada em um dos documentos e o modelo continua citando a versão antiga ou perde o documento certo entre os parecidos. São justamente essas falhas que mais minam a confiança em sistemas de LLM dentro das empresas, mesmo quando, na média, o modelo responde razoavelmente bem.

O que isso significa

O benchmark com documentos corporativos reais mostra que comparar modelos "de frente" sem fixar a forma de apresentar as perguntas é metodologicamente pouco confiável. Para a adoção prática de LLMs na gestão de documentos, o mais importante não é correr atrás de um modelo mais poderoso, e sim aprimorar a forma como as perguntas são feitas a ele.

Perguntas frequentes

O que exatamente o benchmark testava?

Os modelos foram avaliados quanto à capacidade de encontrar o documento certo entre documentos parecidos entre si (políticas, ordens internas, faturas e aprovações), citar uma linha específica e não perder precisão quando apenas uma data era alterada em um dos documentos.

Por que o mesmo benchmark deu resultados tão diferentes?

Porque o resultado se mostrou sensível não ao modelo em si, mas à forma como as consultas a ele foram organizadas. O autor do experimento associa diretamente a variação de 28% a 76% à forma de apresentar as perguntas, e não à troca de modelo.