O mesmo benchmark de LLM rendeu 28% e 76% — a diferença está apenas na forma como as perguntas são feitas

Um desenvolvedor que testou modelos de linguagem rusos em documentos corporativos obteve resultados variando de 28% a 76% no mesmo benchmark para o mesmo modelo — a diferença é explicada exclusivamente pela forma como as perguntas são formuladas.

Como o benchmark é estruturado

O autor montou um benchmark para modelos de linguagem em russo em tipos reais de documentos corporativos — políticas, ordens, faturas e acordos. A tarefa para os modelos era encontrar o documento necessário entre documentos similares, citar uma linha específica nele e não "falhar" quando uma única data em um dos documentos é alterada.

• Faixa de resultados para o mesmo modelo em um benchmark — de 28% a 76%
• Tipo de dados — documentos corporativos: políticas, ordens, faturas, acordos
• Habilidades testadas — encontrar o documento correto entre similares, referência precisa a uma linha, resiliência a mudanças de um único detalhe (data)
• Razão da variação — não o próprio modelo, mas como as solicitações a ele são organizadas

De onde veio a diferença de 48 pontos percentuais

A descoberta chave do experimento é que o resultado final se mostrou altamente dependente de como as solicitações ao modelo foram organizadas, e não de qual modelo foi usado. Em outras palavras, o mesmo modelo pode ser "reprovado" no benchmark ou passar quase três vezes melhor — simplesmente alterando como a pergunta e o contexto do documento são apresentados a ele.

Por que isso importa para aplicações empresariais de LLM

As empresas cada vez mais constroem sistemas internos de busca e processamento de documentos sobre LLMs — o que a indústria chama de RAG (geração aumentada por recuperação): acordos, ordens e faturas raramente são armazenados em um formato conveniente para o modelo, e na prática o modelo deve selecionar o documento necessário entre muitos similares, depois citar a linha exata. Isso é exatamente o que o benchmark do autor testou.

Se a variação nos resultados é explicada pelo formato da solicitação em vez da escolha do modelo, então para equipes implementando LLMs em processos internos, investimentos em uma organização adequada de consultas e contexto podem produzir um efeito maior do que mudar para um modelo maior ou mais caro. Isso é especialmente evidente na resiliência a mudanças "pequenas": quando uma única data em um dos documentos é alterada e o modelo continua citando a versão antiga ou perde o documento necessário entre similares — tais falhas são geralmente o que mina a confiança em sistemas LLM dentro de empresas, mesmo se o modelo funcionar razoavelmente bem em média.

O que isso significa

Um benchmark em documentos corporativos reais mostra: comparar modelos "diretamente" sem fixar o método de apresentação de perguntas não é confiável metodologicamente, e para implementação prática de LLMs no fluxo de documentos, é mais importante não perseguir um modelo mais poderoso, mas aperfeiçoar como é feita a pergunta a ele.

Perguntas Frequentes

O que exatamente o benchmark testou?

Os modelos foram testados na capacidade de encontrar o documento correto entre documentos similares uns aos outros — políticas, ordens, faturas e acordos — citar uma linha específica e não perder precisão se uma única data em um dos documentos foi alterada.

Por que o mesmo benchmark produziu resultados tão diferentes?

Porque o resultado se mostrou sensível não ao próprio modelo, mas a como as solicitações a ele foram organizadas — o autor do experimento conecta diretamente a diferença de 28% a 76% especificamente a como as perguntas foram apresentadas, em vez de mudar o modelo.