Alena, da Sber: por que avaliar um LLM com 20 exemplos é mais perigoso do que não avaliá-lo

Alena, curadora do benchmark MERA e criadora de Russian SuperGLUE, descreve uma lacuna sistêmica entre rigor acadêmico na avaliação e ritmo real de desenvolvimento — e explica por que os "testes rápidos" em 10 exemplos são mais perigosos do que sua ausência completa.

Academia versus indústria

No mundo acadêmico, um benchmark é trabalho metodológico sério. Você precisa de conjuntos de dados com anotações, métricas justificadas, verificações de vazamento de dados, reprodutibilidade de resultados, análise de erros. Um bom teste pode levar meses e requer uma equipe dedicada. Mas os resultados podem ser confiáveis.

A prática industrial opera em diferentes equações de tempo. Um time precisa escolher um modelo até o final do sprint, testar uma nova versão de prompt, comparar dois pipelines RAG, entender se a qualidade caiu após atualização — e preferencialmente não em seis meses, mas no próximo lançamento.

A abordagem acadêmica simplesmente não se encaixa em tal ritmo. É dessa lacuna que nascem dois cenários polares.

Primeiro — avaliação mínima sem sistema: alguns exemplos antes de demonstração, revisão rápida de respostas a olho nu, "parece funcionar".

Segundo — a aparência de controle de qualidade: 10–20 solicitações, juiz de LLM, pontuação média, gráfico em relatório.

Por que 10 exemplos são piores que zero

A autora chega a uma conclusão contraintuitiva: o segundo cenário é pior que o primeiro. A "avaliação padrão em vinte exemplos" parece um processo — mas gera confiança falsa baseada em um sinal estatisticamente fraco.

Problemas específicos com essa abordagem:

• Amostra muito pequena — 10–20 exemplos não fornecem resultados reproduzíveis, um conjunto diferente mostrará números diferentes
• Juiz de LLM não calibrado está enviesado — prefere sistematicamente respostas longas, confiantes, bem estruturadas, independentemente da precisão real
• Pontuação média oculta falhas — um modelo pode obter pontuação média alta enquanto quebra completamente em um tipo de tarefa específico
• Sem baseline — sem um ponto de referência fixo é impossível entender se as coisas melhoraram ou pioraram após mudanças
• Vazamento de dados não é verificado — o modelo pode ter visto exemplos de teste durante o treinamento, caso em que a avaliação não mede nada real

"O problema é que a segunda opção muitas vezes parece controle de qualidade, mas não é.

Pode ser perigosa porque cria confiança onde na verdade há apenas um sinal muito fraco".

De onde vem esse padrão

Alena enfatiza: não é sobre preguiça ou falta de entendimento. Os times sabem perfeitamente que avaliação importa. É que a abordagem acadêmica clássica é um instrumento muito pesado para o ritmo real de desenvolvimento. O que é necessário é um caminho intermediário: rigoroso o suficiente para tomar decisões e leve o suficiente para realmente fazer.

Alena é curadora do projeto "MERA" da Aliança de IA, um benchmark para avaliar LLMs em língua russa, e também participou da criação de Russian SuperGLUE e ruMTEB. Em cinco anos trabalhando com modelos de linguagem, ela observou a mesma lacuna em times de diferentes escalas — de startups a grandes corporações.

O que isso significa

Avaliação de LLM não é um procedimento único antes de uma demonstração, é infraestrutura de produção. Times que a constroem sistematicamente economizam tempo em diagnóstico de regressões e cometem menos erros custosos em produção. O artigo oferece orientação prática para quem está preso entre rigor acadêmico e ilusão perigosa de controle.