Revisão de Stanford considera obsoletas 44% das conclusões sobre LLMs

Imagine que sua equipe montou há um ano um conjunto de testes para LLMs. Ele avalia contexto longo, aritmética, resistência às objeções do usuário e fontes inventadas. Os resultados parecem convincentes, então o produto escolhe um modelo com base na tabela antiga. O problema é que essa tabela talvez já não descreva o mercado, mas uma camada arqueológica dele.

Os pesquisadores de Stanford Owen Quinn e James Zou verificaram novamente 50 conclusões amplamente citadas sobre grandes modelos de linguagem em 20 modelos de oito desenvolvedores. Segundo a estimativa deles, 44% das conclusões deixaram de se reproduzir e outras 34% enfraqueceram de forma notável. Apenas 16% se mantiveram integralmente, e 6% se manifestaram com mais força. Nos 22 resultados cuja vida útil foi possível estimar, o valor médio foi de 15,7 meses.

Isso não significa que as pesquisas sejam inúteis. Significa que a frase «os LLMs se comportam assim» quase sempre é ampla demais. É mais correto dizer: «este modelo, nesta versão, nesta data e com este teste apresentou este resultado».

Falhas técnicas claras desaparecem mais depressa

As afirmações sobre o que o modelo não sabe fazer envelhecem de forma especialmente rápida. No estudo, todas as nove conclusões verificadas relacionadas ao raciocínio enfraqueceram, e os autores consideraram cinco delas obsoletas. Entre os exemplos estão a contagem de letras em uma palavra, a aritmética em um sistema numérico incomum, a perda de informação no meio de um contexto longo e o abandono da resposta correta após a objeção do usuário.

A causa é bastante terrena. Se a tarefa tem uma resposta inequivocamente correta, os desenvolvedores veem um defeito concreto, adicionam exemplos semelhantes ao treinamento ou mudam o procedimento de ajuste fino. A falha espetacular de ontem vira o teste de regressão de amanhã.

Imagine que, há um ano, um modelo perdia o enunciado da tarefa no meio de um documento. Com base em um artigo, uma equipe decidiu dividir cada arquivo em fragmentos pequenos e construiu em torno disso um pipeline complexo. A nova versão já retém com segurança todo o documento, mas a arquitetura continua pagando por chamadas extras, latência e perda de vínculos entre os fragmentos. A antiga conclusão virou dívida técnica.

Riscos comportamentais duram mais

As tendências sem uma única resposta correta se mostraram mais duradouras. Entre os efeitos que permaneceram estão a preferência do modelo pelas próprias respostas, a sensibilidade da avaliação a uma formulação persuasiva e a bajulação em relação ao usuário. Essas propriedades são mais difíceis de corrigir com um único conjunto de exemplos corretos: dependem do treinamento, dos critérios de avaliação e do próprio desenho do diálogo.

A dispersão entre os modelos também continua enorme. Na verificação de referências científicas, um modelo atual não inventou nenhuma fonte, outro errou em cerca de 1% dos casos e outro ainda, em 69%. Por isso, o resultado do líder não pode ser transferido para um modelo mais barato, para uma alternativa aberta ou nem mesmo para uma versão vizinha da mesma geração.

Há também uma limitação importante: os autores verificaram 50 conclusões conhecidas, e não todas as pesquisas publicadas sobre LLMs. Além disso, o desaparecimento de um efeito nem sempre significa que a capacidade esteja totalmente corrigida. O erro pode persistir em outro idioma, em outra área temática, com um contexto mais longo ou após uma pequena mudança de formulação.

O que mudar no desenvolvimento de produto

Cada teste deve ser armazenado junto com o identificador exato do modelo, a data, o prompt, os parâmetros de geração e o resultado esperado. Após a troca de versão ou de provedor, o conjunto crítico precisa ser executado novamente. Isso vale sobretudo para cenários em que um erro afeta dinheiro, segurança, direitos do usuário ou decisões sobre funcionários.

Para as equipes de produto, é útil dividir as verificações em duas camadas. A primeira são os requisitos estáveis do negócio: extrair corretamente um valor, não revelar dados pessoais, citar um documento real. A segunda são testes diagnósticos temporários que refletem as fraquezas conhecidas de um modelo específico. A primeira camada muda raramente; a segunda deve ser revisada após cada atualização relevante.

A conclusão prática é simples: um artigo sobre as capacidades dos LLMs tem prazo de validade. Não confunda um benchmark antigo com uma lei da natureza nem construa um roteiro em torno de um erro famoso sem um teste próprio. Teste o modelo que você realmente pretende colocar em produção, com os seus dados e no seu cenário de trabalho.