Artificial Analysis lança o AA-Omniscience v1.1: Net Score cai em média 2 pontos

A Artificial Analysis lançou o AA-Omniscience v1.1, versão atualizada do benchmark que avalia o conhecimento factual dos modelos de linguagem e sua tendência a alucinar. A métrica final se chama Net Score: pela metodologia do benchmark, respostas erradas são penalizadas, de modo que um modelo que mente com convicção fica pior que outro que admite honestamente que não sabe responder. Com o conjunto de perguntas atualizado, o Net Score dos modelos é em média cerca de 2 pontos menor, a queda mediana é de 0,6 ponto e a correlação de postos de Spearman com a primeira versão é de 0,98. A equipe publicou esses números em um post no X.

O que mudou em números

A principal conclusão dos autores: o ranking quase não foi afetado. A correlação de postos de Spearman mostra o quanto a ordem dos modelos coincide em duas listas; entre a v1 e a v1.1, ela é de 0,98. Um valor próximo de um indica que o modelo que liderava na primeira versão, na maioria dos casos, continua na parte de cima da tabela na segunda. O mesmo vale para o meio e a parte de baixo.

Ainda assim, as pontuações absolutas se deslocaram. No conjunto atualizado, os modelos obtêm em média cerca de 2 pontos a menos de Net Score. A queda mediana é bem mais modesta: 0,6 ponto. A diferença entre média e mediana indica que o modelo típico perde pouco, e que a média é puxada para baixo por alguns participantes com quedas maiores. O post no X termina numa frase dizendo que, em alguns modelos, as mudanças são bem maiores, então os detalhes por modelo precisam ser buscados na publicação completa da Artificial Analysis.

Por que atualizar um benchmark de conhecimento

Benchmarks com perguntas fixas envelhecem. As perguntas vão parar em bases de treinamento, os desenvolvedores passam a otimizar os modelos para um conjunto conhecido e os próprios enunciados revelam imprecisões e respostas desatualizadas. Atualizar o conjunto é a forma padrão de devolver poder de discriminação ao teste. Uma pequena queda geral nas pontuações se encaixa nessa lógica: com perguntas novas ou corrigidas, os resultados costumam ficar um pouco menores. Porém, no texto disponível do post, a Artificial Analysis não cita as causas da queda, então isso é apenas uma explicação plausível, não um fato confirmado.

Para um benchmark desse tipo, a estabilidade da ordem dos modelos importa mais que os valores absolutos. O Net Score serve para comparar modelos entre si: qual inventa menos fatos e sabe melhor quando é preferível ficar calado. Se a correlação tivesse caído para 0,7–0,8, isso significaria que a v1.1 mede outra coisa e que as conclusões antigas teriam de ser revistas. Com 0,98, as comparações anteriores em geral continuam válidas.

Como ler os resultados na prática

Primeira regra: não misturar versões. Se, numa tabela de modelos, parte dos números vem da v1 e parte da v1.1, a comparação ficará enviesada em cerca de 2 pontos em média, e mais em alguns modelos. Para uma avaliação interna, é preciso usar valores de uma única versão e indicar qual.

Segunda: pequenas diferenças no Net Score não devem ser tratadas como prova de superioridade. Um deslocamento mediano de 0,6 ponto é comparável à diferença entre modelos vizinhos na parte mais disputada do ranking. Dois modelos com pontuações próximas podem muito bem trocar de lugar ao mudar de versão, e uma correlação de Spearman alta não exclui isso: ela descreve o quadro geral, não cada par.

Terceira: se a sua tarefa é sensível a alucinações (assistentes de consulta, suporte, trabalho com documentos), vale olhar com atenção os modelos cujo resultado mudou bem mais que a média. Foram eles que possivelmente se beneficiaram do conjunto antigo de perguntas. Quando a Artificial Analysis divulgar os detalhes, convém cruzar a lista com os modelos que você usa em produção.

As limitações são evidentes: o post original não traz lista de modelos, dados sobre o tamanho e a composição do novo conjunto de perguntas nem explicação de quais perguntas foram substituídas. Sabe-se apenas que a v1.1 preserva a ordem da v1 com correlação de 0,98, que o Net Score médio é cerca de 2 pontos menor e o mediano, 0,6 ponto. Para a maioria das equipes, a conclusão é simples: o ranking pode continuar a ser usado, mas os números da versão antiga e da nova não devem ficar na mesma coluna.