Conjunto público do AA-Omniscience v1.1 iguala o fechado em Net Score, com correlação de 0,99

A Artificial Analysis publicou no Hugging Face um novo conjunto público para o benchmark AA-Omniscience v1.1. Segundo a empresa, ele foi calibrado de propósito para ter a mesma dificuldade do conjunto fechado. No momento do lançamento, a correlação entre os resultados público e fechado na métrica AA-Omniscience Net Score é de 0,99, e a diferença mediana é de 0,0 ponto. Os autores também compararam a acurácia e a taxa de alucinações nos dois conjuntos, mas o texto completo do post está cortado na nossa fonte, por isso não temos números concretos para essas métricas.

Por que o benchmark tem dois conjuntos

O AA-Omniscience verifica a precisão com que modelos de linguagem respondem a perguntas factuais e a frequência com que inventam uma resposta em vez de admitir que não sabem. O Net Score reúne esses dois aspectos em uma única nota: a resposta correta a aumenta, e o erro cometido com confiança a reduz. Um modelo que responde menos, mas quase sem inventar, pode superar outro que responde a tudo e erra com frequência.

Esse tipo de esquema tem um problema conhecido. Se todas as perguntas estão em acesso aberto, cedo ou tarde elas vão parar nos dados de treinamento, e os números deixam de refletir o conhecimento real. Por isso, a avaliação principal fica em um conjunto fechado, conhecido apenas pelo organizador. Mas equipes independentes querem rodar os modelos por conta própria: testar seus próprios fine-tunings, comparar quantizações, depurar prompts e pipelines. Para isso, precisam de um conjunto aberto. Ele só é útil se seus resultados anteciparem os do conjunto fechado.

O que significam 0,99 e 0,0

A correlação de 0,99 significa que a ordem dos modelos quase não muda entre os conjuntos público e fechado. Se o modelo A supera o modelo B nos dados abertos, é muito provável que também o supere nos fechados. A diferença mediana de 0,0 ponto indica outra coisa: as notas coincidem não só no ranking, mas também nos valores absolutos. Um modelo típico obtém no conjunto aberto o mesmo Net Score que no fechado.

Os dois indicadores se complementam. A correlação poderia ser alta mesmo com um deslocamento sistemático: por exemplo, se todos os modelos marcassem 10 pontos a mais no conjunto aberto. Uma mediana de diferença próxima de zero justamente descarta esse deslocamento. Na prática, isso significa que o conjunto aberto pode servir não só para comparar modelos, mas também para estimar de forma aproximada o nível de cada um.

Limitações que vale ter em mente

Primeiro, os autores falam em coincidência "no momento do lançamento". As perguntas públicas continuam públicas: podem ser incluídas em corpora de treinamento, e então os resultados no conjunto aberto passariam a crescer mais rápido que no fechado. Será preciso reverificar a correlação ao longo do tempo.

Segundo, os indicadores se referem aos modelos que a Artificial Analysis já rodou nos dois conjuntos. Para arquiteturas novas ou estratégias incomuns de abstenção de resposta, a coincidência não é garantida. Métricas que penalizam o erro são especialmente sensíveis ao modo como o modelo decide entre responder e se abster.

Terceiro, vimos apenas um post curto. O tamanho do conjunto, a lista de temas e a metodologia de calibração da dificuldade é melhor consultar na página do dataset no Hugging Face e na documentação da Artificial Analysis.

A conclusão prática é simples. Se você está escolhendo um modelo para tarefas em que um fato inventado sai caro, como suporte ao cliente ou consultas jurídicas e médicas, agora é possível testá-lo por conta própria no conjunto aberto do AA-Omniscience e esperar um resultado próximo ao oficial. Para a comparação final entre modelos de diferentes fornecedores, continua mais sensato olhar o conjunto fechado, que a própria Artificial Analysis atualiza e controla.