Artificial Analysis torna teste de IA mais rigoroso: agora são exigidas 15 respostas sem erros por documento

Uma IA leu corretamente o valor de uma fatura e encontrou os dados do fornecedor, mas determinou incorretamente se o pagamento precisava de uma revisão adicional. Para uma empresa, isso significa um documento processado sem sucesso. A alta precisão nas respostas individuais serve de pouco consolo: um funcionário ainda terá de intervir.

A Artificial Analysis apresentou a segunda versão do Decision Index, seu ranking de modelos para tomada de decisões. A atualização oferece uma referência útil para quem automatiza o processamento de documentos: avaliar o sucesso da tarefa inteira, considerar a confiança do modelo e comparar os custos por resultado concluído. Segundo os autores, os conjuntos de dados privados agora representam 45% do peso do índice, contra 25% na primeira versão. A intenção é dificultar o ajuste dos modelos a questões de avaliação conhecidas.

97% de respostas corretas ainda não significam um documento totalmente processado

O novo teste privado AA-Paperclip contém 1500 documentos: currículos, recibos, faturas e artigos científicos. Para cada documento, o modelo precisa tomar cinco decisões e extrair dez fatos. Um documento só é aprovado quando todas as 15 respostas estão corretas. Esse teste representa 30% do índice.

Considere o processamento de uma fatura recebida. O sistema extrai o valor, a moeda, a data e outros campos e depois decide para onde encaminhar o documento. Se um campo importante ou uma decisão estiver incorreto, o fluxo automatizado pode falhar. Uma avaliação por perguntas individuais pode diluir esse problema entre dezenas de respostas corretas. Avaliar o documento inteiro revela o problema imediatamente.

Nos resultados da Artificial Analysis, o Drex Max v1.1 responde corretamente a 97% das perguntas individuais do AA-Paperclip, mas passa integralmente em apenas 63% dos documentos. Os números correspondentes do Claude Haiku 5.5 (Max) são 99% e 92%. Uma diferença de dois pontos percentuais nas respostas se transforma em uma diferença de 29 pontos nos documentos.

Para equipes de produto, isso justifica rever as próprias avaliações. Além da precisão dos campos, vale medir a proporção de documentos que percorrem todo o fluxo sem correções. Ao mesmo tempo, a exigência de acertar tudo precisa ser adequada à tarefa: um erro em um campo opcional e um valor de pagamento incorreto têm consequências diferentes.

Um erro cometido com confiança reduz a pontuação

A nova métrica principal, Decision Score, considera tanto a correção da resposta quanto a probabilidade declarada de ela estar correta. Um erro cometido com confiança recebe uma pontuação menor do que um erro acompanhado de incerteza reconhecida. A pontuação final não pode ser interpretada como o percentual de respostas corretas.

A utilidade prática é clara: se o modelo tiver dúvidas, a aplicação pode encaminhar o documento a um funcionário ou a um modelo mais capaz. Mas esse encaminhamento só funciona quando a confiança está realmente relacionada à qualidade. A simples afirmação de ter "90% de confiança" não basta: essa relação precisa ser verificada com dados próprios.

Outro novo teste, o AA-Symmetry, avalia a consistência das respostas quando as perguntas são reformuladas. Os autores alteram a ordem das alternativas, seus rótulos e a formulação da pergunta. Para desenvolvedores, esse é um risco conhecido: uma pequena alteração em um modelo de prompt muda repentinamente o comportamento do sistema.

Há uma ressalva. Segundo as observações da Artificial Analysis, alguns modelos alcançam alta consistência porque se abstêm de responder com frequência. Uma abstenção consistente é útil como sinal de cautela, mas, por si só, não significa que o sistema resolva mais tarefas.

Calcule os custos do fluxo inteiro

O ranking também mostra por que é arriscado comparar modelos apenas pelo preço por milhão de tokens. Alguns serviços contabilizam o documento de entrada uma única vez para todas as perguntas; outros o processam novamente a cada pergunta.

Segundo os cálculos da Artificial Analysis, um milhão de tarefas custa $102 com o Drex Max v1.1 e $780 com o GLiDE v1.2. No entanto, o preço anunciado dos tokens do GLiDE é apenas 33% maior. O processamento repetido dos dados de entrada explica uma parte substancial da diferença. Esses valores correspondem à metodologia do ranking; o orçamento de uma aplicação específica dependerá dos documentos e do número de solicitações.

Antes de escolher um modelo, vale processar a mesma amostra por todo o fluxo de trabalho. Meça a proporção de documentos concluídos, a latência, os custos e o número de encaminhamentos para pessoas. Depois, verifique separadamente o que acontece quando as perguntas são reformuladas e até que ponto é possível confiar nas estimativas de confiança. O índice atualizado oferece uma referência útil de avaliação, mas os seus próprios documentos determinarão o melhor modelo para o seu processo.