Artificial Analysis lança Decision Index: Jev 1.13 lidera com 58 pontos

A Artificial Analysis lançou em 13 de outubro de 2026 o Decision Index v1.0, um benchmark dedicado a decision-models. A categoria engloba modelos projetados para selecionar uma resposta a partir de uma lista pré-determinada em uma única chamada, fornecendo uma distribuição de probabilidade para cada alternativa. O Jev 1.13 conquistou o primeiro lugar com 58 pontos, enquanto o GLiDE, da Fastino Labs, e o Microsoft-Decision-1 empataram com 54 pontos. Entre os modelos de linguagem convencionais, o Claude Haiku 5.5 (Low) superou a pontuação ao marcar 61, mas opera com 11 vezes mais lentidão e custa 4,4 vezes mais.

O que o índice mede

Para a Artificial Analysis, o formato de operação é o que distingue um decision-model de um LLM tradicional. Em vez de gerar cadeias longas de raciocínio, o sistema soluciona tarefas estruturadas imediatas, como «para qual equipe encaminhar este ticket», «o caso é urgente?» ou «qual o nível de frustração do cliente». A inferência ocorre em uma única passagem, atribuindo uma probabilidade direta a cada hipótese. Essa mecânica reduz custos, derruba a latência e viabiliza a verificação direta de calibração. Para avaliar LLMs nos mesmos testes, o serviço utiliza respostas estruturadas sem distribuição de probabilidades entre as opções.

O índice é composto por quatro avaliações com peso de 25% cada:

• AA-Omniscience-Decision: 500 questões fechadas com cinco alternativas (quatro respostas e a opção «não sei»). Precisão e taxa de não alucinação têm peso de 12,5% cada.
• HLE-MultiChoice: 513 questões dissertativas convertidas em múltipla escolha extraídas do Humanity's Last Exam.
• When2Call: benchmark da NVIDIA voltado para tool calling. O modelo precisa decidir se responde de imediato, aciona uma ferramenta, pede esclarecimentos ou assume incapacidade de resposta.
• WildGuardTest: conjunto de dados do Ai2 para classificação de segurança. A tarefa exige detectar prompts maliciosos, identificar se a resposta é uma recusa e checar se o conteúdo gerado apresenta riscos.

Quem lidera e quanto custa

O Jev 1.13 garantiu a liderança impulsionado por sua capacidade de raciocínio: marcou 21 pontos no HLE-MultiChoice, enquanto os demais decision-models ficaram em 15 ou menos. No AA-Omniscience-Decision, a precisão do Jev foi de 35, ficando atrás do d1 da Liquid AI, que liderou com 41. O d1, contudo, quase não aciona a resposta «não sei», obtendo taxa de não alucinação de apenas 2. No When2Call, o Jev ficou em quarto lugar com 81 pontos, superado pelo Celeris-1 Decision e pelo GLiDE, ambos com 84. No WildGuardTest, o Jev registrou 94 pontos — empatando com o Perplexity Decider v1.1 27B —, um ponto atrás do GLiDE.

O custo por milhão de tarefas entre os decision-models varia de $17 a $199, com tempo mediano por tarefa entre 0,06 e 0,5 segundo. O Decider v1.1 27B é a opção mais barata ($17). Na fronteira de Pareto de custo-benefício também figuram o Microsoft-Decision-1 ($31) e o Jev 1.13 ($42). O GLiDE, apesar de empatar nos mesmos 54 pontos da Microsoft, custa $119 — quase o triplo do Jev. O mais veloz é o Celeris-1 Decision, com 0,06 s por tarefa, contra 0,13 s do Jev.

O comparativo com modelos de linguagem tradicionais revela contrastes. O GPT-6 Luna (Low) atinge 55 pontos com latência de 1,5 s ao custo de $131. O Claude Haiku 5.

5 (Low) faz 61 pontos em 1,4 s por $184. Em testes de conhecimento puro, os LLMs mantêm ampla vantagem: no AA-Omniscience-Decision, o Haiku registrou precisão de 52 e o Luna marcou 66, enquanto os decision-models oscilaram entre 28 e 41. No HLE-MultiChoice, os LLMs cravaram 24 e 22 pontos, contra 21 do Jev.

Em contrapartida, os melhores decision-models rivalizam diretamente em classificação e tool calling: no WildGuardTest, o GLiDE fez 95 pontos contra 93 do Haiku e 89 do Luna; no When2Call, GLiDE e Celeris alcançaram 84, superando os 77 do Luna e os 73 do Haiku.

Confiança sem base factual

A principal crítica dos pesquisadores aos decision-models concentra-se na calibração probabilística. Em praticamente todas as faixas de probabilidade avaliadas, a precisão empírica ficou abaixo dos valores declarados — padrão observado em todos os modelos testados. O descompasso é mais severo em tarefas de conhecimento e raciocínio (AA-Omniscience-Decision e HLE-MultiChoice), ao passo que When2Call e WildGuardTest apresentaram calibração satisfatória. A calibração dos LLMs ainda não foi divulgada no índice e deve sair em uma atualização futura.

A capacidade de se abster também foi testada separadamente. O Microsoft-Decision-1 apresentou a melhor taxa de não alucinação (40%), seguido pelo Jev 1.13 (35%) e pelo Mercury Decide (32%). Nenhum outro decision-model conseguiu alcançar a marca de 17%.

Aplicações práticas recomendadas

Para roteamento de chamados, moderação de conteúdo e seleção de ferramentas em pipelines agênticos, um decision-model posicionado na fronteira de Pareto — como Jev 1.13 ou Microsoft-Decision-1 — entrega desempenho equivalente ao de LLMs com fração do custo e da latência. Em contrapartida, para checagem factual e raciocínio complexo, as probabilidades fornecidas por esses modelos não devem ser tratadas como estimativas confiáveis de risco; o limiar de confiança precisa ser calibrado empiricamente com dados próprios de produção.

Caso o custo do erro seja alto, a recomendação é manter «não sei» como uma classe explícita e repassar esses casos para um LLM robusto ou para supervisão humana. Desenvolvedores interessados em submeter modelos para avaliação podem entrar em contato pelo e-mail [email protected].