SubQ Snap 1.2 sobe de 68 para 73 pontos no Decision Index: passa a dizer "não sei" com mais frequência
O ranking Decision Index avalia se um modelo serve para tomar decisões: se ele inventa respostas e se muda de escolha quando a pergunta é reformulada. A SubQ Snap 1.2 marcou 73 pontos contra 68 da versão 1.1 e igualou o Drex Max v1.1 e o GLiDE v1.2. A precisão não cresceu (21% e 9%). O modelo passou a recusar respostas quando não tem certeza, e por isso a fatia de respostas sem invenção subiu de 85% para 89%. Para agentes em que o erro custa caro, isso é um ponto a favor.
Processado por IA de X: @ArtificialAnlys; editado por Hamidun News
Imagine um agente que decide sozinho qual ação executar: aprovar um pagamento, responder a um cliente, fechar um chamado. A precisão média do modelo diz pouco nesse cenário. Importa mais que ele não invente uma resposta quando não sabe e que não mude a decisão se as mesmas opções forem apenas reescritas com outras palavras. São justamente essas propriedades que a Artificial Analysis, laboratório independente, avalia no ranking Decision Index. Na versão v2.1, o modelo SubQ Snap 1.2, da Subquadratic, marcou 73 pontos contra 68 da SubQ Snap 1.1 anterior. São 5 pontos a mais, o que o coloca no mesmo patamar dos líderes do ranking. Mas o ganho não apareceu onde normalmente se esperaria.
O que o ranking mostrou
O Drex Max v1.1 e o GLiDE v1.2 também marcaram 73 pontos, e a diferença para a SubQ Snap 1.2 fica dentro de 0,1 ponto. Na prática, três modelos disputam o primeiro lugar, e não dá para escolher entre eles olhando apenas um número do ranking.
O preço continuou o mesmo: $0,04 por milhão de tokens de entrada. A janela de contexto tem 384 mil tokens. A melhora veio sem encarecer o serviço, o que importa se você calcula o custo de processar grandes volumes de texto.
Os dois subtestes que mais cresceram foram o AA-Paperclip e o AA-Symmetry, com 8 pontos de ganho em cada um.
De onde veio o crescimento
O AA-Paperclip avalia o trabalho com documentos. Conta-se a fatia de documentos em que o modelo respondeu de forma totalmente correta, sem nenhum erro. Na SubQ Snap 1.2, esse indicador subiu de 46% para 62%. O Drex Max v1.1 chega a 63%, e o GLiDE v1.2, a 62%, de modo que, aqui, os três modelos estão praticamente empatados.
O AA-Symmetry mede a estabilidade: o modelo mantém a mesma decisão e o mesmo grau de confiança quando a pergunta muda de uma forma que não deveria afetar a resposta. Um exemplo: você pede ao agente que escolha uma entre três ações e depois descreve essas opções com outras palavras. Um modelo confiável escolhe a mesma coisa. No Decision Index v2.1, esse teste foi atualizado para a versão 1.1: as opções de resposta agora estão inseridas na descrição da situação e reescritas com o mesmo sentido. A tarefa ficou mais difícil, e mesmo assim a SubQ Snap 1.2 melhorou 8 pontos.
Cautela no lugar de precisão
Os dois outros testes mais interessantes são o AA-Omniscience-Decision e o HLE-MultiChoice. Nesses, o número de respostas corretas não aumentou: a precisão ficou em 21% e 9%. Mas subiu a fatia de respostas sem invenção, isto é, os casos em que o modelo não deu uma resposta confiantemente errada: de 85% para 89% no primeiro teste e de 46% para 55% no segundo.
A causa está nas recusas. No AA-Omniscience-Decision, o modelo agora tenta responder a 29% das perguntas, antes eram 33%. Ele admite com mais frequência que não sabe e dá menos palpites errados. O ranking conta isso como melhora, porque uma resposta inventada é penalizada mais do que uma recusa honesta.
O que fazer com isso na prática
Primeiro, observe de onde vem o ganho. Os cinco pontos não significam que o modelo ficou mais inteligente: uma parte considerável da melhora está ligada à cautela. Em cenários onde o erro custa caro (finanças, medicina, documentos jurídicos, ações automáticas de agentes), isso é bom. Já se você precisa de alguma resposta para cada pedido, o excesso de cautela vai atrapalhar.
Segundo, meça a taxa de recusas com os seus próprios dados. Se o modelo responde a 29% das perguntas em vez de 33%, o comportamento do produto muda. A interface precisa saber lidar com um "não sei": encaminhar a pergunta para uma pessoa ou para outro modelo.
Terceiro, quando as pontuações empatarem, compare preço, velocidade e tamanho de contexto. Com $0,04 por milhão de tokens de entrada e janela de 384 mil tokens, a SubQ Snap 1.2 parece uma escolha razoável para o processamento em massa de documentos longos.
Limitações: são benchmarks de um único analista independente, e o teste de estabilidade foi atualizado recentemente. Por isso, não é possível comparar diretamente os números com versões anteriores do índice. Em tarefas reais, os resultados podem ser diferentes. Antes de migrar para a nova versão, rode o seu próprio conjunto de exemplos.
- 21 de nov. de 2026Modelo d1.2-ultra da Liquid AI fica em 1º lugar no teste de decisões AA-Paperclip, com 76 pontos
- 24 de out. de 2026Artificial Analysis lança Decision Index: Jev 1.13 lidera com 58 pontos
- 21 de nov. de 2026Perplexity lança Decider v1.3: 70 pontos no ranking de decisões e US$ 68 por milhão de tarefas
- 12 de nov. de 2026Google lança o Gemini Decision 1: resposta em 150–250 ms e US$ 0,10 por 1 milhão de tokens
Perguntas frequentes sobre a notícia
O que o ranking mostrou?
O Drex Max v1.1 e o GLiDE v1.2 também marcaram 73 pontos, e a diferença para a SubQ Snap 1.2 fica dentro de 0,1 ponto. Na prática, três modelos disputam o primeiro lugar, e não dá para escolher entre eles olhando apenas um número do ranking. O preço continuou o mesmo: $0,04 por milhão de tokens de entrada. A janela de contexto tem 384 mil tokens. A melhora veio sem encarecer o serviço, o que importa se você calcula o custo de processar grandes volumes de texto.
O que se sabe sobre De onde veio o crescimento?
O AA-Paperclip avalia o trabalho com documentos. Conta-se a fatia de documentos em que o modelo respondeu de forma totalmente correta, sem nenhum erro. Na SubQ Snap 1.2, esse indicador subiu de 46% para 62%. O Drex Max v1.1 chega a 63%, e o GLiDE v1.2, a 62%, de modo que, aqui, os três modelos estão praticamente empatados. O AA-Symmetry mede a estabilidade: o modelo mantém a mesma decisão e o mesmo grau de confiança quando a pergunta muda de uma forma que não deveria afetar a resposta.
O que se sabe sobre Cautela no lugar de precisão?
Os dois outros testes mais interessantes são o AA-Omniscience-Decision e o HLE-MultiChoice. Nesses, o número de respostas corretas não aumentou: a precisão ficou em 21% e 9%. Mas subiu a fatia de respostas sem invenção, isto é, os casos em que o modelo não deu uma resposta confiantemente errada: de 85% para 89% no primeiro teste e de 46% para 55% no segundo. A causa está nas recusas. No AA-Omniscience-Decision, o modelo agora tenta responder a 29% das perguntas, antes eram 33%.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.