Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarX: @ArtificialAnlys→ original

SubQ Snap 1.2 sobe de 68 para 73 pontos no Decision Index: passa a dizer "não sei" com mais frequência

O ranking Decision Index avalia se um modelo serve para tomar decisões: se ele inventa respostas e se muda de escolha quando a pergunta é reformulada. A SubQ Snap 1.2 marcou 73 pontos contra 68 da versão 1.1 e igualou o Drex Max v1.1 e o GLiDE v1.2. A precisão não cresceu (21% e 9%). O modelo passou a recusar respostas quando não tem certeza, e por isso a fatia de respostas sem invenção subiu de 85% para 89%. Para agentes em que o erro custa caro, isso é um ponto a favor.

Processado por IA de X: @ArtificialAnlys; editado por Hamidun News
SubQ Snap 1.2 sobe de 68 para 73 pontos no Decision Index: passa a dizer "não sei" com mais frequência
Fonte: X: @ArtificialAnlys. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalX: @ArtificialAnlys ↗
Editor-chefe
Dado-chave #1Fatia de documentos totalmente corretos no AA-Paperclip: de 46% para 62%
Dado-chave #2Nas perguntas do AA-Omniscience-Decision, o modelo responde em 29% dos casos, contra 33% antes
Dado-chave #3Preço de $0,04 por 1 milhão de tokens de entrada, janela de contexto de 384 mil tokens

Imagine um agente que decide sozinho qual ação executar: aprovar um pagamento, responder a um cliente, fechar um chamado. A precisão média do modelo diz pouco nesse cenário. Importa mais que ele não invente uma resposta quando não sabe e que não mude a decisão se as mesmas opções forem apenas reescritas com outras palavras. São justamente essas propriedades que a Artificial Analysis, laboratório independente, avalia no ranking Decision Index. Na versão v2.1, o modelo SubQ Snap 1.2, da Subquadratic, marcou 73 pontos contra 68 da SubQ Snap 1.1 anterior. São 5 pontos a mais, o que o coloca no mesmo patamar dos líderes do ranking. Mas o ganho não apareceu onde normalmente se esperaria.

O que o ranking mostrou

O Drex Max v1.1 e o GLiDE v1.2 também marcaram 73 pontos, e a diferença para a SubQ Snap 1.2 fica dentro de 0,1 ponto. Na prática, três modelos disputam o primeiro lugar, e não dá para escolher entre eles olhando apenas um número do ranking.

O preço continuou o mesmo: $0,04 por milhão de tokens de entrada. A janela de contexto tem 384 mil tokens. A melhora veio sem encarecer o serviço, o que importa se você calcula o custo de processar grandes volumes de texto.

Os dois subtestes que mais cresceram foram o AA-Paperclip e o AA-Symmetry, com 8 pontos de ganho em cada um.

De onde veio o crescimento

O AA-Paperclip avalia o trabalho com documentos. Conta-se a fatia de documentos em que o modelo respondeu de forma totalmente correta, sem nenhum erro. Na SubQ Snap 1.2, esse indicador subiu de 46% para 62%. O Drex Max v1.1 chega a 63%, e o GLiDE v1.2, a 62%, de modo que, aqui, os três modelos estão praticamente empatados.

O AA-Symmetry mede a estabilidade: o modelo mantém a mesma decisão e o mesmo grau de confiança quando a pergunta muda de uma forma que não deveria afetar a resposta. Um exemplo: você pede ao agente que escolha uma entre três ações e depois descreve essas opções com outras palavras. Um modelo confiável escolhe a mesma coisa. No Decision Index v2.1, esse teste foi atualizado para a versão 1.1: as opções de resposta agora estão inseridas na descrição da situação e reescritas com o mesmo sentido. A tarefa ficou mais difícil, e mesmo assim a SubQ Snap 1.2 melhorou 8 pontos.

Cautela no lugar de precisão

Os dois outros testes mais interessantes são o AA-Omniscience-Decision e o HLE-MultiChoice. Nesses, o número de respostas corretas não aumentou: a precisão ficou em 21% e 9%. Mas subiu a fatia de respostas sem invenção, isto é, os casos em que o modelo não deu uma resposta confiantemente errada: de 85% para 89% no primeiro teste e de 46% para 55% no segundo.

A causa está nas recusas. No AA-Omniscience-Decision, o modelo agora tenta responder a 29% das perguntas, antes eram 33%. Ele admite com mais frequência que não sabe e dá menos palpites errados. O ranking conta isso como melhora, porque uma resposta inventada é penalizada mais do que uma recusa honesta.

O que fazer com isso na prática

Primeiro, observe de onde vem o ganho. Os cinco pontos não significam que o modelo ficou mais inteligente: uma parte considerável da melhora está ligada à cautela. Em cenários onde o erro custa caro (finanças, medicina, documentos jurídicos, ações automáticas de agentes), isso é bom. Já se você precisa de alguma resposta para cada pedido, o excesso de cautela vai atrapalhar.

Segundo, meça a taxa de recusas com os seus próprios dados. Se o modelo responde a 29% das perguntas em vez de 33%, o comportamento do produto muda. A interface precisa saber lidar com um "não sei": encaminhar a pergunta para uma pessoa ou para outro modelo.

Terceiro, quando as pontuações empatarem, compare preço, velocidade e tamanho de contexto. Com $0,04 por milhão de tokens de entrada e janela de 384 mil tokens, a SubQ Snap 1.2 parece uma escolha razoável para o processamento em massa de documentos longos.

Limitações: são benchmarks de um único analista independente, e o teste de estabilidade foi atualizado recentemente. Por isso, não é possível comparar diretamente os números com versões anteriores do índice. Em tarefas reais, os resultados podem ser diferentes. Antes de migrar para a nova versão, rode o seu próprio conjunto de exemplos.

História

Perguntas frequentes sobre a notícia

O que o ranking mostrou?

O Drex Max v1.1 e o GLiDE v1.2 também marcaram 73 pontos, e a diferença para a SubQ Snap 1.2 fica dentro de 0,1 ponto. Na prática, três modelos disputam o primeiro lugar, e não dá para escolher entre eles olhando apenas um número do ranking. O preço continuou o mesmo: $0,04 por milhão de tokens de entrada. A janela de contexto tem 384 mil tokens. A melhora veio sem encarecer o serviço, o que importa se você calcula o custo de processar grandes volumes de texto.

O que se sabe sobre De onde veio o crescimento?

O AA-Paperclip avalia o trabalho com documentos. Conta-se a fatia de documentos em que o modelo respondeu de forma totalmente correta, sem nenhum erro. Na SubQ Snap 1.2, esse indicador subiu de 46% para 62%. O Drex Max v1.1 chega a 63%, e o GLiDE v1.2, a 62%, de modo que, aqui, os três modelos estão praticamente empatados. O AA-Symmetry mede a estabilidade: o modelo mantém a mesma decisão e o mesmo grau de confiança quando a pergunta muda de uma forma que não deveria afetar a resposta.

O que se sabe sobre Cautela no lugar de precisão?

Os dois outros testes mais interessantes são o AA-Omniscience-Decision e o HLE-MultiChoice. Nesses, o número de respostas corretas não aumentou: a precisão ficou em 21% e 9%. Mas subiu a fatia de respostas sem invenção, isto é, os casos em que o modelo não deu uma resposta confiantemente errada: de 85% para 89% no primeiro teste e de 46% para 55% no segundo. A causa está nas recusas. No AA-Omniscience-Decision, o modelo agora tenta responder a 29% das perguntas, antes eram 33%.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…