StartLux-Decision reduz em 65% a cadeia média de raciocínio

A maioria dos agentes em produção usa recursos computacionais de forma bastante absurda: passa o mesmo tempo refletindo tanto sobre uma escolha estratégica complexa quanto sobre a possibilidade de chamar a próxima ferramenta. O StartLux-Decision propõe uma abordagem mais prática. Primeiro, o modelo estima as probabilidades das opções válidas. Se uma resposta for convincente o bastante, ele a entrega em uma única passagem. Se a confiança for insuficiente, ativa um raciocínio curto e repete a avaliação.

Um exemplo simples é um agente que decide se deve aceitar o resultado de uma tarefa concluída. Ele recebe um registro de ações, os requisitos e duas opções: “aceitar” ou “devolver para ajustes”. Se todas as verificações estiverem verdes e os critérios tiverem sido atendidos, não há necessidade de um longo monólogo interno. Quando um teste falha, mas as regras permitem exceções, o modelo pode gastar tokens adicionais, verificar as condições e só então escolher a resposta. O desenvolvedor controla esse comportamento por meio de um limiar de confiança.

Uma interface para decisões rápidas e complexas

A família inclui modelos de 0,8 bilhão a 27 bilhões de parâmetros. O Instant sempre responde em uma única passagem. O AutoThink compara a maior probabilidade com um limiar definido: se a confiança for suficiente, responde imediatamente; caso contrário, gera um raciocínio e recalcula as probabilidades das opções.

As entradas são o estado da tarefa, o tipo de pergunta e as respostas válidas. A saída traz não apenas a opção escolhida, mas também uma distribuição de probabilidades. Há suporte para seleção a partir de uma lista, respostas de “sim ou não” e avaliações em uma escala. Esse contrato é conveniente para o roteamento de solicitações, a validação de resultados, a autorização de ferramentas e outras decisões restritas nas quais o texto livre mais atrapalha do que ajuda.

Segundo os autores, o Instant supera modelos abertos comparáveis em 7,4–16,9 pontos na parte pública do Decision Index 0.3. O modelo AutoThink de 27 bilhões de parâmetros marcou 73,37 pontos. No DecisionPivot, em que pares de tarefas diferem por um único detalhe decisivo, o AutoThink acrescenta 11,5–18,4 pontos aos resultados do Instant. Essas são pontuações de testes específicos, e não uma medida universal da precisão do sistema.

Como o modelo aprende quando parar

Um simples interruptor de “pensar” mostrou-se insuficiente. Nos primeiros experimentos, o modelo de 4 bilhões de parâmetros praticamente não raciocinava em cerca de 40% dos casos. A versão de 9 bilhões, por outro lado, continuava gerando texto até atingir o limite de comprimento em aproximadamente 70% dos casos. Ou seja, um modelo tomava a decisão cedo demais, enquanto o outro consumia o orçamento sem perceber que o trabalho útil já havia terminado.

Para o AutoThink, os autores desenvolveram o RLCD², um método de aprendizado por reforço que avalia quanto o raciocínio melhorou a previsão probabilística. Se a opção correta recebe uma probabilidade melhor após a análise, o modelo ganha uma recompensa. Cadeias excessivamente longas recebem uma penalidade leve. Como resultado, o comprimento médio do raciocínio caiu para 65%, enquanto a parcela de cadeias concluídas antes de atingir o limite aumentou em até 48 pontos percentuais, com pouca alteração na qualidade das decisões.

O que levar para o produto

A ideia central é mais útil do que o modelo específico: o orçamento computacional deve ser distribuído de acordo com a incerteza da solicitação. Um agente pode manter um caminho rápido para decisões óbvias e ativar a análise dispendiosa apenas perto do limite de confiança. Isso é especialmente apropriado para roteamento, verificação de políticas, escolha de ferramentas e aceitação automatizada de tarefas.

No entanto, a probabilidade do modelo não pode ser tratada como uma garantia pronta. O limiar depende dos dados, do custo do erro e dos requisitos de latência. Nos testes publicados, reduzir o limiar do AutoThink de 90% para 60% diminuiu de forma perceptível a parcela de solicitações que acionavam o raciocínio, mas piorou os resultados em tarefas sensíveis a regras e cálculos. A quantização também pode reduzir a qualidade: em uma das configurações Q4_K_M, a perda chegou a 4,3 pontos.

O caminho prático é simples: reunir um registro de decisões reais, classificar os erros por custo, medir a calibração das probabilidades e selecionar um limiar separado para cada cenário. Em ações críticas, a baixa confiança deve levar não apenas a raciocínio adicional, mas também a uma verificação por código, por um segundo classificador ou por uma pessoa. O StartLux-Decision apresenta uma boa base arquitetônica, mas o que o transforma em um produto seguro não é o nome do modelo, e sim um processo validado de tomada de decisões.