Axion 1.0-35B alcança 52,2% no HLE, e seus criadores abrem o código de treinamento do agente

Se o seu agente precisa encontrar informações em várias fontes, compará-las e calcular uma resposta, apenas conectar uma ferramenta de busca não basta. Também é preciso ensinar o modelo a usar o que encontra. O Axion 1.0 oferece uma receita aberta para esse treinamento. Para os desenvolvedores, é uma oportunidade de estudar a preparação dos dados e testar a abordagem em suas próprias tarefas.

O projeto apresenta um número de destaque: o Axion 1.0-35B alcançou 52,2% no Humanity’s Last Exam com ferramentas. Mas, para uma equipe que está construindo um produto, outra pergunta é mais útil: quais partes desse resultado podem ser reproduzidas e quanto custarão no seu caso de uso?

O que exatamente foi disponibilizado

Segundo o repositório do projeto, o modelo menor tem 35 bilhões de parâmetros, dos quais 3 bilhões ficam ativos durante os cálculos. Ali estão publicados o código de geração e filtragem de dados, as instruções, o treinamento e a avaliação. No entanto, o README direciona os usuários a uma reprodução dos pesos feita pela comunidade e esclarece expressamente que não se trata de um checkpoint oficial do Axion. A promessa de “baixar o modelo dos autores e reproduzir o resultado” ainda exige uma verificação à parte.

O treinamento consiste em duas etapas com exemplos preparados e uma etapa de aprendizado por reforço. Primeiro, o modelo resolve tarefas com as informações disponíveis no enunciado; depois, aprende a obter as informações que faltam usando ferramentas. Na última etapa, recebe recompensas pelo resultado e por avanços intermediários verificáveis. Essa sequência é descrita no artigo dos autores.

O interesse prático está na possibilidade de examinar o processo por partes. Por exemplo, uma equipe pode considerar o método de reunir tarefas verificáveis mais útil do que o próprio modelo. Isso é especialmente relevante quando o agente já sabe acionar ferramentas, mas escolhe regularmente os dados errados para um cálculo.

Como isso funciona em uma tarefa real

Imagine um assistente de compras. Ele precisa escolher o fornecedor com o menor custo total do pedido que atenda a um prazo de entrega definido. Deve encontrar ofertas, verificar a disponibilidade, converter os preços para uma mesma moeda e somar o frete. Uma resposta bem escrita não vale nada se o agente comparou configurações de produto diferentes.

Para treinar esse assistente, é possível preparar previamente uma tabela de ofertas e calcular a escolha correta por meio de código. Depois, basta fornecer ao modelo apenas a pergunta e acesso às fontes autorizadas. A solução bem-sucedida deve ser salva junto com a sequência de ações. Esse exemplo ilustra como a ideia de tarefas verificáveis pode ser aplicada a um produto; os autores não relatam ter um agente de compras pronto para uso.

A verificação deve ir além do valor final. A configuração correta foi escolhida? Os prazos atendem aos requisitos? O frete foi incluído? Essas verificações intermediárias ajudam a identificar exatamente onde a cadeia falha. Se a resposta correta foi obtida por acaso, é melhor não considerar o exemplo uma demonstração de funcionamento confiável.

É possível começar sem treinar um modelo próprio. Reúna um pequeno conjunto de solicitações típicas, registre as fontes e as respostas corretas e teste o agente atual. Só esse passo já mostrará o que falta: capacidade de busca, de cálculo ou de compreensão dos requisitos. Depois, fica mais fácil decidir se é necessário um novo conjunto de dados.

Por que 52,2% não basta para escolher um modelo

Na descrição da avaliação, os autores apresentam o melhor resultado de uma execução individual, e não a média. Na avaliação principal do HLE, o acesso a determinados sites é restrito. Parte dos resultados dos concorrentes vem de relatórios externos, de modo que as condições de comparação não são totalmente equivalentes. A igualdade com o GPT-5.5 na tabela não pode ser extrapolada para todas as tarefas reais.

Ter 3 bilhões de parâmetros ativos também não significa que seja possível hospedar o modelo com a mesma memória exigida por um modelo convencional desse tamanho. É preciso considerar todos os pesos, o contexto e o método de execução escolhido. O custo de uma tarefa bem-sucedida também inclui buscas, execução de código e novas tentativas.

Em um piloto, eu compararia o Axion com a solução atual usando as mesmas ferramentas e os mesmos limites. Mediria a proporção de respostas corretas, o tempo de execução e o custo por tarefa concluída. Testaria separadamente os casos com uma fonte indisponível ou dados contraditórios. Se a vantagem se mantiver nessas condições, haverá motivos para discutir a adoção. Por enquanto, a principal contribuição prática do lançamento é um processo de treinamento de agentes disponível para estudo.