Hugging Face e Lambda: como analisar e ajustar com reasoning traces de agentes

O MarkTechPost publicou uma análise prática do dataset lambda/hermes-agent-reasoning-traces, que ajuda a estudar como agentes de IA pensam, chamam ferramentas e respondem em diálogos de vários passos. Não é o lançamento de um novo modelo, mas um pipeline de trabalho pronto: do parsing de traces brutos à análise, aos gráficos e à preparação dos dados para fine-tuning.

O que há no dataset

O foco do material é um dataset da Lambda no Hugging Face com duas configurações: kimi e glm-5.1. A primeira tem 7646 exemplos, e a segunda, 7055. Cada exemplo contém uma lista de mensagens, a descrição das ferramentas disponíveis, a categoria da tarefa, a subcategoria e a solicitação original do usuário. O formato é próximo do ShareGPT: o diálogo traz mensagens de sistema, de usuário, do agente e de ferramentas, então um único registro permite reconstruir quase todo o trabalho do agente.

"Cada exemplo é um diálogo agêntico real, com raciocínio passo a passo

e resultados reais de chamadas de ferramentas."

O principal valor do dataset é que ele traz não só a resposta final, mas também os passos intermediários. A configuração kimi tem média de 24,3 turnos e 13,9 chamadas de ferramentas por exemplo; a glm-5.1, 19,1 turnos e 9,7 chamadas. No total, são nove categorias, entre elas Terminal & Coding, Agent Tools, Repository Tasks, Browser Automation e File Operations. Ou seja, não são prompts de brinquedo, mas cenários reais em que o agente escreve código, navega no browser, trabalha com arquivos e aciona funções externas.

Como a análise é feita

Os autores começam com uma inspeção básica do split train pela biblioteca datasets: examinam os campos, as categorias e um exemplo específico. Depois criam parsers com expressões regulares para extrair separadamente os blocos de raciocínio, as chamadas de função e as respostas das ferramentas. Esse passo divide uma trajetória do agente em partes claras e permite analisar à parte o raciocínio interno, as ações e a resposta final.

• Das mensagens do agente são extraídos os pensamentos, as chamadas de ferramentas e o texto final
• Erros de parsing de JSON são sinalizados à parte, para não quebrar o pipeline
• Em uma amostra, calculam-se o tamanho dos diálogos, o número de chamadas e a frequência de erros
• São gerados gráficos das ferramentas mais usadas, das chamadas paralelas e da distribuição de categorias

Em uma amostra de 3000 trajetórias, o guia calcula as médias e as visualiza com matplotlib. Também mostra como exibir um trace completo de forma legível: onde estava a solicitação do usuário, onde o agente raciocinou, qual ferramenta chamou e o que ela devolveu. Para equipes que avaliam agentes, isso é especialmente útil: em vez de uma única nota final, é possível ver padrões reais de comportamento, chamadas desnecessárias, pensamentos vazios e erros recorrentes nas respostas das ferramentas.

Preparação para o treinamento

Na segunda metade, o material passa da análise para a prática de ML. Os diálogos são convertidos para um formato de mensagens compatível com modelos de chat e com pipelines de treinamento comuns, e as respostas das ferramentas são reempacotadas como contexto de entrada para o passo seguinte. Em seguida vêm a tokenização e o label masking: só os tokens das mensagens do assistente entram na loss, e o restante fica mascarado. É uma base importante para o supervised fine-tuning quando o objetivo é ensinar o modelo a responder e agir a partir de uma trajetória já percorrida.

Os autores também incluem um pequeno trace replayer, que reproduz passo a passo o comportamento do agente, e um ciclo de treinamento de demonstração com TRL. O exemplo usa o tokenizer do Qwen2.5 e um subconjunto pequeno de treino, então é mais um modelo-base do que uma receita pronta para produção. Mas essa é a vantagem do material: dá para rodá-lo rápido, trocar a configuração, adicionar métricas próprias e ter um laboratório básico para analisar traces de agentes, sem longa preparação nem infraestrutura extra.

O que isso significa

O mercado vem migrando aos poucos da avaliação apenas da resposta final para a análise do comportamento completo do agente de IA. Datasets e guias como este dão às equipes uma forma prática de olhar não só para o que o modelo respondeu, mas para como ele raciocinou, errou e chamou ferramentas, e no que vale a pena ajustá-lo a seguir.