CLEAT ensina agentes com Qwen3-4B a fazer perguntas na hora certa: até +13,2 p.p.

Pesquisadores publicaram no arXiv o trabalho CLEAT: um framework que ensina um agente baseado em LLM a decidir quando precisa perguntar ao usuário e quando é melhor agir por conta própria. No modelo Qwen3-4B, o método obteve a maior pontuação média nas dez configurações de teste, em quatro benchmarks. Sobre o baseline mais forte, o ganho chegou a 13,2 ponto percentual no UserGym Travel e a 6,5 p.p. na precisão de identificação de subespecificação da solicitação no IN3.

O problema: nem sempre perguntar ajuda

Os agentes assumem tarefas cada vez mais complexas, mas os usuários muitas vezes não explicitam objetivos e restrições. Uma pessoa pede para planejar uma viagem e não menciona o orçamento nem as conexões indesejadas. O agente pode tentar adivinhar e errar. Também pode encher o usuário de perguntas e estragar a experiência. Os autores formulam o problema como um alinhamento interativo de intenções por meio de esclarecimentos.

Há uma sutileza aqui. Esclarecer só faz sentido se o agente for capaz de transformar a resposta em uma decisão melhor. Ao longo do treinamento, muda a forma como o modelo lida com informações incompletas e usa as novas respostas. Por isso, uma mesma pergunta ora é útil, ora inútil, dependendo do momento. Regras estáticas, como "pergunte se faltarem parâmetros", não acompanham essa dinâmica.

Como o CLEAT funciona

O nome é a sigla de CLarification through valuE-guided Agent co-Training. O framework treina em conjunto duas partes: um controlador de valor dos esclarecimentos e a política que resolve a tarefa. Ambas aprendem a partir dos mesmos resultados de interação.

O conceito central do trabalho é o valor residual da consulta (residual query value). Ele mede quanto benefício a pergunta traz para a tarefa em comparação com seguir trabalhando com a política atual. A estimativa vem de execuções pareadas a partir do mesmo histórico de diálogo: em uma, o agente segue o ramo com a pergunta; na outra, age imediatamente. A diferença entre os retornos é o rótulo de valor.

Esses retornos pareados são usados de duas maneiras. O controlador aprende a prever o valor do esclarecimento. A política aprende a escolher perguntas úteis e a se apoiar nas respostas. Depois, o ciclo se fecha: o controlador orienta a coleta das próximas execuções, e os resultados do agente atualizado geram rótulos novos. As dicas de esclarecimento se ajustam à capacidade crescente do modelo.

O que mostraram os experimentos

Principais resultados na versão v1 do preprint:

• modelo base: Qwen3-4B;
• maior pontuação média em todas as 10 configurações de avaliação, em 4 benchmarks;
• até +13,2 p.p. sobre o baseline mais forte no UserGym Travel;
• +6,5 p.p. na precisão do julgamento de subespecificação no IN3;
• ablações: o treinamento conjunto melhora a política mesmo quando o controlador é desligado na inferência;
• a adaptação das dicas à evolução da política traz um ganho adicional.

O último ponto é o mais importante para a prática. Ele indica que o controlador não funciona apenas como um filtro na etapa de inferência, mas também como um professor: muda a própria forma como o agente lida com dados incompletos.

Onde isso pode ser útil

Equipes que constroem agentes para reservas, suporte ou programação ganham um princípio claro: medir o benefício marginal da pergunta, em vez de impor um limiar fixo. Se o assistente pergunta demais, os usuários vão embora. Se pergunta de menos, erra em silêncio. As execuções pareadas oferecem um jeito de calibrar esse equilíbrio com base em resultados reais das tarefas.

As limitações também são visíveis. Os resultados vêm de um modelo pequeno, de 4 bilhões de parâmetros, e ainda não passaram por revisão por pares. As execuções pareadas a partir do mesmo histórico exigem computação adicional no treinamento. O abstract não informa como o método se comporta em modelos maiores e em produtos reais com usuários de verdade. Mesmo assim, o esquema em si, em que o valor da pergunta é reavaliado à medida que o agente evolui, parece aplicável além desta implementação específica.