Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

Agente em vez de chatbot: o AutoGen resolveu a tarefa com 8.170 tokens, o LangChain com 10.070

RAG é um chatbot com busca em base: ele responde em uma única passagem, enquanto um agente roda em um ciclo de "pensar, chamar uma ferramenta, verificar". No teste da AIMultiple, em que quatro colunas de JSON precisavam ser analisadas, o AutoGen chamou as ferramentas em paralelo e gastou 8.170 tokens (unidades de texto pelas quais se paga) e 47 segundos. O LangChain fez as chamadas uma após a outra: 10.070 tokens e 86 segundos. Por isso, a escolha do framework deve se basear em medições nas suas próprias tarefas, e não na popularidade.

Processado por IA de Habr AI; editado por Hamidun News
Agente em vez de chatbot: o AutoGen resolveu a tarefa com 8.170 tokens, o LangChain com 10.070
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Dado-chave #1O LATS com GPT-4 resolve 92,7% das tarefas do HumanEval na primeira tentativa; o ReAct, cerca de 80%
Dado-chave #2No mesmo teste, o LangGraph gastou 9.150 tokens e 70 segundos, com entre 6 e 16 chamadas de ferramentas
Dado-chave #3Por padrão, o agente roda em uma sandbox sem rede, e os testes funcionam como juiz

Hoje, o termo "agente" é colado a quase qualquer chatbot, mas a diferença entre eles afeta diretamente a conta de tokens (pedaços de texto pelos quais se paga ao provedor do modelo) e os riscos envolvidos. Um RAG comum é um chatbot que, antes de responder, busca os documentos relevantes na sua base de conhecimento: recebe a pergunta, encontra o texto, responde e para. Já o agente funciona de outra forma: ele mesmo chama ferramentas e repete etapas até resolver a tarefa.

No levantamento publicado no Habr, o especialista independente Andrei Biriukov comparou abordagens e frameworks como AutoGen, LangGraph, LangChain e CrewAI. Na mesma tarefa, o AutoGen gastou 8.170 tokens, e o LangChain, 10.

070. A seguir, uma análise voltada para a engenharia e para o custo.

Uma passagem contra um ciclo

Um sistema RAG clássico processa a consulta em uma única passagem: reúne o contexto, gera a resposta e termina. O agente mantém na memória o objetivo e o histórico das suas ações, decide o próximo passo, chama uma ferramenta, analisa o resultado e volta ao raciocínio. O ciclo continua até a tarefa ser concluída ou até acabar o orçamento ou o limite de iterações.

O exemplo do artigo é "avisar os clientes sobre um atraso". Um chatbot escreve o texto do e-mail. Um agente consulta o CRM em busca de pedidos atrasados, redige os e-mails com datas concretas, envia-os pela API de e-mail, atualiza o status no banco de dados e, por fim, verifica se todos os pedidos foram processados.

As abordagens de raciocínio são diferentes. O Chain-of-Thought mostra as etapas intermediárias, mas os erros se acumulam em cadeias longas. O Tree-of-Thought explora ramificações, mas custa bem mais em computação.

O ReAct alterna pensamento e ação e continua sendo o mais prático. O Reflexion registra os fracassos na memória e leva-os em conta na tentativa seguinte. A mais forte entre elas é o LATS: ele usa busca em árvore de Monte Carlo e, no HumanEval (tarefas de escrita de código), com GPT-4 resolve 92,7% das tarefas na primeira tentativa, enquanto o ReAct com o mesmo modelo chega a cerca de 80%.

O motivo é que o gerador de variantes e o avaliador são separados, e, em tarefas de código, quem julga são os testes, o linter e a verificação de tipos. O agente não consegue se convencer de que está tudo bem se os testes estão falhando.

Quanto custam os frameworks

A parte mais útil para quem coloca em produção é a medição da AIMultiple sobre o processamento de dados não estruturados. A tarefa: analisar quatro colunas independentes de JSON.

  • AutoGen: uma rodada do modelo com quatro chamadas paralelas de ferramentas, 8.170 tokens, latência mediana de 47 segundos.
  • LangGraph: 9.150 tokens e 70 segundos. O número de chamadas de ferramentas variou de 6 a 16, porque o sistema tende a repetir etapas já executadas.
  • LangChain com AgentExecutor sequencial: 4 rodadas, 10.070 tokens, 86 segundos.

A conclusão é simples: chamadas paralelas de ferramentas economizam tempo e tokens, enquanto repetições desnecessárias, como as do LangGraph, pesam no orçamento.

O autor converte isso em dinheiro com os preços do GPT-4o (US$ 2,50 por milhão de tokens de entrada e US$ 10 por milhão de tokens de saída) para 1.000 tarefas por dia. O resultado fica em torno de US$ 12 a 18 por dia para um LangGraph otimizado, US$ 18 a 28 para o CrewAI e US$ 25 a 40 para o AutoGen.

Com 10.000 tarefas por dia, a diferença entre os frameworks, segundo a estimativa dele, chega a US$ 47.000 a 80.

000 por ano. Aqui há uma incoerência: no teste de tokens, o AutoGen é o mais econômico, mas na estimativa em dinheiro ele é o mais caro. Provavelmente, em cenários reais, o número de etapas e o tamanho dos prompts diferem bastante da tarefa de laboratório.

A fonte não divulga a metodologia do cálculo, então vale refazer as contas com dados próprios.

Memória e segurança

Tarefas longas exigem memória. O LangGraph salva o estado por meio de checkpoints, por exemplo com o AgentCoreMemorySaver, e o agente pode retomar o trabalho depois de uma falha. O Microsoft Agent Framework cria checkpoints automaticamente a cada execução do workflow. O Reflexion, em vez do estado completo, guarda "lições" curtas em texto sobre os fracassos: é mais compacto, mas menos previsível.

Ampliar as capacidades do agente também amplia a superfície de ataque. O autor recomenda executar os agentes em uma sandbox, bloquear por padrão todo o tráfego de entrada e saída e liberar apenas as conexões necessárias por meio de listas de acesso. Também é útil separar o ambiente do agente, a infraestrutura de inferência e a sandbox para comandos, além de restringir o acesso a credenciais.

As configurações de execução de código embutidas no AutoGen e no CrewAI não substituem o isolamento de processos, que continua sob responsabilidade do desenvolvedor. A segunda linha de defesa é a verificação das ações por testes externos e, onde não existe verificação formal, o LLM-as-judge (outro modelo atuando como juiz) com uma escala calibrada.

O que aproveitar

O texto é, sobretudo, uma revisão, sem experimentos próprios do autor. Ainda assim, dá para tirar três conclusões práticas. Primeiro: antes de escolher um framework, meça tokens, número de chamadas e latência na sua tarefa. Segundo: sempre que possível, faça as chamadas de ferramentas em paralelo. Terceiro: coloque um juiz objetivo sobre o agente (testes, linter, validadores) e mantenha-o em um ambiente isolado, com limites rígidos de iterações e de orçamento.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Uma passagem contra um ciclo?

Um sistema RAG clássico processa a consulta em uma única passagem: reúne o contexto, gera a resposta e termina. O agente mantém na memória o objetivo e o histórico das suas ações, decide o próximo passo, chama uma ferramenta, analisa o resultado e volta ao raciocínio. O ciclo continua até a tarefa ser concluída ou até acabar o orçamento ou o limite de iterações. O exemplo do artigo é "avisar os clientes sobre um atraso". Um chatbot escreve o texto do e-mail.

O que se sabe sobre Quanto custam os frameworks?

A parte mais útil para quem coloca em produção é a medição da AIMultiple sobre o processamento de dados não estruturados. A tarefa: analisar quatro colunas independentes de JSON. AutoGen: uma rodada do modelo com quatro chamadas paralelas de ferramentas, 8.170 tokens, latência mediana de 47 segundos. LangGraph: 9.150 tokens e 70 segundos. O número de chamadas de ferramentas variou de 6 a 16, porque o sistema tende a repetir etapas já executadas.

O que se sabe sobre Memória e segurança?

Tarefas longas exigem memória. O LangGraph salva o estado por meio de checkpoints, por exemplo com o AgentCoreMemorySaver, e o agente pode retomar o trabalho depois de uma falha. O Microsoft Agent Framework cria checkpoints automaticamente a cada execução do workflow. O Reflexion, em vez do estado completo, guarda "lições" curtas em texto sobre os fracassos: é mais compacto, mas menos previsível. Ampliar as capacidades do agente também amplia a superfície de ataque.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…