LangChain: claude-3.5-sonnet, gpt-4o, o1 e o3-mini Testados como Agentes ReAct

A equipe do LangChain publicou uma pesquisa em julho de 2026 chamada Benchmarking Single Agent Performance, na qual testaram como o aumento no número de instruções e ferramentas disponíveis afeta a qualidade do trabalho de um agente ReAct único.

O que foi testado

ReAct (Reasoning + Acting) é um dos padrões básicos de construção de agentes de IA: o modelo alterna entre raciocinar em voz alta e chamar ferramentas, confiando no resultado de cada passo anterior. Quanto mais ferramentas e regras um desenvolvedor adiciona ao prompt do sistema de tal agente, mais complexa se torna a tarefa para o modelo — ele precisa manter não apenas o objetivo atual no contexto, mas também uma lista crescente de funções disponíveis e restrições.

• O benchmark incluiu modelos claude-3.5-sonnet, gpt-4o, o1 e o3-mini
• Testes foram executados em dois domínios de tarefas diferentes
• A variável-chave do experimento é o número de instruções e ferramentas disponíveis para o agente simultaneamente

Por que isso é importante para desenvolvedores de agentes

Na prática, as equipes que constroem agentes de produção frequentemente tomam o caminho de menor resistência: adicionam cada vez mais ferramentas ao agente — busca em base de dados, envio de e-mail, trabalho com calendário — sem verificar como isso afeta a qualidade das decisões do modelo. Os resultados de tais benchmarks ajudam a entender se um modelo específico tem um limite, após o qual o aumento no número de funções disponíveis começa a não ajudar, mas prejudicar o agente na escolha do próximo passo correto.

Comparação de várias famílias de modelos ao mesmo tempo — claude-3.5-sonnet e gpt-4o de código fechado, bem como modelos de raciocínio o1 e o3-mini da OpenAI — mostra que diferenças arquitetônicas entre modelos de chat "regulares" e modelos projetados para raciocínio passo a passo podem se manifestar de forma diferente precisamente em cenários de agentes carregados de ferramentas, não em benchmarks simples de pergunta-resposta.

O que a comparação de domínios revelou

Executar o benchmark em dois domínios de tarefas diferentes ao mesmo tempo — em vez de apenas um — permite separar o padrão geral ("quanto mais ferramentas, mais difícil é para o agente") dos efeitos específicos de um domínio particular. Se um modelo perde consistentemente em qualidade com um aumento no número de ferramentas em ambos os domínios, este é um sinal forte de uma limitação fundamental da abordagem ReAct como tal, e não apenas características de uma única tarefa.

Para engenheiros projetando sistemas multi-agentes, isso também é um argumento a favor da decomposição: em vez de um agente com dezenas de ferramentas, frequentemente é mais eficaz dividir a tarefa entre vários agentes especializados, cada um trabalhando com um conjunto pequeno e cuidadosamente selecionado de funções.

O que uma comparação de quatro modelos ao mesmo tempo oferece

Testar simultaneamente claude-3.5-sonnet, gpt-4o e dois modelos de raciocínio da OpenAI — o1 e o3-mini — no mesmo conjunto de ferramentas e instruções oferece aos desenvolvedores um ponto de referência ao escolher um modelo base para seu próprio agente: em vez de confiar em benchmarks gerais de pergunta-resposta, eles podem confiar em dados sobre o comportamento do modelo precisamente em um cenário de agente carregado de ferramentas, que está mais próximo de sua tarefa de produção real, onde a contagem de ferramentas está nas dezenas, não nas unidades.

O que isso significa

Para equipes de engenharia projetando seus próprios agentes ReAct, a conclusão é prática: a escolha do modelo e o limite no número de ferramentas simultaneamente disponíveis não é um detalhe menor, mas um parâmetro que vale a pena testar empiricamente em suas próprias tarefas, em vez de assumir por padrão que "mais ferramentas — significa que o agente é mais inteligente".