LangChain testa claude-3.5-sonnet, gpt-4o, o1 e o3-mini como agentes ReAct

Em julho de 2026, a equipe da LangChain publicou o estudo Benchmarking Single Agent Performance. Nele, verificou como o aumento no número de instruções e de ferramentas disponíveis afeta a qualidade do trabalho de um agente ReAct único.

O que foi testado

O ReAct (Reasoning + Acting) é um dos padrões básicos para construir agentes de AI: o modelo alterna entre raciocinar em voz alta e chamar ferramentas, apoiando-se no resultado de cada etapa anterior. Quanto mais ferramentas e regras o desenvolvedor adiciona ao prompt de sistema desse agente, mais difícil a tarefa fica para o modelo. Ele precisa manter no contexto não só o objetivo atual, mas também uma lista crescente de funções disponíveis e restrições.

• Participaram do benchmark os modelos claude-3.5-sonnet, gpt-4o, o1 e o3-mini
• Os testes rodaram em dois domínios de tarefas diferentes
• A variável-chave do experimento é o número de instruções e ferramentas disponíveis ao agente ao mesmo tempo

Por que isso importa para quem desenvolve agentes

Na prática, equipes que constroem agentes de produção costumam seguir o caminho de menor resistência: adicionam cada vez mais ferramentas ao agente — busca em base de dados, envio de e-mails, integração com calendário — sem verificar como isso afeta a qualidade das decisões do modelo. Resultados de benchmarks como esse ajudam a entender se um modelo específico tem um limite a partir do qual mais funções disponíveis deixam de ajudar e passam a atrapalhar o agente na escolha do próximo passo correto.

A comparação entre várias famílias de modelos — os closed-source claude-3.5-sonnet e gpt-4o, além dos modelos de raciocínio o1 e o3-mini da OpenAI — mostra que as diferenças de arquitetura entre modelos de chat "comuns" e modelos voltados ao raciocínio passo a passo podem se manifestar de formas distintas justamente em cenários agênticos carregados de ferramentas, e não em benchmarks simples de pergunta e resposta.

O que a comparação entre domínios mostrou

Rodar o benchmark em dois domínios de tarefas diferentes — e não em apenas um — permite separar o padrão geral ("quanto mais ferramentas, mais difícil para o agente") de efeitos específicos de uma área. Se o modelo perde qualidade de forma consistente com o aumento de ferramentas nos dois domínios, isso é um forte sinal de uma limitação fundamental da abordagem ReAct em si, e não apenas de particularidades de uma tarefa.

Para engenheiros que projetam sistemas multiagente, isso também é um argumento a favor da decomposição: em vez de um único agente com dezenas de ferramentas, muitas vezes é mais eficiente dividir a tarefa entre vários agentes especializados, cada um trabalhando com um conjunto pequeno e criteriosamente selecionado de funções.

O que a comparação simultânea de quatro modelos oferece

Testar ao mesmo tempo claude-3.5-sonnet, gpt-4o e dois modelos de raciocínio da OpenAI — o1 e o3-mini — com o mesmo conjunto de ferramentas e instruções dá aos desenvolvedores uma referência para escolher o modelo base do próprio agente. Em vez de depender de benchmarks genéricos de pergunta e resposta, eles podem se basear em dados sobre o comportamento dos modelos justamente num cenário agêntico carregado de ferramentas, mais próximo da tarefa real de produção, em que as ferramentas se contam às dezenas, e não às unidades.

O que isso significa

Para equipes de engenharia que projetam seus próprios agentes ReAct, a conclusão é prática: a escolha do modelo e o limite de ferramentas disponíveis simultaneamente não são detalhes secundários. São parâmetros que vale testar empiricamente nas próprias tarefas, em vez de assumir por padrão que "mais ferramentas significa um agente mais inteligente".