Como funciona um agente LLM: contexto, ferramentas e ciclo de feedback

Um agente LLM se diferencia de um modelo generativo pelo ciclo de feedback. Enquanto um chatbot apenas gera texto, o agente chama ferramentas, recebe resultados e refina a resposta. Isso é possível graças a uma arquitetura especial construída sobre o LLM.

Contexto e fundamentos do funcionamento

Na entrada do LLM é fornecido um bloco de texto chamado contexto. Seu tamanho é limitado: no início da era dos transformers, 32K tokens já era considerado um avanço; hoje, 1M é o padrão da indústria. Com base no contexto, o modelo gera uma continuação — um trecho logicamente completo, que termina com um token especial <stop>. Em seguida, o contexto é expandido: um novo trecho é adicionado a ele, e o ciclo se repete.

Chamada de ferramentas e sua descrição

O modelo é treinado para usar uma formatação especial ao chamar funções externas. Cada provedor implementa isso de um jeito: a Anthropic usa seu próprio formato, enquanto a OpenAI Tools API é reproduzida pela Ollama e pela vLLM. Para que o modelo saiba quais ferramentas estão disponíveis, é preciso descrevê-las previamente no contexto (no "prompt de sistema") seguindo o padrão JSON Schema — indicando parâmetros, seus tipos, descrição e obrigatoriedade.

Eis um exemplo de descrição de uma ferramenta de verificação de entrega (get_delivery_status): nome, descrição da finalidade, schema com os campos order_id (obrigatório, string) e detailed (opcional, booleano). Tendo essas descrições no contexto, o modelo gera as chamadas em um formato especial (por exemplo, o da Anthropic).

O conjunto de ferramentas disponíveis é chamado de harness ("arreio"). Para descrever ferramentas que não estão embutidas no próprio agente, usa-se o MCP (Model Context Protocol) — um padrão da indústria para IPC entre o agente e sistemas de terceiros. A troca de dados ocorre via JSON-RPC 2.0, com transporte feito por stdin/stdout de um processo local (análogo ao FastCGI) ou por HTTP, para servidores externos.

Ciclo do agente, feedback e gerenciamento de contexto

A API do provedor de LLM retorna objetos JSON tipados. O formato varia: a OpenAI Tools API é a mais difundida, sendo reproduzida pela Ollama e pela vLLM; a Anthropic tem o seu próprio. Na resposta (modelo claude-sonnet-4-5), a chamada chega em um bloco separado dentro do array content, com id, nome e um objeto input já processado. O indicador de que o turno não foi concluído é o stop_reason: "tool_use".

O resultado da execução é retornado em uma nova mensagem com o papel user e um bloco tool_result, que faz referência ao id da chamada. Se a ferramenta falhar, é retornada uma flag is_error junto com o trace do erro. O erro não interrompe o ciclo: o agente vê o que causou e, no turno seguinte, corrige. Antes, o modelo escrevia código no escuro; agora ele vê o feedback.

O contexto tem dois limites: o formal (ao ser excedido, a API retorna um erro) e o operacional (o volume a partir do qual a qualidade se degrada). Em um contexto longo, o início e o fim permanecem em foco, enquanto o meio se perde. Para contornar isso, usam-se dois recursos:

• Descarte para arquivos — no contexto, colocam-se apenas 10–20 linhas da saída, e o restante é escrito em um arquivo temporário com o caminho indicado ao lado; o modelo, se precisar, extrai o trecho necessário com uma chamada de ferramenta separada. • Compactação — substituição do contexto por um resumo conciso gerado pelo próprio LLM, usando um prompt de sistema especial que fixa a solicitação principal, os conceitos-chave, os detalhes técnicos e as decisões arquiteturais.

Essa é toda a arquitetura básica de um agente. Recomenda-se, como exercício prático, escrever um agente usando a API bruta: é possível ficar dentro de 200–300 linhas de código e obter uma ferramenta pouco inferior ao Claude Code ou ao Codex. A força do agente é determinada principalmente pela força do modelo, e não pelo conjunto de ferramentas.