OTUS explicou no Habr como funcionam os agentes de AI para desenvolvimento de software: de tokens a ferramentas

A Habr publicou um detalhamento abrangente de como funcionam os agentes de IA para desenvolvimento. O texto desmitifica a aura de "magia" e mostra que por trás da interface conveniente existem mecânicas bem concretas: tokens, prompt de sistema, ferramentas, histórico de diálogo e um ciclo de chamadas repetidas do modelo.

Arquitetura Básica do Agente

A ideia principal do artigo é simples: um agente de desenvolvimento não é um tipo separado de inteligência, mas um envoltório em torno de um grande modelo de linguagem. Dentro desse sistema existe o próprio LLM, um prompt de sistema oculto com regras de comportamento, uma lista de ferramentas disponíveis e código que executa tudo isso em um ciclo "requisição → chamada de função → resultado → nova requisição". Esse arcabouço é o que transforma um modelo capaz de continuar texto em um assistente que escreve código, lê arquivos, executa comandos e retorna resultados intermediários.

A mecânica básica do LLM também é discutida separadamente. Um modelo trabalha não com palavras, mas com tokens — representações numéricas de texto e imagens. Isso é importante não apenas para entender a arquitetura, mas também para a economia do produto: os provedores cobram pelos tokens de entrada e saída processados e também limitam o tamanho total do contexto. Portanto, até uma frase aparentemente simples do usuário faz parte de uma cadeia onde cada nova operação afeta o preço, latência e qualidade da resposta.

Contexto e Preço

O artigo explica bem por que um chat longo com um agente quase sempre se torna mais caro. Um modelo de linguagem não tem memória própria entre requisições, então a aplicação é forçada a reenviar o histórico da conversa para ele a cada novo turno. Se um usuário pede para primeiro escrever uma função, depois reescrevê-la para uma biblioteca diferente e depois adicionar testes, todo o diálogo anterior volta para o modelo como entrada. Conforme a sessão cresce, o custo de cada passo subsequente aumenta.

• comprimento do prompt de sistema
• volume do histórico de chat
• número de tokens de entrada e saída
• cache de prefixos repetidos
• número de chamadas de função intermediárias

Nesse contexto, o cache de tokens se torna especialmente importante. Se a parte inicial do prompt não muda, o provedor do modelo pode processá-la mais barato porque alguns cálculos já foram feitos antes. É por isso que bons sistemas de agentes tentam conduzir o diálogo cuidadosamente, não quebrar pedaços estáveis do contexto e não remontar a requisição sem necessidade. Caso contrário, um agente pode trabalhar notavelmente mais caro sem qualquer ganho real em resultados ou velocidade.

Ferramentas e Raciocínio

A diferença fundamental entre um agente e um chat regular é o acesso a ferramentas. O modelo recebe instruções sobre quais funções ele pode chamar: desde leitura de arquivos e busca de código até execução de Bash ou Python. Em seguida, o envoltório do agente extrai tal chamada da resposta do modelo, a executa e retorna o resultado de volta ao contexto. É através desse ciclo que um agente pode não apenas "aconselhar", mas realmente testar hipóteses, examinar conteúdos do projeto, reproduzir erros e corrigir código com base em fatos e não em palpites.

Outra camada é o modo de raciocínio, que dá ao modelo mais tempo e tokens para análise intermediária da tarefa. No artigo é descrito como um dos deslocamentos mais notáveis de gerações recentes de modelos, especialmente útil para depuração e análise de ramos de execução complexos. Mas o preço dessa vantagem é direto: mais computação, latência maior, custo maior.

Como dito no material, um agente não é magia, mas um conjunto de decisões arquiteturais. E a qualidade de tal agente é determinada não por um modelo impressionante, mas por como o engenheiro montou todo o circuito junto.

O Que Isso Significa

O material é útil como antídoto para expectativas inflacionadas. Se você está usando ou construindo um agente de IA para desenvolvimento, você deve olhar não apenas para o nome do modelo, mas para janela de contexto, prompt de sistema, conjunto de ferramentas, lógica do ciclo e custo de cada passo — é lá que estão as limitações reais e a qualidade real.