Como o Cursor melhora seu agente de AI: de guardrails a contexto dinâmico

Cursor publicou um estudo aprofundado sobre o desenvolvimento e melhoria contínua de seu agente de IA para codificação. A principal conclusão: um único modelo de linguagem poderoso não é suficiente. Até os modelos mais avançados precisam de um bom "harness" — um sistema de prompts, ferramentas, gerenciamento de contexto e métricas de avaliação. O artigo discute não apenas resultados, mas metodologia: como Cursor testa hipóteses, mede qualidade e adapta a arquitetura às novas capacidades dos modelos.

Evolução da Janela de Contexto

Quando Cursor estava desenvolvendo seu primeiro agente de codificação no final de 2024, os modelos de linguagem ainda não eram muito bons em escolher independentemente o que incluir no contexto. Então, a equipe gastou meses desenvolvendo guardrails — regras e restrições rígidas que guiavam o agente na direção certa. A abordagem antiga era assim:

• Após cada edição, fornecia ao agente erros do linter e avisos do type-checker
• Reescrevia solicitações de arquivos se o agente pedisse poucas linhas de código
• Limitava o número de ferramentas que o agente poderia chamar em um único ciclo
• Fornecia muito contexto estático — estrutura de pastas, snippets de código e versões comprimidas de arquivos

Era primitivo, mas funcionava. O modelo era fraco e precisava de orientação. Mas com o rápido crescimento das capacidades dos modelos, Cursor gradualmente abandonou os guardrails. A abordagem moderna é completamente diferente: o agente recebe contexto estático mínimo — principalmente apenas informações do SO, status do git, arquivos atuais e visualizados recentemente. Tudo mais o agente solicita dinamicamente, conforme necessário. Ele busca independentemente os arquivos necessários na base de código, solicita documentação e analisa erros em tempo real. Isso é o que significa um modelo amadurecer.

Como a Qualidade Real É Medida

Determinar se uma melhoria realmente funciona é uma tarefa não trivial para um produto. Cursor usa uma abordagem de dois níveis, combinando testes sintéticos e dados reais de usuários. No primeiro nível estão benchmarks públicos (como CursorBench), que fornecem um rápido retrato da qualidade e permitem comparação ao longo do tempo. Mas até benchmarks bons apenas refletem aproximadamente o uso real. Um agente pode passar perfeitamente em um teste em condições de laboratório mas falhar no trabalho real. Então, no segundo nível, Cursor executa testes A/B em usuários reais, comparando várias variantes do harness simultaneamente. É aqui que emergem métricas que realmente importam:

• Latency — com que rapidez o agente fornece a primeira resposta
• Token efficiency — quantos tokens foram gastos por solicitação
• Tool call count — quantas vezes chamou ferramentas
• Cache hit rate — com que frequência reutilizou contexto em cache

Mas a métrica mais importante é Keep Rate. Esta é a proporção de código que permanece na base de código uma semana, um mês após a conclusão da tarefa. Se os usuários frequentemente refazem o código gerado ou são forçados a corrigir erros manualmente — Keep Rate cai. Isso sinaliza: o agente não funcionou.

O Que Isso Significa

A abordagem de Cursor revela uma verdade importante: a qualidade de um agente de IA depende não apenas do modelo, mas da arquitetura ao seu redor. Guardrails rígidos ajudam modelos fracos, mas os congelam. Contexto dinâmico desbloqueia o potencial de modelos melhores, permitindo que explorem o problema de forma independente. A conclusão principal: não espere pelo modelo perfeito. Gaste tempo na arquitetura do harness e na capacidade de testar hipóteses rapidamente. Porque a qualidade do agente é determinada não pela velocidade de resposta ou volume de tokens — é determinada se a saída de seu trabalho permanece no código ao longo do tempo.