CodeRabbit publica 20 vezes mais código com o Codex sem contratar engenheiros

Você adotou agentes de código, o número de pull requests cresceu várias vezes e, de repente, a equipe está afogada em revisões. Segundo o CEO da CodeRabbit, Harjot Gill, esse é o primeiro gargalo em que qualquer empresa esbarra depois de adotar agentes. A startup dele constrói seu negócio justamente sobre esse problema, e há pouco tempo a OpenAI publicou uma análise do caso. Trata-se de material de fornecedor, então os números devem ser lidos com ressalvas. Ainda assim, há mais ideias de engenharia ali do que em um anúncio típico.

O gargalo se deslocou para a revisão

A CodeRabbit desenvolve uma plataforma que verifica o código escrito por agentes e ajuda a decidir o que pode ser publicado. Ela é usada por mais de 20 mil organizações e por mais de 150 mil projetos de código aberto. A primeira versão do produto foi construída sobre o GPT-3.5 Turbo, tornou-se realmente útil com o GPT-4, e depois a equipe migrou cedo para o o1 e o o3.

O ponto-chave: a revisão acontece de forma assíncrona na nuvem. Não é preciso uma resposta instantânea, então dá para usar modelos de raciocínio lentos e pagar com tempo pela profundidade da análise. Se a sua revisão também roda em segundo plano, vale considerar esse compromisso ao escolher o modelo.

A equipe testa novos modelos em um conjunto próprio de bugs conhecidos. Na estimativa de Gill, o GPT-6 Astra detecta nele cerca de 50% dos problemas e lidera entre os modelos testados. O conjunto é atualizado constantemente: os agentes cometem novos tipos de erros, e as correções revelam o que antes passava despercebido. Um benchmark estático rapidamente fica obsoleto.

Subagentes baratos e um orquestrador caro

No começo, a CodeRabbit tinha um ou dois subagentes para navegar pelo código. Agora modelos baratos como o GPT-6 Luna atendem a muitos subagentes em toda a plataforma, enquanto o GPT-6 Astra cuida do planejamento e da orquestração. Tanto os tokens quanto o cache ficaram mais baratos. Gill diz que agora é possível colocar agentes onde antes isso era economicamente inviável.

É o esquema padrão de "planejador inteligente mais muitos executores baratos". Mas aqui ele é sustentado por uma conclusão concreta: a queda de preço se traduz diretamente em uma verificação mais profunda, e não apenas em economia.

Sobre segurança: a CodeRabbit executa agentes em sandboxes desde 2023 e, por meio do programa Daybreak, a equipe obteve acesso ao modelo OpenAI Cyber. Eles o usaram em pentests internos e encontraram vulnerabilidades que eles mesmos "não conseguiam imaginar". Disso nasceu o produto CodeRabbit Secure. Em duas semanas de promoção com desconto sobre US$ 1 milhão em varreduras profundas, a empresa encontrou mais de 43 mil vulnerabilidades em 13 mil varreduras. Milhares delas já foram corrigidas pelos clientes. Porém, trata-se de uma ação de marketing, e não se sabe quantas das descobertas são realmente críticas.

O que levar daqui e com que ressalva

O número principal: cerca de 20 vezes mais software lançado em seis meses sem contratações. Gill estimou pessoalmente que enviou de 2.500 a 3.000 pull requests em 30 dias. É uma estimativa dele mesmo, e "volume de software" não equivale a valor para os usuários.

Mais interessante é o que precisou mudar. Vários agentes em paralelo esgotaram a memória dos notebooks, os testes, o build e as dependências. A equipe simplificou o processo de release, levou parte do desenvolvimento para a nuvem em nome do controle de acesso e da auditoria, e decidiu onde é preciso um humano. A CodeRabbit mescla automaticamente as alterações de baixo risco, verificando-as com o próprio produto. Gill chama isso de "uma revisão completa da entrega de software".

Há ainda um bot no Slack baseado no Codex, que analisa incidentes, mensagens e tickets de suporte e devolve um pull request pronto. E o marketing da empresa gerencia o Google Ads por meio de pull requests e guarda slides e documentos no repositório. O lema é "gerir a empresa como código".

Conclusões práticas para as equipes:

• Prepare a revisão e o CI para o aumento do número de PRs com antecedência, não depois.
• Crie seu próprio benchmark de bugs e o atualize.
• Separe os riscos: o que é mesclado automaticamente e o que vai para um humano.
• Reserve o modelo caro para o planejamento e o barato para o trabalho em massa.

A limitação é óbvia: a empresa vende exatamente a ferramenta que elogia, e não há medições independentes. Mas a lógica em si, de que o gargalo se desloca da escrita do código para a sua verificação, aplica-se perfeitamente à sua equipe.