CodeRabbit publie 20 fois plus de code grâce à Codex, sans recruter d'ingénieurs

Vous avez déployé des agents de code, le nombre de pull requests a été multiplié, et soudain l'équipe croule sous les revues. Selon Harjot Gill, CEO de CodeRabbit, c'est le premier goulet d'étranglement que rencontre toute entreprise après avoir adopté des agents. Sa start-up a bâti son activité précisément sur ce problème, et OpenAI vient de publier une étude de son cas. Il s'agit d'un contenu publié par un fournisseur : les chiffres sont donc à lire avec prudence. Mais il contient plus d'idées d'ingénierie que la publicité habituelle.

Le goulet d'étranglement s'est déplacé vers la revue

CodeRabbit développe une plateforme qui vérifie le code écrit par des agents et aide à décider ce qui peut être livré. Elle est utilisée par plus de 20 000 organisations et plus de 150 000 projets open source. La première version du produit a été construite sur GPT-3.5 Turbo, il est devenu réellement utile avec GPT-4, puis l'équipe est passée très tôt à o1 et o3.

Point clé : la revue s'effectue de manière asynchrone dans le cloud. Une réponse instantanée n'est pas nécessaire, on peut donc choisir des modèles de raisonnement lents et payer en temps la profondeur de l'analyse. Si votre revue tourne elle aussi en arrière-plan, ce compromis mérite d'être pris en compte dans le choix du modèle.

L'équipe teste les nouveaux modèles sur son propre jeu de bugs connus. D'après Gill, GPT-6 Astra y détecte environ 50 % des problèmes et arrive en tête des modèles testés. Ce jeu est mis à jour en permanence : les agents produisent de nouveaux types d'erreurs, et les correctifs révèlent ce qui était auparavant passé inaperçu. Un benchmark statique devient vite obsolète.

Sous-agents bon marché et orchestrateur coûteux

Au début, CodeRabbit n'avait qu'un ou deux sous-agents pour naviguer dans le code. Désormais, des modèles bon marché comme GPT-6 Luna alimentent de nombreux sous-agents sur toute la plateforme, tandis que GPT-6 Astra se charge de la planification et de l'orchestration. Les tokens eux-mêmes et la mise en cache sont aussi devenus moins chers. Gill explique qu'on peut désormais déployer des agents là où cela n'avait auparavant aucun sens économique.

C'est le schéma classique du « planificateur intelligent et de nombreux exécutants bon marché ». Mais il s'appuie ici sur une conclusion concrète : la baisse des prix se traduit directement par une vérification plus approfondie, et pas seulement par des économies.

Sur la sécurité : CodeRabbit exécute ses agents dans des sandbox depuis 2023 et, via le programme Daybreak, l'équipe a obtenu l'accès au modèle OpenAI Cyber. Elle l'a utilisé pour des tests d'intrusion internes et a trouvé des vulnérabilités qu'elle « n'aurait jamais pu imaginer ». De là est né le produit CodeRabbit Secure. En deux semaines de promotion avec une remise sur 1 million de dollars d'analyses approfondies, l'entreprise a trouvé plus de 43 000 vulnérabilités dans 13 000 analyses. Des milliers d'entre elles ont déjà été corrigées par les clients. Il s'agit toutefois d'une opération marketing, et l'on ignore combien de ces découvertes sont réellement critiques.

Ce qu'il faut retenir, et avec quelle réserve

Le chiffre principal : environ 20 fois plus de logiciels livrés en six mois sans recrutement. Gill estime personnellement avoir soumis entre 2 500 et 3 000 pull requests en 30 jours. C'est sa propre estimation, et le « volume de logiciels » n'équivaut pas à de la valeur pour les utilisateurs.

Ce qu'il a fallu changer est plus intéressant. Plusieurs agents en parallèle ont saturé la mémoire des ordinateurs portables, les tests, le build et les dépendances. L'équipe a simplifié le processus de release, déplacé une partie du développement dans le cloud pour le contrôle d'accès et l'audit, et décidé où l'humain était nécessaire. CodeRabbit fusionne automatiquement les changements à faible risque, en les vérifiant avec son propre produit. Gill parle d'une « refonte complète de la livraison de logiciels ».

Il existe aussi un bot Slack sur Codex qui analyse les incidents, les messages et les tickets de support, et renvoie une pull request prête à l'emploi. Le marketing de l'entreprise pilote Google Ads via des pull requests et conserve ses slides et documents dans le dépôt. Le slogan : « gérer l'entreprise comme du code ».

Conclusions pratiques pour les équipes :

• Préparez la revue et la CI à la hausse du nombre de PR à l'avance, pas après.
• Constituez votre propre benchmark de bugs et mettez-le à jour.
• Répartissez les risques : ce qui est fusionné automatiquement et ce qui va à un humain.
• Gardez le modèle coûteux pour la planification et le modèle bon marché pour le travail de masse.

La limite est évidente : l'entreprise vend précisément l'outil qu'elle vante, et il n'existe pas de mesures indépendantes. Mais la logique selon laquelle le goulet d'étranglement passe de l'écriture du code à sa vérification s'applique tout à fait à votre équipe aussi.