Comment Cursor améliore son agent IA : des guardrails au contexte dynamique

Cursor a publié une étude détaillée sur le développement et l'amélioration continue de son agent IA de codage. Conclusion principale : un seul modèle de langage puissant ne suffit pas. Même les modèles les plus avancés ont besoin d'un bon « harnais » (harness) : un système de prompts, d'outils, de gestion du contexte et de métriques d'évaluation. L'article ne se limite pas aux résultats, il décrit une méthodologie : comment Cursor teste ses hypothèses, mesure la qualité et adapte son architecture aux nouvelles capacités des modèles.

L'évolution de la fenêtre de contexte

Quand Cursor a développé son premier agent de codage, fin 2024, les modèles de langage n'étaient pas encore très doués pour choisir seuls ce qu'il fallait inclure dans le contexte. L'équipe a donc passé des mois à concevoir des guardrails : des contraintes et des règles rigides qui orientaient l'agent dans la bonne direction.

L'ancienne approche se présentait ainsi :

• Après chaque modification, elle transmettait à l'agent les erreurs du linter et du type-checker
• Elle réécrivait les demandes de fichiers si l'agent réclamait trop peu de lignes de code
• Elle limitait le nombre d'outils que l'agent pouvait appeler en un seul cycle
• Elle fournissait une masse de contexte statique : arborescence des dossiers, extraits et versions compressées de fichiers

C'était rudimentaire, mais ça fonctionnait. Le modèle était faible et avait besoin d'être guidé. Mais face à la progression rapide des capacités des modèles, Cursor a peu à peu abandonné les guardrails.

L'approche actuelle est très différente : l'agent reçoit un minimum de contexte statique, essentiellement des informations sur l'OS, l'état de git, ainsi que les fichiers courants et récemment consultés. Tout le reste, il le demande dynamiquement, selon ses besoins. Il cherche lui-même les fichiers utiles dans la base de code, consulte la documentation et analyse les erreurs en temps réel. C'est ce que signifie, pour un modèle, avoir gagné en maturité.

Comment mesurer la qualité réelle

Savoir si une amélioration fonctionne vraiment est un problème loin d'être trivial pour un produit. Cursor adopte une approche à deux niveaux, qui combine tests synthétiques et données réelles d'utilisateurs.

Le premier niveau, ce sont les benchmarks publics (comme CursorBench), qui offrent un aperçu rapide de la qualité et permettent de comparer les résultats dans le temps. Mais même les bons benchmarks ne reflètent qu'approximativement l'usage réel. Un agent peut réussir un test en laboratoire et échouer en situation réelle.

Au second niveau, Cursor lance donc des tests A/B auprès d'utilisateurs réels, en comparant plusieurs variantes du harness en parallèle. C'est là qu'apparaissent les métriques qui comptent vraiment :

• Latency : la rapidité avec laquelle l'agent donne sa première réponse
• Token efficiency : le nombre de tokens dépensés pour une seule requête
• Tool call count : le nombre d'appels aux outils
• Cache hit rate : la fréquence de réutilisation du contexte mis en cache

Mais la métrique la plus importante reste le Keep Rate. Il s'agit de la part du code qui demeure dans la base de code une semaine ou un mois après l'exécution de la tâche. Si l'utilisateur refait souvent le code généré ou doit corriger les erreurs à la main, le Keep Rate baisse. C'est un signal : l'agent a échoué.

Ce que cela signifie

L'approche de Cursor illustre une vérité importante : la qualité d'un agent IA dépend non seulement du modèle, mais aussi de l'architecture qui l'entoure. Des guardrails rigides aident les modèles faibles, mais les brident. Le contexte dynamique libère le potentiel des meilleurs modèles en leur laissant explorer le problème par eux-mêmes.

L'enseignement principal : n'attendez pas le modèle parfait. Investissez du temps dans l'architecture du harness et dans la capacité à tester rapidement des hypothèses. Car la qualité d'un agent ne se définit ni par la vitesse de réponse ni par le volume de tokens, mais par le fait que le résultat de son travail reste dans le code avec le temps.