Stanford apprend aux étudiants à soumettre des correctifs aux mainteneurs : les coulisses du cours CS146S

Que faire travailler aux étudiants quand l’agent fait tout lui-même

Le problème est familier : vous confiez une tâche à un développeur junior, et Claude Code ou un autre agent la boucle avec un seul prompt. Les enseignants rencontrent la même difficulté. Les devoirs de l’année précédente ne permettent plus de vérifier ce que l’étudiant a appris.

Mikhail Eric enseigne à Stanford le cours CS146S The Modern Software Developer et dirige l’IA au sein de la start-up Monaco. Pour la deuxième édition du cours, il a changé le format même de l’évaluation. Des mainteneurs de projets open source ont été associés au cours. Chaque étudiant doit comprendre un dépôt inconnu, proposer une modification et expliquer son correctif à la personne susceptible de l’intégrer.

L’exercice correspond bien à la réalité du métier. Générer du code coûte désormais peu cher. Comprendre la base de code d’autrui, garder le contexte en tête et assumer les modifications reste coûteux. Un mainteneur ne vous jugera pas sur l’élégance du prompt : il demandera à quoi sert le changement et ce qu’il risque de casser.

Ce qui a résisté à l’épreuve de la production

Dans un épisode du podcast Latent Space consacré au million d’abonnés de la chaîne AI Engineer, Eric détaille le programme du cours, qui s’étend sur dix semaines. Il explique quels enseignements se sont révélés utiles dans sa propre équipe d’ingénierie. Parmi les sujets abordés : le fonctionnement de la boucle d’exécution, des outils et de l’environnement d’orchestration (harness) d’un agent de programmation, l’ingénierie du contexte pour un grand dépôt et les compétences nécessaires pour comprendre un diff plutôt que l’accepter aveuglément.

Une partie porte sur le choix entre développer et acheter. Chez Monaco, les espaces de travail des agents, c’est-à-dire les environnements de travail propres à chaque agent, ont été développés en interne. Les outils de revue de code ont été achetés. L’agent d’astreinte a, lui, reçu un accès à Datadog et GitHub pour pouvoir examiner les alertes et les relier au code de façon autonome. Eric résume son approche ainsi : acheter pour apprendre, développer pour conserver.

Les autres sujets abordés comprennent la préparation des dépôts au travail des agents, les solutions lorsque la revue de code devient un goulot d’étranglement, la sécurité, les dépendances et les droits d’accès, les agents en arrière-plan comme Stripe Minions, les portails MCP et la question du travail qui reste aux développeurs.

Limites et enseignements pratiques

Il s’agit d’une conversation de deux heures, pas d’une étude assortie de mesures. Nous ne disposons pour l’instant que de l’annonce et du sommaire : il faudra donc consulter l’épisode lui-même pour connaître les détails et les chiffres précis. Une partie du contenu est ouvertement promotionnelle : le podcast et Monaco mettent en avant leurs propres sujets.

L’enseignement pratique reste néanmoins utile. Si vous recrutez ou formez des développeurs juniors, remplacez le critère « a écrit du code » par « a compris le code d’autrui et a défendu sa modification ». Si vous constituez une équipe autour d’agents, décidez en amont de ce que vous considérez comme votre cœur de métier et gardez en interne, et de ce que vous achetez. Surtout, préparez le dépôt pour l’agent : structure claire, tests, accès aux outils d’observabilité et permissions limitées. Sinon, c’est la revue de code qui deviendra le goulot d’étranglement, plutôt que la génération.