Schéma Karpathy : 15 agents IA testent des modifications d'entraînement de LLM pendant 5 minutes et annulent les échecs
Le réglage de l'entraînement d'un LLM se fait en général à la main : on modifie un paramètre, on attend, on compare. Dans un schéma inspiré d'autoresearch de Karpathy, cette tâche est confiée à 15 agents IA : chacun teste une seule modification pendant 5 minutes au maximum et vérifie si val_bpb (bits par octet de texte, plus c'est bas, mieux c'est) a baissé. Les modifications infructueuses sont annulées, et dans l'exécution décrite, la limite de temps a interrompu 7 expériences. Conclusion : une seule modification par expérience, un budget strict et un mécanisme d'annulation constituent un modèle pour les pipelines agentiques.
Traité par IA depuis X: @RealMarvelX ; édité par Hamidun News
L'entraînement d'un modèle de langage se règle à peu près comme une recette : on change légèrement le taux d'apprentissage, on modifie la normalisation, on ajuste le mélange de données, puis on attend le résultat. Le chercheur procède à la main, une modification à la fois, et l'exploration prend des jours. L'auteur d'un post sur X a décrit un schéma inspiré du projet autoresearch d'Andrej Karpathy, qui transforme ce processus en chaîne de 15 agents IA.
Chaque agent évalue une seule modification pendant 5 minutes au maximum et examine la métrique val_bpb : il s'agit du nombre de bits que le modèle consacre à chaque octet d'un texte de validation. Plus ce nombre est bas, mieux le modèle prédit le texte. Si la valeur baisse, la modification est conservée ; sinon, elle est annulée.
Précision importante : il s'agit du résumé d'un seul auteur, et non d'une documentation officielle. Le post ne fournit ni lien vers le dépôt ni chiffres finaux d'amélioration ; il faut donc vérifier les détails auprès de la source originale.
Comment fonctionne la chaîne
Chaque agent a un rôle étroit. L'agent Hypothesis propose la prochaine expérience. Les spécialistes Init Fixer, LR Tuner, Norm Tester, Optimizer, Data Mixer, Attention et Kernel Fuser s'occupent chacun d'une partie de l'entraînement : initialisation des poids, taux d'apprentissage, normalisation, optimiseur, composition des données, mécanisme d'attention et accélération des calculs. Trainer lance l'entraînement. Batch Sizer et Ablator vérifient les réglages et déterminent quelle modification a produit quel effet. Evaluator calcule le résultat, Judge décide de conserver ou non la modification, Reverter annule ce qui a échoué, et Log Keeper enregistre chaque tentative.
Le travail se déroule en cinq étapes :
- Splitter découpe l'idée en modifications, une par expérience. Sinon, il serait impossible de savoir ce qui a réellement amélioré le modèle.
- 15 exécutions démarrent en parallèle. Selon le post, elles tournent sur Opus 5.5, et chaque Trainer dispose d'un budget de 5 minutes. Le post ne confirme pas ce détail, il ne faut donc pas le considérer comme la composition exacte de la pile technique.
- La vérification contrôle si val_bpb a diminué pendant le temps alloué.
- Judge et Reverter conservent les modifications réussies et suppriment les autres.
- Log Keeper consigne toutes les tentatives dans le fichier program.md.
Mémoire et discipline
La partie la plus pratique est le fichier program.md. Toutes les tentatives y figurent, y compris les échecs. L'agent Hypothesis suivant lit ce journal et ne reproduit pas ce qui n'a pas fonctionné. C'est une protection contre le principal écueil des expériences automatisées : le système tourne en rond et répète les mêmes échecs.
Dans l'exécution décrite, 7 expériences ont été interrompues par la limite de temps, et les modifications rejetées n'ont pas été intégrées à la version suivante. Le post ne précise pas combien de modifications ont passé la vérification, ni de combien val_bpb a diminué. Il est donc impossible d'évaluer si ce schéma fait mieux qu'un réglage manuel.
Ce qu'il faut en retenir
Même sans reproduire tout le schéma, il contient trois règles valables pour n'importe quel pipeline agentique :
- Une modification, une expérience. Si l'on change cinq choses à la fois, le résultat ne peut pas être expliqué.
- Un budget de temps strict. La limite de 5 minutes empêche une exécution bloquée de monopoliser les ressources des autres et rend les expériences comparables.
- Annulation automatique et journal. Un juge habilité à annuler et une mémoire commune des échecs coûtent moins cher que l'analyse de ce que les agents ont cassé pendant la nuit.
Les limites existent aussi. Cinq minutes d'entraînement montrent si une modification aide à un stade précoce, mais ne garantissent pas qu'elle ne nuira pas sur la durée. Une modification qui gagne avec un petit budget peut perdre lors d'un entraînement complet. Les 15 exécutions parallèles coûtent aussi du calcul, donc de l'argent. Enfin, de nombreux agents spécialisés signifient de nombreux prompts différents et autant de points de défaillance. Certains rôles pourraient sans doute être fusionnés sans perte de qualité, mais le post ne permet pas de le affirmer.
Pour les fondateurs et les chefs de produit, l'enseignement est simple. La routine de recherche — exploration des hyperparamètres, tests d'ablation, tenue de journaux — se prête bien à un pipeline multi-agents dès qu'il existe une métrique numérique claire et une vérification rapide. Lorsque la métrique est floue, un agent juge se trompera. Lorsqu'elle est univoque, comme val_bpb, l'automatisation de la recherche devient un problème d'ingénierie tout à fait concret.
- 21 nov. 2026Sakana AI crée un laboratoire appliqué pour modéliser les marchés et l'économie
- 21 nov. 2026Meta prépare Muse Charm, un tamagotchi IA à 300 $ avec un an de 5G Verizon
- 21 nov. 2026Dreamteam lève 53 M$ pour un CRM qui se remplit tout seul à partir des e-mails et des appels
- 21 nov. 202622 agents Claude ont cherché pendant six semaines des réponses sur les trous noirs — et ont résolu deux problèmes
Questions clés sur cet article
Comment fonctionne la chaîne?
Chaque agent a un rôle étroit. L'agent Hypothesis propose la prochaine expérience. Les spécialistes Init Fixer, LR Tuner, Norm Tester, Optimizer, Data Mixer, Attention et Kernel Fuser s'occupent chacun d'une partie de l'entraînement : initialisation des poids, taux d'apprentissage, normalisation, optimiseur, composition des données, mécanisme d'attention et accélération des calculs. Trainer lance l'entraînement. Batch Sizer et Ablator vérifient les réglages et déterminent quelle modification a produit quel effet.
Que sait-on sur Mémoire et discipline ?
La partie la plus pratique est le fichier program.md. Toutes les tentatives y figurent, y compris les échecs. L'agent Hypothesis suivant lit ce journal et ne reproduit pas ce qui n'a pas fonctionné. C'est une protection contre le principal écueil des expériences automatisées : le système tourne en rond et répète les mêmes échecs. Dans l'exécution décrite, 7 expériences ont été interrompues par la limite de temps, et les modifications rejetées n'ont pas été intégrées à la version suivante.
Que sait-on sur Ce qu'il faut en retenir ?
Même sans reproduire tout le schéma, il contient trois règles valables pour n'importe quel pipeline agentique : Une modification, une expérience. Si l'on change cinq choses à la fois, le résultat ne peut pas être expliqué. Un budget de temps strict. La limite de 5 minutes empêche une exécution bloquée de monopoliser les ressources des autres et rend les expériences comparables. Annulation automatique et journal.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.