Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarX: @RealMarvelX→ original

Schéma Karpathy : 15 agents IA testent des modifications d'entraînement de LLM pendant 5 minutes et annulent les échecs

Le réglage de l'entraînement d'un LLM se fait en général à la main : on modifie un paramètre, on attend, on compare. Dans un schéma inspiré d'autoresearch de Karpathy, cette tâche est confiée à 15 agents IA : chacun teste une seule modification pendant 5 minutes au maximum et vérifie si val_bpb (bits par octet de texte, plus c'est bas, mieux c'est) a baissé. Les modifications infructueuses sont annulées, et dans l'exécution décrite, la limite de temps a interrompu 7 expériences. Conclusion : une seule modification par expérience, un budget strict et un mécanisme d'annulation constituent un modèle pour les pipelines agentiques.

Traité par IA depuis X: @RealMarvelX ; édité par Hamidun News
Schéma Karpathy : 15 agents IA testent des modifications d'entraînement de LLM pendant 5 minutes et annulent les échecs
Source : X: @RealMarvelX. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireX: @RealMarvelX ↗
Rédacteur en chef
Chiffre clé #1Hypothesis propose une idée, Judge décide ce qui est conservé
Chiffre clé #2Log Keeper consigne toutes les tentatives dans program.md pour les hypothèses suivantes
Agents spécialisésLR Tuner, Data Mixer, Optimizer, Kernel Fuser

L'entraînement d'un modèle de langage se règle à peu près comme une recette : on change légèrement le taux d'apprentissage, on modifie la normalisation, on ajuste le mélange de données, puis on attend le résultat. Le chercheur procède à la main, une modification à la fois, et l'exploration prend des jours. L'auteur d'un post sur X a décrit un schéma inspiré du projet autoresearch d'Andrej Karpathy, qui transforme ce processus en chaîne de 15 agents IA.

Chaque agent évalue une seule modification pendant 5 minutes au maximum et examine la métrique val_bpb : il s'agit du nombre de bits que le modèle consacre à chaque octet d'un texte de validation. Plus ce nombre est bas, mieux le modèle prédit le texte. Si la valeur baisse, la modification est conservée ; sinon, elle est annulée.

Précision importante : il s'agit du résumé d'un seul auteur, et non d'une documentation officielle. Le post ne fournit ni lien vers le dépôt ni chiffres finaux d'amélioration ; il faut donc vérifier les détails auprès de la source originale.

Comment fonctionne la chaîne

Chaque agent a un rôle étroit. L'agent Hypothesis propose la prochaine expérience. Les spécialistes Init Fixer, LR Tuner, Norm Tester, Optimizer, Data Mixer, Attention et Kernel Fuser s'occupent chacun d'une partie de l'entraînement : initialisation des poids, taux d'apprentissage, normalisation, optimiseur, composition des données, mécanisme d'attention et accélération des calculs. Trainer lance l'entraînement. Batch Sizer et Ablator vérifient les réglages et déterminent quelle modification a produit quel effet. Evaluator calcule le résultat, Judge décide de conserver ou non la modification, Reverter annule ce qui a échoué, et Log Keeper enregistre chaque tentative.

Le travail se déroule en cinq étapes :

  • Splitter découpe l'idée en modifications, une par expérience. Sinon, il serait impossible de savoir ce qui a réellement amélioré le modèle.
  • 15 exécutions démarrent en parallèle. Selon le post, elles tournent sur Opus 5.5, et chaque Trainer dispose d'un budget de 5 minutes. Le post ne confirme pas ce détail, il ne faut donc pas le considérer comme la composition exacte de la pile technique.
  • La vérification contrôle si val_bpb a diminué pendant le temps alloué.
  • Judge et Reverter conservent les modifications réussies et suppriment les autres.
  • Log Keeper consigne toutes les tentatives dans le fichier program.md.

Mémoire et discipline

La partie la plus pratique est le fichier program.md. Toutes les tentatives y figurent, y compris les échecs. L'agent Hypothesis suivant lit ce journal et ne reproduit pas ce qui n'a pas fonctionné. C'est une protection contre le principal écueil des expériences automatisées : le système tourne en rond et répète les mêmes échecs.

Dans l'exécution décrite, 7 expériences ont été interrompues par la limite de temps, et les modifications rejetées n'ont pas été intégrées à la version suivante. Le post ne précise pas combien de modifications ont passé la vérification, ni de combien val_bpb a diminué. Il est donc impossible d'évaluer si ce schéma fait mieux qu'un réglage manuel.

Ce qu'il faut en retenir

Même sans reproduire tout le schéma, il contient trois règles valables pour n'importe quel pipeline agentique :

  • Une modification, une expérience. Si l'on change cinq choses à la fois, le résultat ne peut pas être expliqué.
  • Un budget de temps strict. La limite de 5 minutes empêche une exécution bloquée de monopoliser les ressources des autres et rend les expériences comparables.
  • Annulation automatique et journal. Un juge habilité à annuler et une mémoire commune des échecs coûtent moins cher que l'analyse de ce que les agents ont cassé pendant la nuit.

Les limites existent aussi. Cinq minutes d'entraînement montrent si une modification aide à un stade précoce, mais ne garantissent pas qu'elle ne nuira pas sur la durée. Une modification qui gagne avec un petit budget peut perdre lors d'un entraînement complet. Les 15 exécutions parallèles coûtent aussi du calcul, donc de l'argent. Enfin, de nombreux agents spécialisés signifient de nombreux prompts différents et autant de points de défaillance. Certains rôles pourraient sans doute être fusionnés sans perte de qualité, mais le post ne permet pas de le affirmer.

Pour les fondateurs et les chefs de produit, l'enseignement est simple. La routine de recherche — exploration des hyperparamètres, tests d'ablation, tenue de journaux — se prête bien à un pipeline multi-agents dès qu'il existe une métrique numérique claire et une vérification rapide. Lorsque la métrique est floue, un agent juge se trompera. Lorsqu'elle est univoque, comme val_bpb, l'automatisation de la recherche devient un problème d'ingénierie tout à fait concret.

Dossier

Questions clés sur cet article

Comment fonctionne la chaîne?

Chaque agent a un rôle étroit. L'agent Hypothesis propose la prochaine expérience. Les spécialistes Init Fixer, LR Tuner, Norm Tester, Optimizer, Data Mixer, Attention et Kernel Fuser s'occupent chacun d'une partie de l'entraînement : initialisation des poids, taux d'apprentissage, normalisation, optimiseur, composition des données, mécanisme d'attention et accélération des calculs. Trainer lance l'entraînement. Batch Sizer et Ablator vérifient les réglages et déterminent quelle modification a produit quel effet.

Que sait-on sur Mémoire et discipline ?

La partie la plus pratique est le fichier program.md. Toutes les tentatives y figurent, y compris les échecs. L'agent Hypothesis suivant lit ce journal et ne reproduit pas ce qui n'a pas fonctionné. C'est une protection contre le principal écueil des expériences automatisées : le système tourne en rond et répète les mêmes échecs. Dans l'exécution décrite, 7 expériences ont été interrompues par la limite de temps, et les modifications rejetées n'ont pas été intégrées à la version suivante.

Que sait-on sur Ce qu'il faut en retenir ?

Même sans reproduire tout le schéma, il contient trois règles valables pour n'importe quel pipeline agentique : Une modification, une expérience. Si l'on change cinq choses à la fois, le résultat ne peut pas être expliqué. Un budget de temps strict. La limite de 5 minutes empêche une exécution bloquée de monopoliser les ressources des autres et rend les expériences comparables. Annulation automatique et journal.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…