Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarOpenAI Blog→ original

OpenAI dresse le bilan de Parameter Golf : comment les agents de codage transforment la recherche en machine learning

OpenAI a dressé le bilan de Parameter Golf, un défi ouvert de ML plafonné à 16 Mo par artefact et à 10 minutes d'entraînement sur 8xH100. Plus de 1000 personnes y ont participé et ont soumis plus de 2000 travaux. Principal enseignement : les agents de codage IA ont fortement abaissé le seuil d'entrée et nettement accéléré les expériences, mais ils ont aussi créé de nouveaux problèmes d'attribution, de relecture et de validité des soumissions.

Traité par IA depuis OpenAI Blog ; édité par Hamidun News
OpenAI dresse le bilan de Parameter Golf : comment les agents de codage transforment la recherche en machine learning
Source : OpenAI Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireOpenAI Blog ↗
Rédacteur en chef
Réglage fin de l'entraînementles participants ont combiné des améliorations déjà trouvées et obtenu une erreur encore plus faible sans changer l'idée de base.
Adaptation pendant l'évaluationcertains travaux ont utilisé test-time LoRA et des approches similaires, tout en restant dans le cadre des règles formelles.

OpenAI a dressé le bilan de Parameter Golf, un concours ouvert de machine learning qui a poussé les participants à chercher des solutions non conventionnelles dans un cadre très contraint. En huit semaines, le défi a réuni plus de 1000 participants et plus de 2000 soumissions. La principale surprise a été l'ampleur de la transformation du processus de recherche lui-même par les agents d'IA.

Comment le défi était construit

Parameter Golf n'était simple que sur le papier. Les participants devaient minimiser la held-out loss sur un jeu de données fixe, FineWeb, tout en faisant tenir l'ensemble de l'artefact, poids du modèle et code d'entraînement compris, dans 16 Mo. Une autre contrainte s'ajoutait : l'entraînement ne devait pas durer plus de dix minutes sur huit accélérateurs H100. OpenAI a choisi cette configuration à dessein, pour que la tâche reste vérifiable sans se réduire à une recherche par force brute.

Les organisateurs ont fourni un baseline, le jeu de données et des scripts d'évaluation, et ont reçu les soumissions via GitHub. Le concours était ainsi ouvert non seulement aux chercheurs des grands laboratoires, mais aussi aux développeurs indépendants, capables d'expérimenter vite et de bâtir soigneusement des améliorations sur les idées des autres. OpenAI note que ce format s'est révélé un bon outil pour repérer de solides ingénieurs : il montre non seulement la maîtrise de la théorie, mais aussi le flair de chercheur, la persévérance et la discipline.

Ce qu'ont trouvé les participants

Les meilleurs résultats ne sont pas venus d'une idée magique, mais d'une multitude de choix techniques précis. Certains ont tiré davantage de composants déjà connus grâce à un réglage fin de l'optimiseur, de l'initialisation et du calendrier d'entraînement. D'autres se sont concentrés sur la compression pour faire entrer le modèle dans la limite de taille stricte. Il y a eu aussi des travaux à la lisière du permis, où l'amélioration du modèle se confondait presque avec la stratégie d'évaluation, si bien que les organisateurs ont dû vérifier séparément si ces astuces trahissaient l'esprit du règlement.

  • Réglage fin de l'entraînement : les participants ont combiné des améliorations déjà trouvées et obtenu une erreur encore plus faible sans changer l'idée de base.
  • Quantification : GPTQ-lite et full Hessian GPTQ sont entrés en force pour la première fois dans le concours, comme moyens de compresser davantage les poids après l'entraînement.
  • Adaptation pendant l'évaluation : certains travaux ont utilisé test-time LoRA et des approches similaires, tout en restant dans le cadre des règles formelles.
  • Nouvelles représentations des données : des tokenizers atypiques sont apparus, ainsi que des moyens de tenir compte de la casse ou de la structure en octets du texte sans perte.
  • Pistes architecturales : les participants ont essayé des variantes partielles d'attention, des caractéristiques par hachage pour les tokens voisins, et même la réutilisation de couches comme mécanisme récurrent.

OpenAI a mis à part le nonrecord track, une voie plus expérimentale où comptait moins la position absolue au classement que l'audace technique. On y a vu des idées comme des modèles d'espace d'états associés à JEPA, Guided Attention, un H-Net au niveau de l'octet, une modélisation du texte non autorégressive et une tokenisation dynamique. Ce track n'avait rien de décoratif : la moitié des entrées a battu le baseline naïf de 1,22 BPB, et le meilleur résultat a atteint 1,12 BPB. C'est un signal important : même face à de solides baselines de transformers, les approches alternatives peuvent encore rivaliser.

Comment les agents d'IA ont pesé

La principale différence entre Parameter Golf et les concours similaires des années passées tient à l'usage massif de coding agents. Selon OpenAI, l'immense majorité des participants a mentionné avoir travaillé avec des agents. Cela a fortement abaissé le seuil d'entrée : il est devenu plus facile de monter l'environnement, de comprendre du code inconnu, de tester rapidement une hypothèse et d'assembler une soumission fonctionnelle sans longue routine manuelle. L'infrastructure a aussi aidé : le programme de parrainage de RunPod a fourni aux participants 1 million de dollars de calcul, ce qui a permis à davantage de monde d'expérimenter.

Mais avec la vitesse est venu le bruit. Beaucoup de nouvelles soumissions n'étaient pas des avancées indépendantes, mais de petites variations sur des solutions déjà réussies. En soi, ce n'est pas un problème : les bonnes idées doivent se diffuser vite. Le problème est ailleurs : lorsqu'une astuce puissante mais invalide était repérée, d'autres agents se mettaient à la copier et à la déployer à grande échelle, poursuivant une mauvaise trajectoire. La vérification, l'attribution des contributions et la notation correcte sont ainsi devenues nettement plus difficiles que dans les concours antérieurs à l'ère de la programmation agentique.

Le flux de contributions a aussi changé le volet opérationnel du concours. Quand des centaines de soumissions arrivaient certains jours, la relecture manuelle ne suffisait plus. OpenAI a donc conçu en interne un bot de triage fondé sur Codex, qui suivait les nouveaux envois et levait des alertes pour une vérification manuelle. Les agents d'IA sont aussi devenus un élément de la communauté : un participant a tenu, avec son agent, un bulletin de mises à jour en direct sur le classement, et des outils sont apparus autour du concours pour aider les débutants à vérifier la conformité de leurs idées aux règles.

Ce que cela signifie

Parameter Golf a montré que la recherche assistée par l'IA est déjà une pratique, et non une belle hypothèse. Les agents accélèrent l'entrée dans le ML, rendent les expériences moins chères et élargissent le cercle des participants, mais ils modifient en même temps la mécanique même des concours scientifiques. Si ces formats se répètent, les organisateurs devront concevoir non seulement la tâche, mais aussi un système de filtrage, de relecture et de comptabilisation équitable des contributions dans un monde où le code est de plus en plus souvent écrit par plus d'une personne.

Dossier

Questions clés sur cet article

Comment le défi était construit?

Parameter Golf n'était simple que sur le papier. Les participants devaient minimiser la held-out loss sur un jeu de données fixe, FineWeb, tout en faisant tenir l'ensemble de l'artefact, poids du modèle et code d'entraînement compris, dans 16 Mo. Une autre contrainte s'ajoutait : l'entraînement ne devait pas durer plus de dix minutes sur huit accélérateurs H100. OpenAI a choisi cette configuration à dessein, pour que la tâche reste vérifiable sans se réduire à une recherche par force brute.

Que sait-on sur Ce qu'ont trouvé les participants ?

Les meilleurs résultats ne sont pas venus d'une idée magique, mais d'une multitude de choix techniques précis. Certains ont tiré davantage de composants déjà connus grâce à un réglage fin de l'optimiseur, de l'initialisation et du calendrier d'entraînement. D'autres se sont concentrés sur la compression pour faire entrer le modèle dans la limite de taille stricte.

Comment les agents d'IA ont pesé?

La principale différence entre Parameter Golf et les concours similaires des années passées tient à l'usage massif de coding agents. Selon OpenAI, l'immense majorité des participants a mentionné avoir travaillé avec des agents. Cela a fortement abaissé le seuil d'entrée : il est devenu plus facile de monter l'environnement, de comprendre du code inconnu, de tester rapidement une hypothèse et d'assembler une soumission fonctionnelle sans longue routine manuelle.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…