EliteTable fait évoluer du code de contrôle par LLM : progression sur 6 tâches sur 6

Les auteurs du préprint arXiv:2610.12536 décrivent EliteTable, un algorithme de recherche de programmes dans lequel un grand modèle de langage écrit et améliore lui-même des politiques de contrôle exécutables. L'expérience porte sur six tâches Gymnasium. Chaque recherche dure dix générations de 50 emplacements de candidats, avec dix exécutions indépendantes par tâche. Le bilan est contrasté : les médianes des scores des candidats augmentent entre la première et la dernière génération dans les six tâches, mais sur de nouveaux épisodes, le gain ne se maintient que dans une partie d'entre elles.

Comment fonctionne EliteTable

Le cœur du système est une table de capacité fixe. Elle stocke les meilleures solutions trouvées, c'est-à-dire les programmes qui ont déjà obtenu un score élevé dans l'environnement. Cette table sert de contexte au LLM. Le modèle y puise des exemples et opère selon trois modes : proposer une nouvelle solution, corriger une solution existante ou en fusionner plusieurs en une seule (remix).

Ce schéma rappelle la recherche évolutionnaire, où le modèle de langage joue le rôle de la mutation et du croisement, tandis qu'une table limitée assure la sélection. Le résultat de la recherche n'est pas un jeu de poids de réseau de neurones, mais le code d'une politique. On peut le lire, le vérifier et l'exécuter comme un programme ordinaire. Pour les tâches de contrôle, c'est un argument sérieux en faveur de l'approche.

Ce que montrent les six tâches

D'après les chiffres de l'abstract, le tableau est le suivant :

• Budget de recherche : 10 générations × 50 emplacements de candidats, soit jusqu'à 500 candidats par exécution.
• Répétabilité : 10 recherches initialisées indépendamment pour chacune des 6 tâches.
• Les médianes des scores des candidats augmentent entre la première et la dernière génération dans 6 tâches sur 6.
• Les médianes des scores de recherche des gagnants sélectionnés augmentent dans 5 tâches sur 6.
• Dans CartPole-v1, le gagnant sélectionné atteint le plafond du score de recherche dès la première génération, dans les dix exécutions.
• Sur les épisodes mis de côté, les dix résultats finaux appariés s'améliorent dans 4 tâches sur 6.
• BipedalWalker-v3 et CarRacing-v3 s'améliorent, mais n'atteignent pas les objectifs fixés pour le rapport.

L'exemple de CartPole-v1 montre que la tâche est trop simple pour distinguer les méthodes fortes des faibles : le plafond est atteint d'emblée, et la suite de la recherche ne prouve plus rien. BipedalWalker-v3 et CarRacing-v3 sont bien plus instructifs. Ce sont des environnements difficiles : le progrès existe, mais il n'atteint pas les objectifs annoncés.

Là où les résultats s'écartent des attentes

Acrobot-v1 est le cas le plus faible. Dans six recherches sur dix, le résultat sur les épisodes mis de côté se dégrade, et la médiane du changement apparié est négative. Le gagnant retenu d'après le score de recherche a donc pu s'adapter aux épisodes précis de la recherche, sans se généraliser aux nouveaux. C'est le problème classique de la sélection sur une métrique bruitée, et la table de solutions élites ne le résout pas, d'après les données.

La principale réserve figure dans l'abstract lui-même. Les auteurs écrivent que des comparaisons et des ablations sont nécessaires pour évaluer l'efficacité relative d'EliteTable et la contribution de chaque composant. Ces données n'existent pas pour l'instant. On ignore dans quelle mesure la méthode surpasse une simple recherche aléatoire de programmes, une génération sans table ou d'autres outils de recherche pilotés par LLM. On ignore aussi lequel des trois modes (proposition, correction, remix) apporte l'essentiel du gain. Le travail documente l'amélioration au fil de la recherche et un transfert partiel du gain vers de nouveaux épisodes, mais il ne prouve pas la supériorité de la méthode.

Pour les praticiens, la conclusion est la suivante. L'idée de conserver une table compacte des meilleurs programmes et de demander à un LLM de les réécrire paraît viable pour synthétiser du code de contrôle, surtout là où une politique lisible est nécessaire. Mais si vous comptez appliquer l'approche à vos propres tâches, évaluez les gagnants uniquement sur des épisodes mis de côté, et non sur le score de recherche. Utilisez plusieurs exécutions indépendantes et ne vous fiez pas aux médianes sans comparaison appariée. Tant que les auteurs n'auront pas publié de comparaisons avec des méthodes de référence ni d'ablations, mieux vaut considérer EliteTable comme une hypothèse intéressante, et non comme un outil prêt à l'emploi.