Une IA qui s'entraîne sur les tâches qu'elle écrit elle-même : le score moyen passe de 57,77 à 61,05

Un groupe de chercheurs a publié A-RSI (Adaptive Recursive Self-Improvement, « auto-amélioration récursive adaptative »). Un modèle multimodal, qui comprend le texte et les images, s'affine sur des tâches qu'il crée lui-même, sans utiliser ni exemples d'entraînement externes ni réponses rédigées par des humains. Le chiffre clé : le résultat moyen de Qwen3-VL-8B-Instruct sur onze benchmarks multimodaux (des jeux standard de questions portant sur des images, des graphiques et des schémas) passe de 57,77 à 61,05.

Le point de départ est le modèle après un réglage initial sur un jeu de tâches de départ. Ce gain est obtenu après huit fenêtres d'affinage et 800 tâches nouvelles. Les auteurs ont traité deux problèmes séparément : quand fournir de la matière nouvelle au modèle, et où trouver les bonnes réponses.

D'où viennent les tâches et les réponses sans intervention humaine

De nombreuses méthodes d'auto-apprentissage tirent la réponse à leur propre tâche d'un vote du modèle : il génère plusieurs solutions et la plus fréquente l'emporte. L'erreur du modèle devient alors la « bonne réponse » de l'étape d'entraînement suivante. A-RSI contourne ce piège grâce à des programmes.

Le schéma est le suivant :

• Une seule fois, avant le début de l'entraînement, le modèle écrit des gabarits : des programmes exécutables pour des tâches de géométrie, de graphiques, de tableaux et de comptage d'objets.
• Chaque programme choisit d'abord des paramètres, par exemple les valeurs des barres d'un histogramme. Il dessine ensuite l'image à partir de ces valeurs, formule la question (« de combien la barre A dépasse-t-elle la barre B ? ») et calcule la réponse de référence à partir des mêmes nombres.
• Le modèle élève ne voit que l'image et la question. Les nombres cachés et la réponse restent côté programme.
• Les candidats passent des contrôles de validité, d'ambiguïté, de nouveauté et de recoupement avec les données de test. À partir d'eux, on prépare à l'avance des jeux de remplacement qui ne se recoupent pas.

Les auteurs le précisent honnêtement : ces contrôles ne prouvent pas que chaque tâche générée soit irréprochable. La réponse n'est correcte que dans la mesure où le gabarit et son code le sont. Les réponses font donc l'objet d'un audit indépendant supplémentaire.

Comment le contrôleur détecte qu'un jeu de tâches est épuisé

L'entraînement repose sur GRPO. Pour chaque tâche, le modèle produit un groupe de réponses, que l'on compare entre elles. Si une partie des réponses est correcte et l'autre non, un signal utile apparaît. Si toutes les réponses sont également correctes ou également fausses, le modèle n'apprend rien de cette tâche.

Le contrôleur d'A-RSI calcule deux grandeurs à partir des logs d'entraînement :

• le nombre de tâches différentes qui produisent encore une dispersion des récompenses au sein du groupe ;
• la part de réponses correctes sur les tâches d'entraînement.

Après chaque fenêtre, il compare ces valeurs à celles de quelques fenêtres plus tôt. Le jeu est remplacé en bloc si le nombre de tâches « vivantes » est tombé sous un seuil, ou si la précision a augmenté trop fortement (le modèle connaît alors trop bien le jeu). Une durée minimale d'observation garantit que les deux mesures portent sur le même jeu. Les seuils sont identiques pour toutes les étapes et tous les modèles. Le contrôleur ne voit ni les scores de test ni ceux de validation. Lors d'un remplacement, les poids du modèle sont conservés, tandis que les gabarits et les quotas par type de tâche restent inchangés.

Les auteurs soulignent qu'il s'agit d'un indicateur opérationnel de la baisse du signal, et non d'une preuve que le jeu est « maîtrisé ». Une dispersion nulle peut aussi apparaître lorsque le modèle se trompe de façon systématique.

Ce que montrent les mesures et où les auteurs limitent leurs conclusions

• Qwen3-VL-8B : 57,77 → 61,05 sur onze benchmarks, avec 800 tâches nouvelles.
• Renouvellement du jeu après chaque fenêtre : 60,64, mais au prix de 3 200 tâches, soit quatre fois plus. Le schéma adaptatif est meilleur et plus économe.
• À la sixième fenêtre, A-RSI atteint 60,40, contre 58,35 pour la poursuite de l'entraînement sur l'ancien jeu. La stagnation sur des tâches répétées est nette.
• MiMo passe de 59,08 (modèle de base public) à 60,71.

Un résultat va aussi à l'encontre de l'intuition. Sélectionner les tâches selon leur difficulté ou selon la compétence actuelle du modèle n'a pas surpassé un tirage aléatoire, à parts fixes de types de tâches. Cela ne vaut que pour leurs générateurs, leur modèle et les règles de sélection testées. Les auteurs écrivent aussi explicitement que leurs conclusions sur le moment optimal du remplacement sont limitées : le gain vient de la politique de remplacement du jeu elle-même, tandis que le choix du moment exact n'est pas entièrement confirmé.

Un audit distinct des réponses sépare deux sources d'amélioration du score. Le modèle peut mieux résoudre les tâches, ou simplement tenir plus souvent dans la limite de longueur de réponse. Pendant l'entraînement, la récompense pénalise une réponse coupée à la limite, même si une réponse encadrée y apparaît déjà. L'article calcule donc séparément la part du gain due aux réponses menées jusqu'au bout et celle due aux erreurs corrigées parmi les réponses terminées.

Pour les ingénieurs, la leçon est pratique. Si vous disposez de générateurs de tâches dont la réponse est vérifiable par programme, il n'est pas nécessaire de faire tourner le même jeu jusqu'à épuisement, ni de le renouveler à chaque étape. Il suffit de surveiller la part de tâches présentant une dispersion des récompenses et de changer de jeu selon ce signal. Cela économise des tâches et ne demande aucune évaluation sur des données de test. La limite est claire : la méthode fonctionne là où la réponse peut être calculée par un programme, et ces tâches couvrent pour l'instant la géométrie, les graphiques, les tableaux et le comptage, mais pas tout le spectre des questions visuelles réelles.