Des chercheurs ont testé 120 configurations de CPT pour des agents de jeu : de 0,8B à 27B

Une équipe de chercheurs a posé une question directe : si l'on augmente les données, la diversité et la taille du modèle, les agents progressent-ils dans des mondes virtuels qui n'ont presque rien en commun ? Dans le monde physique, toutes les expériences obéissent aux mêmes lois, et la généralisation s'y fait naturellement. Dans les jeux, chaque monde a son style visuel, sa dynamique, ses commandes et ses objectifs. Les auteurs ont cherché la réponse sur 120 configurations de continued pre-training (CPT) : quatre tailles de modèle de 0,8B à 27B, six budgets de données de 50 à 1 600 heures et cinq compositions de corpus, d'un seul Minecraft à un ensemble de mondes variés.

Trois axes et trois niveaux d'évaluation

Le design de l'expérience compte plus que n'importe quel chiffre isolé. Les auteurs ont fait varier trois facteurs indépendamment : le volume de données, la diversité et la taille du modèle. La qualité a été mesurée sur trois niveaux, à partir de la loss de validation et de benchmarks de jeu. D'abord les mondes issus du corpus d'entraînement lui-même, puis les mondes apparentés, enfin des mondes jamais vus. Cela montre précisément où s'arrête le transfert de compétences.

Principales métriques et paramètres de l'étude :

• 120 configurations d'entraînement ;
• tailles de modèle : de 0,8B à 27B de paramètres ;
• budgets de données : de 50 à 1 600 heures ;
• cinq mix : du Minecraft seul à des corpus multi-mondes hétérogènes ;
• évaluation par la loss et par des benchmarks de gameplay dans trois zones : mondes familiers, apparentés et inconnus.

Ce que apporte chaque axe

Le tableau est contrasté. Plus de données améliorent le résultat à l'intérieur du corpus, ce qui est attendu. La diversité facilite le transfert vers les mondes apparentés, mais le gain reste faible dans les jeux éloignés. La taille du modèle améliore l'efficacité d'usage des données : un grand modèle tire plus vite profit des mêmes heures de gameplay. Mais s'il est entraîné sur un seul monde, il généralise moins bien dans les mondes éloignés. Un grand modèle entraîné de façon étroite s'ajuste plus profondément à son propre monde.

C'est une observation pratique. L'échelle sans diversité peut renforcer la spécialisation plutôt que l'universalité. Pour les équipes qui constituent des datasets pour des agents, c'est un argument pour compter le budget non seulement en heures, mais aussi en nombre de mondes dissemblables.

Deux phases d'entraînement

Le plus intéressant dans l'article, c'est la dynamique d'entraînement. Les auteurs distinguent une phase précoce « d'interface », où le bénéfice se diffuse largement entre les mondes. Le modèle apprend les bases : lire l'écran, relier observations et actions, comprendre le fonctionnement des commandes. Vient ensuite une phase « de monde », où les gains se resserrent sur les mondes du corpus et ceux qui leur sont apparentés. Le modèle se met à mémoriser la structure de mondes précis, et cela ne se transfère presque plus vers les mondes lointains.

Sur cette base, les auteurs ont ajusté une loi d'échelle empirique. Elle relie la loss de validation au volume de données, à la diversité et à la taille du modèle. Elle permet d'estimer l'effet avant de lancer un entraînement coûteux. Cependant, la loi décrit la loss, pas la réussite en jeu, et l'écart entre les deux reste un problème à part.

Comparaison avec les spécialistes et limites de l'imitation

Sur les benchmarks finaux, les modèles sont compétitifs face aux spécialistes de Minecraft et aux modèles frontier dans les mondes 3D. Ils se montrent les plus performants en temps réel. La vitesse de réaction y est décisive, et un modèle compact entraîné sur des démonstrations de jeu ne perd pas de temps en longs raisonnements.

Les auteurs reconnaissent eux-mêmes des limites. L'entraînement sur démonstrations se heurte au plafond de l'imitation : le modèle répète ce qu'il a vu, mais ne découvre pas de nouvelles stratégies. Dans les mondes éloignés, l'écart persiste à toutes les échelles étudiées. La conclusion de l'article est sans détour : des agents incarnés universels nécessitent des étapes d'entraînement plus riches après le CPT.

Ce qu'il faut en retenir

Pour les développeurs d'agents, les conclusions sont les suivantes. Si l'objectif est un bon joueur dans un jeu précis ou dans une famille de jeux similaires, il suffit d'augmenter les données et le modèle au sein de cette famille. Si l'on veut un transfert vers de nouveaux mondes, il faut intégrer au corpus des jeux hétérogènes et ne pas compter sur la taille du modèle pour résoudre le problème à elle seule.

La phase d'interface précoce peut servir de démarrage peu coûteux, mais il faut ensuite vérifier le bénéfice sur des mondes inconnus, et pas seulement via la loss. Pour une vraie généralisation, l'étape suivante semble être l'apprentissage par renforcement ou d'autres étapes de post-entraînement qui dépassent le cadre de l'imitation.