HiSTEVE 1.0 joue à Minecraft à la souris et au clavier : 85,0% sur MineStudio Bench

Des chercheurs publiant sous la marque Tencent sur Hugging Face ont présenté HiSTEVE 1.0, un agent qui mène de longues tâches dans Minecraft comme le ferait un joueur humain : il regarde l'écran, appuie sur les touches et bouge la souris. Sur MineStudio Bench, le système obtient 85,0%, et sur OpenHA, il affiche 37,4% de réussite moyenne. Outre les tâches atomiques, l'agent exécute seul de longues chaînes d'actions, comme la fabrication d'une pioche en fer à partir de zéro. L'article est paru le 22 octobre 2026 (arXiv 2610.31162) et a aussitôt pris la deuxième place du classement quotidien Hugging Face Daily Papers.

Le fossé que les auteurs cherchent à combler

Jusqu'ici, les agents pour Minecraft se répartissaient en deux camps. Les uns maîtrisent le contrôle visuomoteur natif, c'est-à-dire qu'ils travaillent sur les pixels et avec de vrais boutons, mais peinent à mener de longues tâches sans intervention. Les autres planifient bien à haut niveau, mais exécutent leur plan via l'API de l'environnement ou un ensemble de compétences prédéfinies. Ils profitent ainsi, dans les faits, de privilèges de « tricheur », comme l'accès à l'état interne du jeu. HiSTEVE tente de réunir les deux moitiés : une planification autonome et une exécution par la même interface que celle d'un humain.

L'architecture comporte deux niveaux. En haut, un capability-aware agent harness, un orchestrateur qui sait ce dont le modèle inférieur est capable. En bas, une politique VLA unique exécute toutes les sous-tâches en s'appuyant uniquement sur la vision.

Un orchestrateur qui connaît les limites de l'exécutant

L'orchestrateur repose sur trois blocs. Une mémoire structurée suit la progression de la tâche. Un planificateur VLM choisit les sous-tâches en se limitant aux capacités du VLA : il ne demande pas à la politique de faire ce qu'elle ne sait pas faire. Le troisième bloc est un détecteur de fin de sous-tâche lié au contexte de la politique (policy-coupled task completion detector). Il signale une fin candidate, et l'agent s'appuie sur ce signal pour décider s'il avance, s'il se rétablit après un échec ou s'il replanifie. La description mentionne également une reprise d'exécution fondée sur des preuves (evidence-driven execution recovery).

Un seul VLA pour le gameplay et les menus

Le principal problème d'ingénierie au niveau inférieur tient à ce que le jeu en vue subjective et le travail avec la GUI (inventaire, fabrication) sont deux modes d'interaction distincts, qui se gênent mutuellement au sein d'un même modèle. Les auteurs les séparent par deux moyens : des branches RMSNorm propres à chaque mode et des embeddings de tokens distincts pour les mouvements de la souris.

L'entraînement se déroule en trois étapes : injection de connaissances sur le monde (world knowledge injection), apprentissage par imitation, puis apprentissage par renforcement à partir du retour de l'environnement. Selon les auteurs, cette dernière étape améliore la fiabilité et la capacité à se rétablir après des erreurs.

Composition du système et métriques

• Type d'agent : Vision-Language-Action hiérarchique, perception uniquement visuelle, actions natives au clavier et à la souris • Orchestration : mémoire structurée, planificateur VLM tenant compte des capacités du VLA, détecteur de fin de sous-tâche lié au contexte de la politique • Contrôle : une seule politique VLA pour toutes les sous-tâches, GUI comprise • Modifications d'architecture : branches RMSNorm spécifiques à chaque mode, embeddings distincts pour les tokens de mouvement de la souris • Entraînement : world knowledge injection, apprentissage par imitation, RL avec retour de l'environnement • MineStudio Bench : 85,0%, état de l'art revendiqué pour les tâches atomiques • OpenHA : 37,4% de réussite moyenne • Tâche longue : pioche en fer à partir de zéro • Auteurs : Zecong Tang, Zian Guan, Yuncheng Guo, Zhanqiu Zhang, Yiwen Guo, Bo Dai

À quoi cela peut servir

Le principe de privilège minimal côté environnement ne concerne pas que Minecraft. Un agent qui n'a besoin que de l'écran et des entrées standard se transpose à n'importe quel jeu ou application de bureau, sans intégration avec une API interne. C'est la même logique que celle des agents computer-use, mais sur un terrain d'essai plus exigeant, avec génération procédurale du monde et horizon long.

Deux enseignements ressortent pour les développeurs d'agents. Il vaut mieux lier le planificateur à l'ensemble réel des compétences de l'exécutant, plutôt qu'à un modèle abstrait « tout-puissant ». Et il vaut mieux séparer les modes d'entrée hétérogènes, comme le menu et la scène, au niveau de la normalisation et des embeddings, plutôt que d'espérer qu'une politique commune s'en sorte seule. Les chiffres de 85,0% et 37,4% ne valent pour l'instant que pour des benchmarks précis, et reste à les vérifier par une reproduction indépendante.