HiSTEVE 1.0 играет в Minecraft мышью и клавиатурой: 85,0% на MineStudio Bench

Исследователи, публикующиеся под брендом Tencent на Hugging Face, представили HiSTEVE 1.0 — агента, который проходит длинные задачи в Minecraft так, как это делает живой игрок: смотрит на экран, жмёт клавиши и двигает мышь. На MineStudio Bench система набрала 85,0%, а на OpenHA показала 37,4% среднего успеха. Кроме атомарных задач агент целиком выполняет длинные цепочки, например крафт железной кирки с нуля. Работа вышла 22 октября 2026 года (arXiv 2610.31162) и сразу попала на второе место в дневном рейтинге Hugging Face Daily Papers.

Разрыв, который закрывают авторы

До сих пор агенты для Minecraft делились на два лагеря. Одни умеют нативное визуомоторное управление, то есть работают с пикселями и реальными кнопками, но не тянут долгие задачи без вмешательства. Другие хорошо планируют на высоком уровне, зато выполняют план через API среды или набор предопределённых навыков и фактически пользуются «читерскими» привилегиями вроде доступа к внутреннему состоянию игры. HiSTEVE пытается соединить обе половины: автономное планирование и исполнение через тот же интерфейс, что и у человека.

Архитектура двухуровневая. Наверху сидит так называемый capability-aware agent harness, оркестратор, который знает, на что способна нижняя модель. Внизу работает единая VLA-политика, которая исполняет все подзадачи, опираясь только на зрение.

Оркестратор, который знает пределы исполнителя

У оркестратора три рабочих узла. Структурированная память отслеживает прогресс по задаче. VLM-планировщик выбирает подзадачи, ограничивая себя возможностями VLA: он не просит политику сделать то, чего она не умеет. Третий узел — детектор завершения подзадачи, связанный с контекстом политики (policy-coupled task completion detector). Он подаёт сигнал о кандидатном завершении, и на его основе агент решает, идти ли дальше, восстанавливаться после сбоя или перепланировать. В описании также упомянуто восстановление исполнения на основе свидетельств (evidence-driven execution recovery).

Один VLA на геймплей и меню

Главная инженерная проблема нижнего уровня в том, что игра от первого лица и работа с GUI (инвентарь, крафт) — разные режимы взаимодействия, и они мешают друг другу в одной модели. Авторы развели их двумя приёмами: отдельными ветками RMSNorm для каждого режима и раздельными токен-эмбеддингами для движений мыши.

Обучение идёт в три стадии: внедрение знаний о мире (world knowledge injection), имитационное обучение и обучение с подкреплением на обратной связи среды. По словам авторов, последняя стадия повышает надёжность и умение восстанавливаться после ошибок.

Состав системы и метрики

• Тип агента: иерархический Vision-Language-Action, только визуальное восприятие, нативные действия клавиатуры и мыши • Оркестрация: структурированная память, VLM-планировщик с учётом возможностей VLA, детектор завершения подзадач с привязкой к контексту политики • Управление: одна VLA-политика для всех подзадач, включая GUI • Архитектурные изменения: режимно-специфичные ветки RMSNorm, отдельные эмбеддинги токенов движения мыши • Обучение: world knowledge injection, имитационное обучение, RL с обратной связью среды • MineStudio Bench: 85,0%, заявлен state-of-the-art для атомарных задач • OpenHA: 37,4% среднего успеха • Длинная задача: железная кирка с нуля • Авторы: Zecong Tang, Zian Guan, Yuncheng Guo, Zhanqiu Zhang, Yiwen Guo, Bo Dai

Где это пригодится

Минимальная привилегия среды важна не только для Minecraft. Агент, которому нужен лишь экран и стандартный ввод, переносится на любую игру или десктопное приложение без интеграции с внутренним API. Это та же логика, что стоит за computer-use агентами, только на более жёстком полигоне с процедурной генерацией мира и долгим горизонтом.

Для разработчиков агентов полезны два вывода. Планировщик стоит привязывать к реальному набору умений исполнителя, а не к абстрактной «всемогущей» модели. А гетерогенные режимы ввода, вроде меню и сцены, лучше разводить на уровне нормализации и эмбеддингов, чем надеяться, что одна общая политика справится сама. Цифры 85,0% и 37,4% пока относятся к конкретным бенчмаркам, и проверять их предстоит независимым воспроизведением.