GenUI-Harness поднял 4B-модель с 9,33% до 58% Pass@3 и обогнал Claude Opus 5

Команда авторов статьи на arXiv предложила GenUI-Harness: мультиагентную обвязку, в которой модель отвечает на сложный запрос не абзацем текста, а временным интерфейсом с формами, списками и выбором параметров. После обучения с подкреплением модель на 4 млрд параметров выросла с 9,33% до 58,00% по Pass@3 и обошла Claude Opus 5, у которого 46,67%. В опросе рецензентов средняя длина диалога сократилась с 3,4 до 1,2 раунда.

Два агента вместо одного чата

Архитектура простая. Tool Agent отвечает за поиск информации и выполнение задач: ходит в базы данных и вызывает инструменты. GUI Coder Agent смотрит на запрос и результат, находит неоднозначности и пишет фронтенд-код структурированного интерфейса. Если пользователь просит «поменять рейс», агент не задает пять уточняющих вопросов подряд. Он показывает форму с реальными вариантами из базы.

Авторы исходят из того, что текст как канал для сложных задач перегружает человека. Он создает неоднозначность, информационный шум и медленный ввод. Интерфейс, собранный под конкретные данные и конкретный шаг задачи, эти проблемы снимает.

Как обучить кодера интерфейсов

Основная инженерная часть работы в том, как обучать GUI Coder с помощью RL. Тут две проблемы, и для каждой есть свое решение.

Первая: проверяемая награда за интерактивный UI требует реального выполнения кода, а это дорого. Для этого авторы сделали Dynamic UX, легкий пакет, который в одной песочнице обеспечивает динамическое взаимодействие и сбор наград.

Вторая: если награду выдает LLM-судья, модель быстро учится его обманывать. Против reward hacking предложен Reward Auditor, мета-награда. Он следит за распределением наград, выделяет диагностические паттерны и сводит их в общий рубрикатор и спецификацию оценки. Судья в процессе обучения не остается фиксированным.

Бенчмарк и цифры

Для проверки авторы создали UI-TAU Bench. Он построен на 10 реальных предметных базах данных из открытых источников и опирается на постановку Tau-Bench для tool use. Есть версии Lite (300 задач) и Full (1000 задач).

• Средний прирост Pass@3 над smolagents на Lite: 4,48 п.п.
• 4B-модель после обучения в GenUI-Harness: с 9,33% до 58,00% Pass@3.
• Claude Opus 5 на том же бенчмарке: 46,67%.
• Устойчивость: система держится и на неоднозначных, и на однозначных запросах.
• Опрос рецензентов: диалог сокращается с 3,4 до 1,2 раунда.

Стартовые 9,33% у 4B-модели показывают, насколько задача сложна для базовой версии без специализации. Скачок до 58% говорит, что RL с аудитом наград дает больше, чем размер модели. Но сравнение идет на бенчмарке, который сделали сами авторы, под их же постановку, а фронтир-модели специально под него не обучали. Прирост над smolagents в 4,48 п.п. выглядит куда скромнее, чем рывок 4B-модели, и ровно эти два числа стоит держать в голове вместе. Опрос рецензентов тоже не заменяет эксперимент с обычными пользователями. Сами авторы ограничивают выводы «оцененными сценариями с базами данных».

Где это пригодится

Ближе всего к практике сценарии, где у агента есть структурированный бэкенд: поддержка клиентов, бронирование, внутренние админ-панели, работа с заказами. Там уточняющий диалог стоит дорого, а варианты ответа конечны и лежат в базе.

Команде, которая строит агентов, стоит посмотреть на два переносимых приема. Первый: отделить исполнителя задач от генератора интерфейса и обучать их отдельно. Второй: мониторить распределение наград у LLM-судьи как отдельную сущность, а не доверять рубрике, написанной один раз. Второй прием полезен в любом RL-пайплайне с судьей, не только в генерации UI.

Пока это статья с препринта v1: код, воспроизводимость и поведение на данных вне десяти доменов еще предстоит проверить.