Google выложила Harness²: ИИ-агент сам правит обвязку, оценка GLM-5 выросла с 64,2 до 75,7
Google Research выложила фреймворк Harness²: ИИ-агент сам правит свою «обвязку» — инструкции, скиллы и правила работы с инструментами. Например, если агент жадно читает весь репозиторий, редактор добавляет правило сначала смотреть структуру папок. На тесте WorkBuddy-Bench (офисные, веб- и кодинг-задачи) оценка GLM-5 выросла с 64,2 до 75,7 балла без дообучения. Поэтому перед переходом на дорогую модель стоит проверить, что даёт настройка обвязки.
AI-обработка оригинала Habr AI; редакция Hamidun News
Google Research выложила в открытый доступ Harness² — фреймворк, в котором ИИ-агент сам настраивает свою «обвязку». Обвязка (harness) — это всё, что окружает языковую модель: системные инструкции, правила работы с инструментами, память, скиллы, субагенты. Агент равен LLM плюс обвязка, и от неё зависит, будет ли он аккуратно искать нужные файлы или вычитает весь репозиторий и забьёт контекст. Обычно инженеры подкручивают такие настройки руками — долго и дорого. Harness² делает это автоматически: на тесте WorkBuddy-Bench (офисные, веб- и кодинг-задачи) оценка модели GLM-5 в связке с OpenCode выросла с 64,2 до 75,7 балла, то есть на 11,5. Веса модели при этом не меняются.
Из чего состоит обвязка
В README фреймворка выделено восемь компонентов, и Harness² умеет править каждый:
- System prompt — базовая инструкция: что агент читает первым.
- Guardrails — ограничения: что делать нельзя.
- Memory — что запоминать между шагами.
- Tool guidance — как работать с инструментами: когда искать в документации, а когда отвечать самому.
- Subagents — делегирование: один агент разбирает задачу, другие выполняют части.
- Skills — готовые наборы приёмов под типовые задачи.
- Scripts — скрипты для работы с окружением.
- Plugins — middleware, меняющий поведение внутри цикла вызова инструментов.
Как работают два уровня рекурсии
Двойка в названии означает два контура. Внутри одной задачи крутится цикл Propose-Probe-Compose («предложить — проверить — собрать»). Сначала агент решает задачу в базовой обвязке, и этот эталонный прогон записывается: что прочитал, какие инструменты вызвал зря, что забыл проверить. Затем редактор (по умолчанию Claude Opus 4.8, то есть модель конкурента) предлагает двух кандидатов: общую правку против типовых слабостей и доменную под конкретную область вроде юридических процедур или таблиц. Каждого кандидата запускают на той же задаче и смотрят, как изменилось поведение. Композер решает, какие правки принять, и собирает финальную версию.
Пример из JobBench: агент собирал комплект документов с согласованными цифрами. Первый прогон дал 43,1 балла: числа в файлах не сходились, а итоговые документы никто не переоткрывал. Правки добавили сверку источников и обязательную перепроверку результата, и оценка выросла до 77,8. Это одна задача, и она не доказывает, что та же правка сработает везде.
Второй контур работает между задачами. Компонент reflector разбирает весь процесс и сохраняет только уроки, подтверждённые сравнением прогонов. Они попадают в библиотеку improvement harness, в файл EXPERIENCE.md. Следующая задача стартует с базовой обвязки, переносится лишь накопленный опыт, который подсказывает редактору, что предлагать.
Что показали бенчмарки
Авторы проверили метод на трёх наборах задач:
- WorkBuddy-Bench — офисные, веб- и кодинг-задачи. Максимум: GLM-5 с OpenCode с 64,2 до 75,7 балла (+11,5).
- JobBench — длинные профессиональные задачи, близкие к рабочему дню человека. Gemini 3.5 Flash с OpenCode: с 31,5 до 36,0 (+4,5).
- LAB от Harvey — юридический бенчмарк, где считается доля пройденных критериев. GLM-5: с 59,6% до 71,4% (+11,8 п.п.).
Самое практичное наблюдение: слабый исполнитель выигрывает больше. GLM-5 после одного шага оптимизации набирает 75,7 (OpenCode) и 75,3 (Codex) на WorkBuddy-Bench, а Gemini 3.5 Flash с обычной обвязкой — 72,4 и 74,5. Более слабая модель с настроенной обвязкой обгоняет более сильную со стандартной.
Автоматика сама по себе успех не гарантирует. Конкурирующий ReasoningBank на кодинговых задачах уходит до 6,6 балла ниже базовой обвязки, а Harness Scaling проигрывает базе в семи из двенадцати пар «бенчмарк — конфигурация». Harness² выше базы на WorkBuddy-Bench и JobBench во всех четырёх конфигурациях.
Цена и ограничения
Каждый шаг рекурсии — это дополнительные прогоны, то есть токены и время. Переход с бюджета k=1 на k=5 даёт на WorkBuddy-Bench ещё 2,9–3,9 балла, на JobBench 3,0–4,2, на LAB 2,6–6,7 п.п., причём отдача убывает. Кроме того, различие в поведении не равно улучшению: система может закрепить правку, которая выглядит лучше, но на следующей задаче не сработает.
Попробовать можно без затрат на модели: локальное демо (Linux, Python 3.12, uv, команда harness2-demo --k 2) прогоняет оба уровня с детерминированными редакторами примерно за десять минут. Для реальных бенчмарков нужны Vertex AI, gcloud, Node.js 20+ и Docker или Pandoc с Poppler, а прогоны платные. Это исследовательский фреймворк, а не продукт Google: API может меняться.
Практический вывод для тех, кто строит агентов: прежде чем переплачивать за топовую модель, измерьте, сколько даёт систематическая настройка обвязки. Все цифры приведены по препринту авторов и пока не перепроверены независимо.
- 21 нояб. 2026 г.Капитан пловцов отдала ChatGPT три задачи по расписанию и сократила рутину в разы
- 21 нояб. 2026 г.Нейросеть MIRA рисует Rocket League в 20 кадрах в секунду, но пинг доходит до 460 мс
- 21 нояб. 2026 г.Google построила закрытую копию интернета с фейковыми банками, чтобы учить ИИ-агентов Chrome
- 21 нояб. 2026 г.В тесте MLPerf впервые участвуют Nvidia Rubin и TPU Ironwood: 153 системы
Вопросы и ответы по материалу
Что известно по теме: из чего состоит обвязка?
В README фреймворка выделено восемь компонентов, и Harness² умеет править каждый: System prompt — базовая инструкция: что агент читает первым. Guardrails — ограничения: что делать нельзя. Memory — что запоминать между шагами. Tool guidance — как работать с инструментами: когда искать в документации, а когда отвечать самому. Subagents — делегирование: один агент разбирает задачу, другие выполняют части. Skills — готовые наборы приёмов под типовые задачи. Scripts — скрипты для работы с окружением.
Что известно по теме: как работают два уровня рекурсии?
Двойка в названии означает два контура. Внутри одной задачи крутится цикл Propose-Probe-Compose («предложить — проверить — собрать»). Сначала агент решает задачу в базовой обвязке, и этот эталонный прогон записывается: что прочитал, какие инструменты вызвал зря, что забыл проверить. Затем редактор (по умолчанию Claude Opus 4.8, то есть модель конкурента) предлагает двух кандидатов: общую правку против типовых слабостей и доменную под конкретную область вроде юридических процедур или таблиц.
Что известно по теме: что показали бенчмарки?
Авторы проверили метод на трёх наборах задач: WorkBuddy-Bench — офисные, веб- и кодинг-задачи. Максимум: GLM-5 с OpenCode с 64,2 до 75,7 балла (+11,5). JobBench — длинные профессиональные задачи, близкие к рабочему дню человека. Gemini 3.5 Flash с OpenCode: с 31,5 до 36,0 (+4,5). LAB от Harvey — юридический бенчмарк, где считается доля пройденных критериев. GLM-5: с 59,6% до 71,4% (+11,8 п.п.). Самое практичное наблюдение: слабый исполнитель выигрывает больше.
Соберите рабочего ИИ-агента или сервис своими руками без ручного кода
В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.