Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизКод / SDK · В работуHabr AI→ оригинал

Google выложила Harness²: ИИ-агент сам правит обвязку, оценка GLM-5 выросла с 64,2 до 75,7

Google Research выложила фреймворк Harness²: ИИ-агент сам правит свою «обвязку» — инструкции, скиллы и правила работы с инструментами. Например, если агент жадно читает весь репозиторий, редактор добавляет правило сначала смотреть структуру папок. На тесте WorkBuddy-Bench (офисные, веб- и кодинг-задачи) оценка GLM-5 выросла с 64,2 до 75,7 балла без дообучения. Поэтому перед переходом на дорогую модель стоит проверить, что даёт настройка обвязки.

AI-обработка оригинала Habr AI; редакция Hamidun News
Google выложила Harness²: ИИ-агент сам правит обвязку, оценка GLM-5 выросла с 64,2 до 75,7
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1Работает с OpenCode и Codex, веса модели не меняются
Ключевой факт #2Бюджет k=5 вместо k=1 даёт ещё +2,6–6,7 балла, но прогонов в 5 раз больше
Это исследовательский кодLinux, Python 3.12, API может меняться

Google Research выложила в открытый доступ Harness² — фреймворк, в котором ИИ-агент сам настраивает свою «обвязку». Обвязка (harness) — это всё, что окружает языковую модель: системные инструкции, правила работы с инструментами, память, скиллы, субагенты. Агент равен LLM плюс обвязка, и от неё зависит, будет ли он аккуратно искать нужные файлы или вычитает весь репозиторий и забьёт контекст. Обычно инженеры подкручивают такие настройки руками — долго и дорого. Harness² делает это автоматически: на тесте WorkBuddy-Bench (офисные, веб- и кодинг-задачи) оценка модели GLM-5 в связке с OpenCode выросла с 64,2 до 75,7 балла, то есть на 11,5. Веса модели при этом не меняются.

Из чего состоит обвязка

В README фреймворка выделено восемь компонентов, и Harness² умеет править каждый:

  • System prompt — базовая инструкция: что агент читает первым.
  • Guardrails — ограничения: что делать нельзя.
  • Memory — что запоминать между шагами.
  • Tool guidance — как работать с инструментами: когда искать в документации, а когда отвечать самому.
  • Subagents — делегирование: один агент разбирает задачу, другие выполняют части.
  • Skills — готовые наборы приёмов под типовые задачи.
  • Scripts — скрипты для работы с окружением.
  • Plugins — middleware, меняющий поведение внутри цикла вызова инструментов.

Как работают два уровня рекурсии

Двойка в названии означает два контура. Внутри одной задачи крутится цикл Propose-Probe-Compose («предложить — проверить — собрать»). Сначала агент решает задачу в базовой обвязке, и этот эталонный прогон записывается: что прочитал, какие инструменты вызвал зря, что забыл проверить. Затем редактор (по умолчанию Claude Opus 4.8, то есть модель конкурента) предлагает двух кандидатов: общую правку против типовых слабостей и доменную под конкретную область вроде юридических процедур или таблиц. Каждого кандидата запускают на той же задаче и смотрят, как изменилось поведение. Композер решает, какие правки принять, и собирает финальную версию.

Пример из JobBench: агент собирал комплект документов с согласованными цифрами. Первый прогон дал 43,1 балла: числа в файлах не сходились, а итоговые документы никто не переоткрывал. Правки добавили сверку источников и обязательную перепроверку результата, и оценка выросла до 77,8. Это одна задача, и она не доказывает, что та же правка сработает везде.

Второй контур работает между задачами. Компонент reflector разбирает весь процесс и сохраняет только уроки, подтверждённые сравнением прогонов. Они попадают в библиотеку improvement harness, в файл EXPERIENCE.md. Следующая задача стартует с базовой обвязки, переносится лишь накопленный опыт, который подсказывает редактору, что предлагать.

Что показали бенчмарки

Авторы проверили метод на трёх наборах задач:

  • WorkBuddy-Bench — офисные, веб- и кодинг-задачи. Максимум: GLM-5 с OpenCode с 64,2 до 75,7 балла (+11,5).
  • JobBench — длинные профессиональные задачи, близкие к рабочему дню человека. Gemini 3.5 Flash с OpenCode: с 31,5 до 36,0 (+4,5).
  • LAB от Harvey — юридический бенчмарк, где считается доля пройденных критериев. GLM-5: с 59,6% до 71,4% (+11,8 п.п.).

Самое практичное наблюдение: слабый исполнитель выигрывает больше. GLM-5 после одного шага оптимизации набирает 75,7 (OpenCode) и 75,3 (Codex) на WorkBuddy-Bench, а Gemini 3.5 Flash с обычной обвязкой — 72,4 и 74,5. Более слабая модель с настроенной обвязкой обгоняет более сильную со стандартной.

Автоматика сама по себе успех не гарантирует. Конкурирующий ReasoningBank на кодинговых задачах уходит до 6,6 балла ниже базовой обвязки, а Harness Scaling проигрывает базе в семи из двенадцати пар «бенчмарк — конфигурация». Harness² выше базы на WorkBuddy-Bench и JobBench во всех четырёх конфигурациях.

Цена и ограничения

Каждый шаг рекурсии — это дополнительные прогоны, то есть токены и время. Переход с бюджета k=1 на k=5 даёт на WorkBuddy-Bench ещё 2,9–3,9 балла, на JobBench 3,0–4,2, на LAB 2,6–6,7 п.п., причём отдача убывает. Кроме того, различие в поведении не равно улучшению: система может закрепить правку, которая выглядит лучше, но на следующей задаче не сработает.

Попробовать можно без затрат на модели: локальное демо (Linux, Python 3.12, uv, команда harness2-demo --k 2) прогоняет оба уровня с детерминированными редакторами примерно за десять минут. Для реальных бенчмарков нужны Vertex AI, gcloud, Node.js 20+ и Docker или Pandoc с Poppler, а прогоны платные. Это исследовательский фреймворк, а не продукт Google: API может меняться.

Практический вывод для тех, кто строит агентов: прежде чем переплачивать за топовую модель, измерьте, сколько даёт систематическая настройка обвязки. Все цифры приведены по препринту авторов и пока не перепроверены независимо.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: из чего состоит обвязка?

В README фреймворка выделено восемь компонентов, и Harness² умеет править каждый: System prompt — базовая инструкция: что агент читает первым. Guardrails — ограничения: что делать нельзя. Memory — что запоминать между шагами. Tool guidance — как работать с инструментами: когда искать в документации, а когда отвечать самому. Subagents — делегирование: один агент разбирает задачу, другие выполняют части. Skills — готовые наборы приёмов под типовые задачи. Scripts — скрипты для работы с окружением.

Что известно по теме: как работают два уровня рекурсии?

Двойка в названии означает два контура. Внутри одной задачи крутится цикл Propose-Probe-Compose («предложить — проверить — собрать»). Сначала агент решает задачу в базовой обвязке, и этот эталонный прогон записывается: что прочитал, какие инструменты вызвал зря, что забыл проверить. Затем редактор (по умолчанию Claude Opus 4.8, то есть модель конкурента) предлагает двух кандидатов: общую правку против типовых слабостей и доменную под конкретную область вроде юридических процедур или таблиц.

Что известно по теме: что показали бенчмарки?

Авторы проверили метод на трёх наборах задач: WorkBuddy-Bench — офисные, веб- и кодинг-задачи. Максимум: GLM-5 с OpenCode с 64,2 до 75,7 балла (+11,5). JobBench — длинные профессиональные задачи, близкие к рабочему дню человека. Gemini 3.5 Flash с OpenCode: с 31,5 до 36,0 (+4,5). LAB от Harvey — юридический бенчмарк, где считается доля пройденных критериев. GLM-5: с 59,6% до 71,4% (+11,8 п.п.). Самое практичное наблюдение: слабый исполнитель выигрывает больше.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…