Google открыла Harness²: агент сам правит промпты и скрипты, до +11,8 п.п. по критериям LAB
Google Research открыла Harness²: агент сам переписывает «обвязку» вокруг модели — промпты, инструменты, скрипты, а веса не трогает. Как стажёр, который после ошибок правит свою инструкцию: агент гоняет задачу с разными правками и оставляет помогающие. В юридическом тесте LAB доля пройденных критериев выросла максимум на 11,8 п.п. (скажем, с 50% до 61,8%). Для команд на API-моделях это путь улучшать агентов без дообучения, но цифры пока лишь от Google.
AI-обработка оригинала KDnuggets; редакция Hamidun News
Представьте агента, который разбирает бухгалтерские файлы, а в его вспомогательном скрипте тихо сидит ошибка: отрицательные суммы он пропускает. Обычно такое ловит инженер: смотрит на неверный итог, правит скрипт или промпт и запускает заново. Google Research выпустила в открытом доступе фреймворк Harness², который делает этот цикл автоматически. Он переписывает не саму модель, а всё вокруг неё: инструкции, инструменты, память и скрипты. Результат Google измеряла в «процентных пунктах» (п.п.): если агент проходил 50% критериев проверки, а стал проходить 61,8%, это прирост на 11,8 п.п. Именно такой максимум получился в юридическом тесте LAB.
Что такое «обвязка» и что в ней правит Harness²
Языковая модель сама по себе ещё не агент. Агентом её делает «обвязка» (harness): системные инструкции, правила «можно/нельзя», долгосрочные заметки, наборы навыков для типовых задач, описания того, как пользоваться инструментами, вспомогательные скрипты, субагенты и промежуточные плагины. Сегодня большинство команд настраивают всё это вручную. Для задач, которые вы предусмотрели заранее, подход работает. Но когда агент сталкивается с чем-то непредвиденным, ручная настройка не успевает.
Harness² автоматизирует эту настройку при замороженных весах модели. Дообучения нет, новых обучающих данных тоже. Поэтому подход подходит командам, которые работают с моделью только через API: ни GPU, ни доступа к весам им не нужно.
Два цикла: как агент учится на своих запусках
«Квадрат» в названии означает два уровня рекурсии. Первый цикл работает внутри одной задачи по схеме «предложить — проверить — собрать». Редактор обвязки предлагает правки: общие и специфичные для предметной области. Агент заново решает ту же задачу с каждым вариантом обвязки. Затем «композитор» сравнивает прогоны и объединяет правки, которые помогли. Эталонный ответ не нужен, достаточно разницы между двумя запусками одной задачи. В реальной работе никто не выдаёт агенту ключ с правильными ответами, так что это важное свойство.
Второй цикл работает между задачами. Принятая обвязка и подтверждённые «уроки» попадают в постоянную библиотеку опыта, и следующая задача стартует уже с этими заметками. Первый цикл улучшает агента под текущую задачу, второй улучшает сам процесс улучшения.
Бюджет задаёт параметр k. В параллельном режиме система предлагает k общих и k специфичных правок и пробует их все: она ищет шире. В последовательном делает k шагов подряд и переносит уточнённую обвязку вперёд: она копает глубже. Каждая задача обходится в 4k прогонов агента и 3k сессий улучшателя, то есть при k=3 это 12 прогонов и 9 сессий. В LAB одних задач 1143, поэтому полный прогон будет недешёвым.
Цифры и демо
Google проверила GLM-5 и Gemini 3.5 Flash в четырёх связках «модель — обвязка» на трёх бенчмарках. Один шаг улучшения повысил результат обеих моделей относительно исходной обвязки. Максимальный прирост на LAB — до 11,8 п.п. по доле пройденных критериев оценки. Это лучшие результаты, а не средние, и получены они самой Google, поэтому независимые проверки ещё предстоит дождаться. Таблицы по каждой конфигурации лежат в репозитории.
Демо запускается локально за пару секунд и не требует ключей. Нужны менеджер пакетов uv и Python 3.12. Исходный скрипт суммирует записи бухгалтерской книги, но отфильтровывает отрицательные. На тестовом файле из трёх записей он выдаёт 105,25. После работы Harness² фильтр убран, и скрипт считает верные 85,15 (100,25 − 20,10 + 5,00). Правильную сумму системе никто не сообщал. В файле опыта осталась заметка: при суммировании кредитов и дебетов нужно учитывать оба знака, уверенность высокая. Эта запись попала во вторую задачу демо.
Все изменения хранятся в обычных файлах: переписанный промпт, исправленный скрипт, новое правило. Их можно прочитать, сравнить с исходной версией и принять через код-ревью. Фреймворк даже записывает, почему принял каждую правку.
Настоящий запуск сложнее и стоит денег. Нужен проект Google Cloud с Vertex AI, а также Pandoc и Poppler для документов LAB. Файл .env с настройками придётся создать вручную: в репозитории его на момент публикации нет. Исполнитель, улучшатель и судья настраиваются отдельными ID моделей. Автор разбора советует начинать с одной задачи, чтобы платные вызовы не накапливались.
Практический вывод: если у вас есть агент на чужой модели и ручной подбор промптов надоел, Harness² даёт воспроизводимый способ его автоматизировать. Начните с бесплатного демо, затем сравните исходную и улучшенную обвязку на одной своей задаче и оцените, окупается ли расход на прогоны.
- 21 нояб. 2026 г.Капитан пловцов отдала ChatGPT три задачи по расписанию и сократила рутину в разы
- 21 нояб. 2026 г.Нейросеть MIRA рисует Rocket League в 20 кадрах в секунду, но пинг доходит до 460 мс
- 21 нояб. 2026 г.Google построила закрытую копию интернета с фейковыми банками, чтобы учить ИИ-агентов Chrome
- 21 нояб. 2026 г.В тесте MLPerf впервые участвуют Nvidia Rubin и TPU Ironwood: 153 системы
Вопросы и ответы по материалу
Что известно по теме: что такое «обвязка» и что в ней правит Harness²?
Языковая модель сама по себе ещё не агент. Агентом её делает «обвязка» (harness): системные инструкции, правила «можно/нельзя», долгосрочные заметки, наборы навыков для типовых задач, описания того, как пользоваться инструментами, вспомогательные скрипты, субагенты и промежуточные плагины. Сегодня большинство команд настраивают всё это вручную. Для задач, которые вы предусмотрели заранее, подход работает. Но когда агент сталкивается с чем-то непредвиденным, ручная настройка не успевает.
Что известно по теме: два цикла: как агент учится на своих запусках?
«Квадрат» в названии означает два уровня рекурсии. Первый цикл работает внутри одной задачи по схеме «предложить — проверить — собрать». Редактор обвязки предлагает правки: общие и специфичные для предметной области. Агент заново решает ту же задачу с каждым вариантом обвязки. Затем «композитор» сравнивает прогоны и объединяет правки, которые помогли. Эталонный ответ не нужен, достаточно разницы между двумя запусками одной задачи.
Что известно по теме: цифры и демо?
Google проверила GLM-5 и Gemini 3.5 Flash в четырёх связках «модель — обвязка» на трёх бенчмарках. Один шаг улучшения повысил результат обеих моделей относительно исходной обвязки. Максимальный прирост на LAB — до 11,8 п.п. по доле пройденных критериев оценки. Это лучшие результаты, а не средние, и получены они самой Google, поэтому независимые проверки ещё предстоит дождаться. Таблицы по каждой конфигурации лежат в репозитории. Демо запускается локально за пару секунд и не требует ключей.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.