Harness-инжиниринг: как вынести гарантии LLM-агентов из промптов в код

Исследователи опубликовали на arXiv 10 июля 2026 года препринт с harness-инжиниринг-паттерном для enterprise LLM-агентов: детерминированные гарантии переносятся из промптов в код и валидационные артефакты, что позволяет строить аудируемые системы без потери качества ответов.

Что не так с prompting-only подходом

Корпоративные LLM-приложения обычно начинаются как прототипы, где поведение полностью задаётся промптами и контекстом RAG. При переходе в production возникают новые требования: источниковые границы, маршрутизация сущностей, контракты ответов и воспроизводимые трассировки. Промпты с этим справляются ненадёжно.

Авторы провели контрольный эксперимент: при неизменной модели и замене только уровня enforcement промпты позволяли нарушениям доходить до пользователя — некорректный рекомендательный язык и утечки внутренних трасс не блокировались. Harness полностью устранял обе проблемы, при этом не снижая полезность системы.

Как работает harness-паттерн

Ключевая идея — вынести детерминированное поведение из промптов в код, манифесты, схемы и валидационные артефакты вокруг заменяемой «composition boundary». Источниковые утверждения остаются авторитетом для runtime-ответов, все контракты проверяются кодом, а не инструкциями в промпте. Такая архитектура допускает замену модели без пересборки всей системы.

Паттерн тестировали на публичном срезе данных пяти корейских корпоративных групп (25 листинговых компаний). Ключевые результаты:

• 5 корейских конгломератов, 25 публичных компаний — тестовый набор данных
• 3 hosted-модели задействованы в эксперименте по замене модели
• 270/270 запросов прошли проверку контрактов при смене модели
• 120/120 — полезность ответов с harness-подходом
• 88/120 — полезность с bolt-on внешним guardrail при той же безопасности

Fault-injection контроль подтвердил работу валидаторов: во всех сценариях они корректно фиксировали намеренно сломанные контракты.

Чем harness лучше внешних guardrails?

Bolt-on внешний guardrail предотвращает нарушения так же эффективно, как harness, — но ценой чрезмерных отказов. При использовании только внешнего guardrail система выдала 88 полезных ответов из 120, тогда как harness сохранил 120/120.

«Только code-owned enforcement одновременно обеспечивает безопасность

и сохраняет полную полезность», — резюмируют авторы.

Принципиальная разница: harness встроен в архитектуру и понимает контекст запроса, поэтому не отклоняет легитимные ответы. Внешний guardrail видит только финальный вывод и вынужден перестраховываться, что приводит к потере 27% полезных ответов.

Что это значит

Harness-инжиниринг предлагает переиспользуемый паттерн перехода от LLM-прототипа к аудируемой production-системе. Промпты не гарантируют соблюдение контрактов в корпоративной среде — нужны версионированные артефакты контроля в коде. Для команд, строящих enterprise LLM-агентов, это практическое руководство: поведенческие гарантии должны жить в коде, а не в инструкциях.

Частые вопросы

На каких данных тестировался харнес?

Авторы использовали публичный срез данных пяти крупных корейских корпоративных групп с 25 листинговыми компаниями. Тестирование охватило 270 запросов через composition boundary на трёх разных hosted-моделях.

Чем harness отличается от bolt-on guardrail?

Bolt-on guardrail достигает того же уровня безопасности, но генерирует избыточные отказы: 88 полезных ответов из 120 против 120/120 у harness. Harness встроен в архитектуру и понимает контекст запроса, поэтому не жертвует качеством ради безопасности.