Engenharia de harness: movendo garantias de agentes LLM de prompts para código

Os pesquisadores publicaram um pré-impressão no arXiv em 10 de julho de 2026 com um padrão de harness-engineering para agentes LLM corporativos: as garantias determinísticas são movidas de prompts para código e artefatos de validação, permitindo a construção de sistemas auditáveis sem perda de qualidade de resposta.

O Que Há de Errado com a Abordagem Apenas Prompting

Aplicações LLM corporativas geralmente começam como protótipos onde o comportamento é inteiramente definido por prompts e contexto RAG. Ao fazer a transição para produção, surgem novos requisitos: limites de fonte, roteamento de entidades, contratos de resposta e rastreamentos reproduzíveis. Os prompts lidam com isso de forma não confiável.

Os autores conduziram um experimento de controle: mantendo o modelo inalterado e substituindo apenas o nível de enforcement, os prompts permitiram que violações chegassem aos usuários — linguagem de recomendação incorreta e vazamentos de rastreamento interno não foram bloqueados. Harness eliminou completamente ambos os problemas sem reduzir a utilidade do sistema.

Como Funciona o Padrão Harness

A ideia principal é mover o comportamento determinístico dos prompts para código, manifestos, esquemas e artefatos de validação em torno de um "composition boundary" substituível. As asserções de fonte permanecem como autoridade para respostas em tempo de execução, todos os contratos são verificados por código em vez de instruções de prompt. Esta arquitetura permite a substituição do modelo sem reconstruir todo o sistema.

O padrão foi testado em um corte de dados público de cinco grupos corporativos coreanos (25 empresas cotizadas). Resultados principais:

• 5 conglomerados coreanos, 25 empresas cotizadas — conjunto de dados de teste
• 3 modelos hosted envolvidos em experimento de substituição de modelo
• 270/270 solicitações passaram verificação de contrato ao trocar modelos
• 120/120 — utilidade de resposta com abordagem harness
• 88/120 — utilidade de resposta com guardrail externo bolt-on no mesmo nível de segurança

Os testes de injeção de falhas confirmaram a operação dos validadores: em todos os cenários identificaram corretamente contratos intencionalmente quebrados.

Como Harness É Melhor Que Guardrails Externos

Guardrail externo bolt-on previne violações tão efetivamente quanto harness — mas com o custo de recusas excessivas. Ao usar apenas guardrail externo, o sistema produziu 88 respostas úteis de 120, enquanto harness preservou 120/120.

"Apenas enforcement de propriedade de código fornece simultaneamente

segurança e preserva utilidade completa", concluem os autores.

A diferença fundamental: harness é incorporado na arquitetura e entende o contexto da solicitação, então não rejeita respostas legítimas. O guardrail externo vê apenas a saída final e deve ser excessivamente cauteloso, resultando em perda de 27% das respostas úteis.

O Que Isso Significa

O harness-engineering oferece um padrão reutilizável para transição de protótipo LLM para sistema de produção auditável. Prompts não garantem conformidade de contrato em ambientes corporativos — você precisa de artefatos de controle versionados em código. Para equipes construindo agentes LLM corporativos, este é um guia prático: garantias comportamentais devem estar em código, não em instruções.

Perguntas Frequentes

Em Que Dados o Harness Foi Testado?

Os autores utilizaram um corte de dados público de cinco grandes grupos corporativos coreanos com 25 empresas cotizadas. O teste cobriu 270 solicitações através do composition boundary usando três modelos hosted diferentes.

Como Harness Difere de Bolt-On Guardrail?

Guardrail bolt-on alcança o mesmo nível de segurança mas gera recusas excessivas: 88 respostas úteis de 120 versus 120/120 para harness. Harness é incorporado na arquitetura e entende o contexto da solicitação, então não sacrifica a qualidade pela segurança.