Ingeniería de harness: cómo sacar las garantías de los agentes LLM de los prompts y llevarlas al código

Un grupo de investigadores publicó el 10 de julio de 2026 en arXiv un preprint con un patrón de ingeniería de harness para agentes LLM empresariales. Las garantías deterministas salen de los prompts y pasan al código y a artefactos de validación, lo que permite construir sistemas auditables sin perder calidad en las respuestas.

Qué falla en el enfoque basado solo en prompts

Las aplicaciones LLM corporativas suelen empezar como prototipos en los que el comportamiento lo definen por completo los prompts y el contexto RAG. Al pasar a producción aparecen requisitos nuevos: límites de fuentes, enrutamiento de entidades, contratos de respuesta y trazas reproducibles. Los prompts los cumplen de forma poco fiable.

Los autores realizaron un experimento de control: con el modelo sin cambios y sustituyendo solo la capa de enforcement, los prompts dejaban que las infracciones llegaran al usuario, ya que no se bloqueaban ni el lenguaje de recomendación indebido ni las filtraciones de trazas internas. El harness eliminó ambos problemas por completo, sin reducir la utilidad del sistema.

Cómo funciona el patrón harness

La idea central es sacar el comportamiento determinista de los prompts y llevarlo a código, manifiestos, esquemas y artefactos de validación alrededor de una «composition boundary» sustituible. Las afirmaciones de las fuentes siguen siendo la autoridad para las respuestas en runtime, y el código, no las instrucciones del prompt, verifica todos los contratos. Esta arquitectura permite cambiar de modelo sin reconstruir todo el sistema.

El patrón se probó con un corte público de datos de cinco grupos empresariales coreanos (25 empresas cotizadas). Resultados clave:

• 5 conglomerados coreanos, 25 empresas públicas: el conjunto de datos de prueba
• 3 modelos hosted participaron en el experimento de sustitución de modelo
• 270/270 consultas pasaron la verificación de contratos al cambiar de modelo
• 120/120: utilidad de las respuestas con el enfoque harness
• 88/120: utilidad con un guardrail externo bolt-on con la misma seguridad

Un control de fault-injection confirmó que los validadores funcionan: en todos los escenarios detectaron correctamente los contratos rotos a propósito.

¿En qué es mejor el harness que los guardrails externos?

Un guardrail externo bolt-on previene las infracciones igual de bien que el harness, pero a costa de rechazos excesivos. Con solo el guardrail externo, el sistema dio 88 respuestas útiles de 120, mientras que el harness mantuvo 120/120.

«Solo el enforcement controlado por código ofrece seguridad y conserva

la utilidad completa», resumen los autores.

La diferencia fundamental: el harness está integrado en la arquitectura y entiende el contexto de la consulta, por lo que no rechaza respuestas legítimas. El guardrail externo solo ve la salida final y se ve obligado a pecar de cauteloso, lo que supone perder el 27% de las respuestas útiles.

Qué significa

La ingeniería de harness ofrece un patrón reutilizable para pasar de un prototipo LLM a un sistema de producción auditable. Los prompts no garantizan el cumplimiento de contratos en un entorno corporativo: hacen falta artefactos de control versionados en el código. Para los equipos que construyen agentes LLM empresariales, es una guía práctica: las garantías de comportamiento deben vivir en el código, no en las instrucciones.

Preguntas frecuentes

¿Con qué datos se probó el harness?

Los autores usaron un corte público de datos de cinco grandes grupos empresariales coreanos con 25 empresas cotizadas. Las pruebas abarcaron 270 consultas a través de la composition boundary en tres modelos hosted distintos.

¿En qué se diferencia el harness de un guardrail bolt-on?

El guardrail bolt-on alcanza el mismo nivel de seguridad, pero genera rechazos excesivos: 88 respuestas útiles de 120 frente a 120/120 del harness. El harness está integrado en la arquitectura y entiende el contexto de la consulta, por lo que no sacrifica calidad en nombre de la seguridad.