Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAPI / Producto · Listo para usarHabr AI→ original

Google publica Harness²: un agente de IA ajusta su propio harness y la puntuación de GLM-5 sube de 64,2 a 75,7

Google Research publicó Harness², un framework con el que el agente de IA ajusta por sí mismo su «harness»: las instrucciones, los skills y las reglas para usar herramientas. Por ejemplo, si el agente lee todo el repositorio de forma indiscriminada, el editor añade una regla para revisar primero la estructura de carpetas. En la prueba WorkBuddy-Bench (tareas de oficina, web y programación), la puntuación de GLM-5 subió de 64,2 a 75,7 puntos sin reentrenamiento. Por eso, antes de pasarse a un modelo más caro, conviene comprobar qué aporta la configuración del harness.

Procesado por IA desde Habr AI; editado por Hamidun News
Google publica Harness²: un agente de IA ajusta su propio harness y la puntuación de GLM-5 sube de 64,2 a 75,7
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Dato clave #1Funciona con OpenCode y Codex, y los pesos del modelo no cambian
Dato clave #2Un presupuesto k=5 en lugar de k=1 añade entre +2,6 y +6,7 puntos más, pero con 5 veces más ejecuciones
Es código de investigaciónLinux, Python 3.12, la API puede cambiar

Google Research publicó en acceso abierto Harness², un framework en el que el agente de IA configura por sí mismo su «harness». El harness es todo lo que rodea al modelo de lenguaje: instrucciones del sistema, reglas para usar herramientas, memoria, skills y subagentes. El agente equivale al LLM más el harness, y de este depende que busque con precisión los archivos necesarios o que lea el repositorio entero y sature el contexto.

Normalmente, los ingenieros ajustan estos parámetros a mano, un proceso lento y costoso. Harness² lo hace de forma automática: en la prueba WorkBuddy-Bench (tareas de oficina, web y programación), la puntuación del modelo GLM-5 junto con OpenCode subió de 64,2 a 75,7 puntos, es decir, 11,5 más. Los pesos del modelo no cambian en ningún momento.

Qué componentes forman el harness

El README del framework define ocho componentes, y Harness² puede modificar cada uno de ellos:

  • System prompt: la instrucción base, es decir, qué lee primero el agente.
  • Guardrails: las restricciones, es decir, qué no se puede hacer.
  • Memory: qué se recuerda entre pasos.
  • Tool guidance: cómo usar las herramientas, cuándo buscar en la documentación y cuándo responder directamente.
  • Subagents: la delegación, con un agente que descompone la tarea y otros que ejecutan las partes.
  • Skills: conjuntos listos de técnicas para tareas habituales.
  • Scripts: scripts para trabajar con el entorno.
  • Plugins: middleware que modifica el comportamiento dentro del bucle de llamadas a herramientas.

Cómo funcionan los dos niveles de recursión

El «2» del nombre indica dos bucles. Dentro de una misma tarea funciona un ciclo Propose-Probe-Compose («proponer, probar, componer»). Primero, el agente resuelve la tarea con el harness base, y esa ejecución de referencia se registra: qué leyó, qué herramientas llamó sin necesidad y qué olvidó verificar. Después, el editor (por defecto, Claude Opus 4.8, es decir, un modelo de la competencia) propone dos candidatos: una corrección general frente a las debilidades típicas y una corrección específica del dominio, como procedimientos jurídicos o tablas. Cada candidato se ejecuta sobre la misma tarea y se observa cómo cambia el comportamiento. El compositor decide qué cambios aceptar y reúne la versión final.

Ejemplo de JobBench: el agente debía preparar un conjunto de documentos con cifras coherentes. La primera ejecución obtuvo 43,1 puntos: los números de los archivos no coincidían y nadie volvía a abrir los documentos finales. Las correcciones añadieron la conciliación de fuentes y la comprobación obligatoria del resultado, y la puntuación subió a 77,8. Se trata de una sola tarea, así que no demuestra que la misma corrección funcione en todos los casos.

El segundo bucle opera entre tareas. El componente reflector analiza todo el proceso y guarda solo las lecciones confirmadas por la comparación de ejecuciones. Estas pasan a la biblioteca improvement harness, en el archivo EXPERIENCE.md. La siguiente tarea arranca con el harness base y solo se transfiere la experiencia acumulada, que orienta al editor sobre qué proponer.

Qué mostraron los benchmarks

Los autores probaron el método con tres conjuntos de tareas:

  • WorkBuddy-Bench: tareas de oficina, web y programación. Máximo: GLM-5 con OpenCode, de 64,2 a 75,7 puntos (+11,5).
  • JobBench: tareas profesionales largas, parecidas a una jornada laboral humana. Gemini 3.5 Flash con OpenCode: de 31,5 a 36,0 (+4,5).
  • LAB de Harvey: benchmark jurídico que mide la proporción de criterios cumplidos. GLM-5: de 59,6 % a 71,4 % (+11,8 p. p.).

La observación más práctica es que el ejecutor débil gana más. Tras un paso de optimización, GLM-5 alcanza 75,7 (OpenCode) y 75,3 (Codex) en WorkBuddy-Bench, mientras que Gemini 3.5 Flash con un harness estándar obtiene 72,4 y 74,5. Un modelo más débil con el harness ajustado supera a uno más fuerte con la configuración estándar.

La automatización, por sí sola, no garantiza el éxito. El competidor ReasoningBank llega a quedar hasta 6,6 puntos por debajo del harness base en tareas de programación, y Harness Scaling pierde frente a la base en siete de las doce combinaciones de benchmark y configuración. Harness² supera a la base en WorkBuddy-Bench y JobBench en las cuatro configuraciones.

Coste y limitaciones

Cada paso de la recursión implica ejecuciones adicionales, es decir, tokens y tiempo. Pasar de un presupuesto k=1 a k=5 añade en WorkBuddy-Bench entre 2,9 y 3,9 puntos más, en JobBench entre 3,0 y 4,2, y en LAB entre 2,6 y 6,7 p. p., con rendimientos decrecientes. Además, un cambio de comportamiento no equivale a una mejora: el sistema puede fijar una corrección que parece mejor pero que no funcionará en la siguiente tarea.

Se puede probar sin gastar en modelos: la demo local (Linux, Python 3.12, uv, comando harness2-demo --k 2) ejecuta ambos niveles con editores deterministas en unos diez minutos. Para los benchmarks reales hacen falta Vertex AI, gcloud, Node.js 20+ y Docker o Pandoc con Poppler, y las ejecuciones son de pago. Es un framework de investigación, no un producto de Google, y su API puede cambiar.

La conclusión práctica para quien construye agentes: antes de pagar más por un modelo de primera línea, conviene medir cuánto aporta una configuración sistemática del harness. Todas las cifras proceden del preprint de los autores y todavía no han sido verificadas de forma independiente.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué componentes forman el harness?

El README del framework define ocho componentes, y Harness² puede modificar cada uno de ellos: System prompt: la instrucción base, es decir, qué lee primero el agente. Guardrails: las restricciones, es decir, qué no se puede hacer. Memory: qué se recuerda entre pasos. Tool guidance: cómo usar las herramientas, cuándo buscar en la documentación y cuándo responder directamente. Subagents: la delegación, con un agente que descompone la tarea y otros que ejecutan las partes.

Cómo funcionan los dos niveles de recursión?

El «2» del nombre indica dos bucles. Dentro de una misma tarea funciona un ciclo Propose-Probe-Compose («proponer, probar, componer»). Primero, el agente resuelve la tarea con el harness base, y esa ejecución de referencia se registra: qué leyó, qué herramientas llamó sin necesidad y qué olvidó verificar.

¿Qué se sabe sobre Qué mostraron los benchmarks?

Los autores probaron el método con tres conjuntos de tareas: WorkBuddy-Bench: tareas de oficina, web y programación. Máximo: GLM-5 con OpenCode, de 64,2 a 75,7 puntos (+11,5). JobBench: tareas profesionales largas, parecidas a una jornada laboral humana. Gemini 3.5 Flash con OpenCode: de 31,5 a 36,0 (+4,5). LAB de Harvey: benchmark jurídico que mide la proporción de criterios cumplidos. GLM-5: de 59,6 % a 71,4 % (+11,8 p. p.). La observación más práctica es que el ejecutor débil gana más.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
¿Qué te parece?
Cargando comentarios…