Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoCódigo / SDK · Listo para usarHabr AI→ original

Cómo lograr que un agente de IA termine la tarea: pruebas automáticas de 12 minutos y merge manual

El agente suele decir «listo» aunque el código no esté probado, así que el autor de un shooter online rodeó al modelo con un harness: un conjunto de reglas y comprobaciones. El agente escribe el código y las pruebas, levanta el juego en Docker y ejecuta pruebas e2e de extremo a extremo: bots juegan una partida completa de unos 12 minutos. Después, el agente abre un PR (solicitud de fusión de código), pero el botón de merge solo lo pulsa una persona. La conclusión: confíe en el agente exactamente en la medida en que haya superado las comprobaciones.

Procesado por IA desde Habr AI; editado por Hamidun News
Cómo lograr que un agente de IA termine la tarea: pruebas automáticas de 12 minutos y merge manual
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Dato clave #1Las pruebas e2e solo son necesarias al modificar la lógica del juego, no el frontend
Dato clave #2Tras aproximadamente un 60% de llenado del contexto, la atención del modelo cae
Dato clave #3Las tareas se guardan en docs/tasks como archivos md breves e independientes

Una red neuronal que escribe código tiende a decir «listo» después de la primera ejecución, aunque haya roto un módulo vecino. El autor de un shooter online, creado casi por completo con ayuda de IA, resolvió el problema rodeando al modelo con un harness: un conjunto de reglas, herramientas y comprobaciones que guía al agente paso a paso. En su caso, el agente escribe el código y las pruebas, levanta el juego en Docker y ejecuta pruebas e2e de extremo a extremo (end-to-end: los bots entran en el juego y disputan una partida real, que dura unos 12 minutos).

Después, el agente abre un PR (pull request, solicitud de fusión de código en la rama principal), pero el botón de merge solo lo pulsa una persona. El enfoque resulta útil para cualquiera que asigne tareas reales a agentes y lleve la cuenta de los tokens.

Qué es un harness, explicado de forma sencilla

La fórmula en la que se basa el análisis es: agente igual a LLM más harness. El modelo sabe razonar, y todo lo demás lo hace la capa de integración: ejecuta el bucle de llamadas, lanza herramientas, reúne el contexto, gestiona la memoria y la caché, y verifica el resultado. Según describe el autor, el término se popularizó a comienzos de 2026, tras los textos de Mitchell Hashimoto, de HashiCorp, el informe de OpenAI sobre Codex y los artículos de LangChain.

El autor distingue cinco componentes:

  • bucle: el modelo se invoca hasta que la tarea está completada o se alcanza el límite;
  • herramientas: procesamiento de tool_call del modelo y ejecución del código de la herramienta;
  • contexto: construcción del prompt teniendo en cuenta todas las capas;
  • restricciones: roles y presupuestos de tokens;
  • comprobaciones: LLM as judge y guardrails.

Los grandes actores ya tienen su propio harness: Claude Code, de Anthropic, y Codex, de OpenAI. Incluso subir un archivo al chat esconde mucha lógica: guardarlo, leerlo, reconocer el texto mediante OCR o un modelo de visión, almacenarlo en S3 y comprobar si cabe en el contexto. Para tareas típicas basta con un prompt de una sola pasada. Pero cuando se necesita un proceso adaptado a un producto concreto, el harness estándar se queda corto y hay que completarlo por cuenta propia.

Cómo se personaliza para un proyecto

El primer paso es el archivo claude.md (o agents.md): instrucciones que se añaden al prompt en cada consulta. El autor pone un ejemplo ilustrativo: la regla «empieza siempre tu respuesta con !» hace que el agente responda «¡Hola, en qué puedo ayudarte?». Así se fijan las reglas básicas que el agente casi nunca olvida.

El segundo paso es la definición de tareas. Se puede usar un framework como openspec, pero para un solo proyecto dentro de un monorepositorio basta con una carpeta /docs. En claude.md figura la regla de empezar por el archivo principal de docs, que contiene referencias cruzadas a los demás documentos (estado de la funcionalidad, arquitectura). Cada tarea es un archivo md pequeño en docs/tasks. Esto ahorra contexto: según la experiencia del autor, tras llenar aproximadamente el 60% de la ventana, la atención del modelo empieza a dispersarse, y entonces hace falta un chat nuevo o comprimir la conversación con la habilidad compact.

El pipeline del autor es, en su mayor parte, lineal:

  1. Plantea la tarea en el chat y lleva a cabo una sesión de grilling (una serie de preguntas aclaratorias) con un plugin de habilidades de Matt Pocock.
  2. El agente lee la tarea y, si hace falta, invoca habilidades como system-design.
  3. Genera el diseño con claude design, escribe el código y las pruebas.
  4. Prepara el lanzamiento: sube la versión del paquete y redacta el changelog.
  5. Levanta el stack local en Docker y ejecuta las comprobaciones estáticas.
  6. Si cambió el código del servidor que implementa las mecánicas de juego, ejecuta e2e: en el stack local se crean sesiones reales y en ellas entran bots con distintos escenarios.
  7. Crea un PR en master, donde vuelven a ejecutarse los linters.
  8. Solo una persona pulsa merge y, a continuación, se despliega el proyecto.

Tres conclusiones y reservas honestas

En primer lugar, el «listo» hay que demostrarlo. El agente puede incumplir una instrucción, pero un test que falla o que ha sido reescrito de forma sospechosa será visible en el pipeline. Las pruebas unitarias y e2e, y los analizadores estáticos como SonarQube, constituyen una capa en la que se puede confiar más que en las palabras del modelo.

En segundo lugar, el harness crece junto con el proyecto. Por ejemplo, las pruebas e2e tardan unos 12 minutos, lo mismo que dura una partida. Cuando el autor modificaba solo el frontend o el backend sin tocar la lógica de juego, no hacían falta, y en el harness se añadió la regla «ejecutar solo si cambian las mecánicas». Es un ahorro directo de tiempo y tokens en cada iteración.

En tercer lugar, cuanto menos contexto superfluo, mayor es la probabilidad de obtener una solución de calidad con menos iteraciones de corrección. Las especificaciones y la documentación en el repositorio resultan especialmente útiles en suscripciones de nivel bajo, donde importa gastar lo menos posible de tokens por funcionalidad.

Las reservas son evidentes. Se trata de la experiencia de una sola persona en un único proyecto, un shooter online con bots, donde las pruebas e2e son fáciles de automatizar. El propio autor subraya que no existe un pipeline único y correcto: en algunos casos conviene sacrificar velocidad por comprobaciones, y en otros conviene armar un prototipo más rápido sin fijarse en la calidad del código.

El análisis no incluye métricas como la proporción de tareas completadas con éxito o el coste en tokens por funcionalidad, así que se trata de un conjunto de prácticas, no de resultados medidos. Para empezar, basta con un claude.md con reglas básicas, una carpeta docs con archivos de tareas breves y la ejecución obligatoria de las pruebas antes de cada PR.

El resto se añade cuando el agente vuelva a tropezar con la misma piedra.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué es un harness, explicado de forma sencilla?

La fórmula en la que se basa el análisis es: agente igual a LLM más harness. El modelo sabe razonar, y todo lo demás lo hace la capa de integración: ejecuta el bucle de llamadas, lanza herramientas, reúne el contexto, gestiona la memoria y la caché, y verifica el resultado. Según describe el autor, el término se popularizó a comienzos de 2026, tras los textos de Mitchell Hashimoto, de HashiCorp, el informe de OpenAI sobre Codex y los artículos de LangChain.

Cómo se personaliza para un proyecto?

El primer paso es el archivo claude.md (o agents.md): instrucciones que se añaden al prompt en cada consulta. El autor pone un ejemplo ilustrativo: la regla «empieza siempre tu respuesta con !» hace que el agente responda «¡Hola, en qué puedo ayudarte?». Así se fijan las reglas básicas que el agente casi nunca olvida. El segundo paso es la definición de tareas. Se puede usar un framework como openspec, pero para un solo proyecto dentro de un monorepositorio basta con una carpeta /docs.

¿Qué se sabe sobre Tres conclusiones y reservas honestas?

En primer lugar, el «listo» hay que demostrarlo. El agente puede incumplir una instrucción, pero un test que falla o que ha sido reescrito de forma sospechosa será visible en el pipeline. Las pruebas unitarias y e2e, y los analizadores estáticos como SonarQube, constituyen una capa en la que se puede confiar más que en las palabras del modelo. En segundo lugar, el harness crece junto con el proyecto. Por ejemplo, las pruebas e2e tardan unos 12 minutos, lo mismo que dura una partida.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…