Un product manager sin desarrollador lanzó una extensión con agentes de IA y la blindó con 89 tests guardianes

El agente escribe: «Listo, todos los tests pasan». Si en el proyecto no hay un desarrollador y tú no lees el código, solo queda creerle o inventar una forma de comprobarlo. Un product manager que desde enero hace una extensión de Chrome con dos agentes de IA, Claude Code y Codex, eligió lo segundo.

A 28 de octubre acumula 593 commits, 78 478 líneas de código, 177 511 líneas de tests y la versión 1.0.1 en la Chrome Web Store.

Pero los tests los escribió el mismo agente que el código, así que su cantidad por sí sola no demuestra nada. Por ejemplo, el producto promete releer el archivo de configuración al menos una vez por hora. El agente cambia el intervalo a un día; el test toma el nuevo número del propio código, lo compara consigo mismo y sigue en verde.

Mientras tanto, el usuario espera un día. Contra esto el autor creó los «guardianes» (en inglés, guard): tests que protegen una promesa concreta del producto y fallan cuando se incumple. Ahora hay 89.

Si le encargas al agente una tarea de varias horas, puedes adoptar este enfoque.

Qué es el producto y en qué se ha probado

La extensión se llama Chat with Multiple AI y envía una misma consulta a 15 chats de IA a la vez, entre ellos ChatGPT, Claude y Gemini. Son sitios ajenos y cambian sin previo aviso. Por eso la descripción de cómo trabajar con cada chat está en un archivo de configuración aparte. Cuando un chat cambia, el autor corrige el archivo y la corrección llega a los usuarios sin necesidad de una nueva versión en la tienda. Ocurrió dos veces: el 19 de octubre y el 1 de noviembre. Antes de la versión 1.0.1, el propio agente recorrió en el navegador 70 escenarios de aceptación.

La verificación del autor se divide en partes. La compilación, los tests y los guardianes vigilan que las reglas del código y de los documentos no diverjan. El agente, en el navegador, muestra lo que el producto hace realmente. Un revisor independiente examina los cambios que no escribió él. El propio product manager acepta el comportamiento visible según una lista del informe: qué ocurre tras pulsar, si apareció el resultado, qué pasa ante un fallo.

Guardián: una promesa del producto escrita como test

El guardián del ejemplo comprueba dos condiciones: que el intervalo de relectura sea mayor que cero y que no supere una hora. Si el agente pone un día, la segunda condición no se cumple y el test falla. El nombre del archivo del guardián es la propia promesa, en una frase corriente, por ejemplo «la corrección publicada llega al usuario en el plazo de una hora» o «el recordatorio no se envía hasta que quede registrado que se va a enviar». Sin ese registro, tras un reinicio el producto no sabría que ya envió el recordatorio y lo enviaría por segunda vez. La lista de archivos se lee como una lista de promesas del producto.

Los guardianes se añadieron de forma desigual: 2 en mayo, 9 en julio, 33 en agosto, 40 en septiembre y 5 en octubre. La plantilla práctica para pedírselo al agente es esta: describe la promesa con palabras del usuario, pídele que encuentre qué la sostiene en el código, que escriba un guardián con un nombre comprensible y que demuestre que falla cuando se incumple.

Compilación en verde y dos copias de las reglas

Una compilación en verde puede no comprobar nada. El 27 de julio el contador de errores de tipos (cuando el código confunde tipos de datos, por ejemplo al tratar un texto como un número) llegó a cero. Se llega a cero de dos maneras: corrigiendo los errores o dejando de buscarlos, por ejemplo desactivando el modo estricto o excluyendo una carpeta de la comprobación.

Contra esto el autor tiene dos recursos. El primero es un umbral mínimo: la comprobación cuenta los archivos leídos y falla si son muy pocos. El segundo es la rotura deliberada: en una copia del proyecto se infringe a propósito una regla y el guardián tiene que fallar.

En desarrollo esto se llama pruebas de mutación. La plantilla rompe una copia del proyecto de 42 formas y muestra qué comprobación detectó cada rotura; en el ordenador del autor, la demostración tarda menos de un minuto.

Otro problema es la duplicación de reglas. Claude Code y Codex leían las reglas de archivos distintos, CLAUDE.md y AGENTS.md, que debían coincidir. Las discrepancias se fueron acumulando: 9 líneas en marzo, 12 en junio y 21 en agosto, cuando los archivos tenían 102 y 85 líneas. El archivo de reglas pasó de 61 líneas en febrero a 179 en octubre. Desde el 25 de septiembre queda un solo AGENTS.md, y el guardián falla si aparece otro archivo de reglas al lado. Los skills (instrucciones para acciones repetibles, como hacer un commit) están en las carpetas de cada agente, por lo que el guardián compara cada par.

El autor lo aclara con honestidad: no midió cuánta mejora se debe al arnés y cuánta a modelos más inteligentes. Publicó el arnés como plantilla abierta en GitHub (yesgenius/agent-harness).