Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
IndustriaAnálisis · En radarHacker News AI→ original

Anthropic muestra cómo verifica el código que Claude Code escribe en un 90%

Cuando un agente escribe cerca del 90% del código, leer cada diff a mano es inviable, así que el equipo de Claude Code construye la verificación como un sistema aparte. La herramienta principal son las pruebas de extremo a extremo: el agente ejecuta la aplicación por sí mismo y recorre un escenario de usuario. En una prueba interna, un agente verificador separado que usaba una lista de comprobación elevó el éxito de las tareas en 10 puntos. La conclusión: dele al agente una forma de demostrar el resultado y, en paralelo, puede ejecutar decenas de instancias.

Procesado por IA desde Hacker News AI; editado por Hamidun News
Anthropic muestra cómo verifica el código que Claude Code escribe en un 90%
Fuente: Hacker News AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHacker News AI ↗
Editor jefe
Dato clave #1El agente se detiene y llama a una persona si la verificación falla tres veces seguidas
Dato clave #2Las reglas de verificación se leen desde la rama principal, no desde el propio pull request
La lista de comprobación tiene 39 puntosen cada diff se activan normalmente entre 3 y 10

Si casi todo el código lo escriben agentes, el cuello de botella deja de ser la generación y pasa a ser la verificación. En el equipo de Claude Code, Claude crea alrededor del 90% del código, y en Anthropic explicaron cómo funciona el control de calidad con ese volumen. Sin una verificación fiable, puede llevar uno o dos agentes, porque todo hay que revisarlo uno mismo. Con ella, se pueden lanzar decenas e incluso cientos en paralelo.

Una cifra de las pruebas internas: al generar archivos estructurados, un agente verificador separado contrastaba el trabajo de Claude con una rúbrica de criterios. Esto elevó la proporción de tareas completadas con éxito en 10 puntos frente al ciclo habitual de «prompt y respuesta». La mejora fue mayor en las tareas más complejas.

Tres tipos de pruebas en las que conviene invertir

Si hay que elegir una sola, el equipo recomienda las pruebas de extremo a extremo (end-to-end). Describen el recorrido real del usuario: añade un producto al carrito, completa el pedido y ve la página de confirmación. Es difícil engañar a este tipo de prueba: la función funciona entera o no funciona. Una prueba unitaria devuelve «Timeout after 30 seconds», mientras que una prueba de extremo a extremo puede mostrar una captura de pantalla con la descripción de lo que se rompió. Las pruebas unitarias son más rápidas y estables, pero pueden superarse y aun así romper la función, porque ni el agente ni la prueba ven la tarea en su conjunto.

El segundo tipo son las pruebas de propiedades. Formula una afirmación que no debe romperse, y la biblioteca genera miles de entradas intentando refutarla. Ejemplos: si codificas un dato y lo decodificas, obtienes el valor original; el saldo de una cuenta nunca cae por debajo de cero; una migración repetida produce el mismo resultado que la primera; el código optimizado coincide con una versión simple y sin duda correcta. Estas pruebas detectan casos límite que el agente no habría imaginado, porque no se generan con el mismo sesgo que el código original.

El tercer tipo son las pruebas diferenciales. Se ejecutan la versión antigua y la nueva del sistema con las mismas entradas y se comparan los resultados. Cualquier divergencia es un error o un cambio que hay que aprobar explícitamente. El método resulta útil en reescrituras, cuando el comportamiento debe permanecer igual. Conviene usar entradas aleatorias o muestras de tráfico real, normalizar diferencias irrelevantes como los espacios, y mantener una lista de las diferencias admisibles.

Hay además una advertencia: las pruebas inestables enseñan al agente a relanzar la verificación en lugar de arreglar el código. Las pruebas lentas hacen que se ejecuten con menos frecuencia y complican encontrar la causa de un fallo.

Cómo funciona dentro del equipo

La verificación consiste en ejecutar el cambio. Para ello, el repositorio incluye una habilidad (skill) llamada verify en la carpeta .claude/skills/, lo más cerca posible del código correspondiente. Describe cómo levantar la aplicación o el simulador, y Claude la usa antes de hacer commit. En web se conecta la extensión de Chrome, en móviles un MCP para iOS o Android, en escritorio computer use y en backend un servicio que se ejecuta en local.

Se llama a una persona cuando la verificación falla: si no pasa tras tres rondas de correcciones, Claude se detiene y entrega la tarea a los humanos. Las verificaciones las escriben los responsables del código, y cuando se invoca al revisor, la verificación explica la causa para no tener que deducirla del diff.

Existe una lista de comprobación de fiabilidad de 39 puntos. Cada uno tiene un disparador que se lee del diff, la propia verificación y enlaces a incidentes. Claude analiza el diff y aplica solo los puntos que corresponden, normalmente entre 3 y 10.

La regla principal de protección es que un cambio no debe modificar la verificación que lo juzga. Code Review lee REVIEW.md de la rama base, no del pull request. El resultado de una revisión solo es válido para un commit concreto.

La nueva puerta de commits se activa por etapas en los modos off, observe y enforce. En observe solo registra lo que habría bloqueado, para analizar los falsos positivos. En enforce bloquea los commits sin /code-review o /verify, pero tras dos bloqueos en una sesión deja pasar el siguiente para que el agente no se quede atascado. Cada commit lleva una etiqueta con el método de verificación empleado, incluida «none».

Verificar a los verificadores

El equipo registra cuántos cambios integrados se revierten, cuántos rechaza el mantenedor, y lo compara con una muestra limpia del mismo tamaño. Para evaluar al revisor se construye un conjunto a partir de incidentes pasados: el repositorio se restaura al momento de la revisión y se pide una respuesta de una frase sobre en qué consiste el error. Solo se otorgan puntos por una descripción correcta. El conjunto de ajuste está separado del de prueba, y la exhaustividad se mide por separado para los hallazgos brutos, tras la verificación y en el resultado final, para comprobar que no se pierden errores ya encontrados. Los hallazgos se marcan como Important, Nit o Pre-existing.

Las nuevas reglas nacen por dos vías: de los comentarios de revisión y reversiones que se repiten (mínimo dos PR, tres agentes intentan refutarlas y una persona las aprueba) y de la nueva ejecución de tres buscadores de errores sobre PR con un incidente conocido. Claude no puede saltarse pruebas inestables, añadir pausas ni relanzarlas hasta que pasen: si no se encuentra la causa, la prueba se elimina con una nota que explica por qué.

Qué llevarse

Esto es la descripción de la práctica de un solo equipo, no una investigación independiente: el +10 puntos procede de pruebas internas. Pero el conjunto de técnicas es general: haga la verificación rápida y estable, proteja con un cambio verificable, evalúe con errores reales y depure las reglas con regularidad. Así el trabajo pasa de leer cada diff a definir qué significa «terminado» y a comprobar las pruebas.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Tres tipos de pruebas en las que conviene invertir?

Si hay que elegir una sola, el equipo recomienda las pruebas de extremo a extremo (end-to-end). Describen el recorrido real del usuario: añade un producto al carrito, completa el pedido y ve la página de confirmación. Es difícil engañar a este tipo de prueba: la función funciona entera o no funciona. Una prueba unitaria devuelve «Timeout after 30 seconds», mientras que una prueba de extremo a extremo puede mostrar una captura de pantalla con la descripción de lo que se rompió.

Cómo funciona dentro del equipo?

La verificación consiste en ejecutar el cambio. Para ello, el repositorio incluye una habilidad (skill) llamada verify en la carpeta .claude/skills/, lo más cerca posible del código correspondiente. Describe cómo levantar la aplicación o el simulador, y Claude la usa antes de hacer commit. En web se conecta la extensión de Chrome, en móviles un MCP para iOS o Android, en escritorio computer use y en backend un servicio que se ejecuta en local.

¿Qué se sabe sobre Verificar a los verificadores?

El equipo registra cuántos cambios integrados se revierten, cuántos rechaza el mantenedor, y lo compara con una muestra limpia del mismo tamaño. Para evaluar al revisor se construye un conjunto a partir de incidentes pasados: el repositorio se restaura al momento de la revisión y se pide una respuesta de una frase sobre en qué consiste el error. Solo se otorgan puntos por una descripción correcta.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
¿Qué te parece?
Cargando comentarios…