Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
IndustriaAnálisis · En radarHabr AI→ original

Las reglas del equipo cambiaron el plan del agente de programación en 5 puntos de 5; las auditorías repetidas, en 1

El exceso de contexto diluye la atención de un agente de programación. El autor construyó con uno un servicio en Rust, le pasó los datos por porciones y, tras cada una, evaluó cómo cambiaba el plan: 1 significaba que nada cambiaba y 5, que aparecían secciones nuevas y bifurcaciones que debía resolver una persona. Las reglas del equipo y sus repositorios obtuvieron 5 de 5: el agente descubrió el framework interno redup-servicekit y cambió de stack. Las auditorías repetidas obtuvieron 1.

Procesado por IA desde Habr AI; editado por Hamidun News
Las reglas del equipo cambiaron el plan del agente de programación en 5 puntos de 5; las auditorías repetidas, en 1
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Dato clave #1Solo 2 de los 24 pasos obtuvieron el máximo de 5 puntos: las reglas del equipo y los ejemplos de repositorios
5 de los 24 pasos obtuvieron 1 puntoaclaraciones y tres auditorías de control sin nuevos cambios
Una auditoría temprana encontró un bugel modo sync añadía un /search sobrante a la dirección y recibía un 404

Cuando se le encarga una tarea a un agente de programación, la tentación es adjuntarlo todo: especificación técnica, documentación de la API, reglas del equipo, ejemplos de código, «por si acaso». Pero la ventana de contexto es finita y el texto superfluo diluye la atención del modelo. El autor de un artículo en Habr comprobó qué contexto ayuda de verdad y lo midió así: tras cada porción de datos, el agente revisaba su plan de implementación y valoraba, en una escala de 1 a 5, cuánto había cambiado.

Un 1 significa «no hace falta cambiar el plan», y un 5, «en el plan han aparecido secciones nuevas y bifurcaciones entre las que el agente no puede elegir; hace falta una persona». Por ejemplo, las reglas del equipo obtuvieron 5 de 5, y las auditorías repetidas del código, 1. La conclusión práctica: conviene poner en el contexto lo que el agente no puede deducir por sí mismo; las repeticiones y confirmaciones solo gastan tokens.

Cómo se midió la utilidad del contexto

La tarea era real: escribir en Rust un servicio de búsqueda de texto sobre la Yandex Search API. El contexto se entregó al agente por porciones, no de una sola vez. Lo que se evaluó no fue el código final, sino el plan: reacciona a los datos nuevos más rápido que el código y muestra bien qué ha tenido en cuenta realmente el agente.

La carpeta del proyecto contenía cuatro archivos: readme.md con la descripción del proyecto, plan.md con el plan en sí, logqa.md con el historial en bruto de preguntas y respuestas e influence.md con las valoraciones de cada porción. El primer registro responde a la pregunta «qué ocurrió»; el segundo, a «cuán relevante fue».

La escala era esta:

  • 1 — no hace falta cambiar el plan;
  • 2 — retoques cosméticos y cambios de nombre;
  • 3 — cambios pequeños sin secciones nuevas;
  • 4 — cambios importantes y secciones nuevas;
  • 5 — secciones nuevas más caminos alternativos entre los que el agente no puede elegir.

Un cinco significa aquí que no se puede prescindir de una persona: hacen falta acuerdos del equipo, políticas de seguridad o restricciones externas.

Qué dio la vuelta al plan y qué no cambió nada

De los 24 pasos, solo dos obtuvieron el máximo. El primero fue las reglas corporativas de desarrollo. Tras ellas, el plan incorporó secciones sobre observabilidad, despliegue, modelo de repositorios y pruebas. También surgieron preguntas que el agente no podía responder: REST/JSON o gRPC/proto, cómo nombrar los repositorios, si hacían falta ya helm y k8s, cómo enviar los logs a OpenSearch. Son acuerdos del equipo, no cuestiones técnicas.

El segundo fue un conjunto de repositorios reales de la empresa. El agente vio que el equipo ya tenía un framework interno, redup-servicekit, con la observabilidad resuelta, y descartó el stack montado a mano con metrics, prometheus y tower-http. Cambiaron la configuración (YAML en lugar de toml), la forma de conectar proto (submódulo de git) y el esquema de despliegue. Nada de esto se habría podido adivinar a partir de una especificación abstracta: ese conocimiento vivía en la cabeza del equipo y en sus repositorios.

La documentación de la API externa obtuvo 4 puntos: se aclaró que hacía falta Yandex Search API v2 y no el antiguo «Yandex.XML». Una consulta real posterior a esa API dio solo un 3: precisó detalles, pero no cambió la dirección.

Cinco pasos obtuvieron 1 punto: una pregunta sobre cómo declarar una dependencia, la petición de enumerar las decisiones pendientes y tres auditorías de control del código seguidas. Cuando ya se habían corregido todas las observaciones de gravedad media, se le pidió al agente varias veces más «analizar y corregir». Respondía que no había nada nuevo, ni regresiones, y que el código no había cambiado.

Aun así, las auditorías de los primeros ciclos sí compensaron. Una de ellas encontró un bug crítico: el modo sync añadía /search a una dirección que ya era completa y recibía un 404. El valor de la auditoría decrecía a medida que se corregían los hallazgos.

Conclusiones prácticas

De la escala, el autor extrae varias reglas.

  • Ponga la especificación técnica como archivo en el proyecto. El agente puede releerla en cualquier momento, mientras que un resumen en el chat distorsiona el sentido y consume ventana de contexto.
  • Entregue al principio las reglas del equipo y los repositorios reales. Son los que dan los cincos. Si se aportan más tarde, habrá que reescribir el plan desde cero, lo que supone más tokens y más tiempo.
  • Dé la documentación de sistemas externos como fuente de hechos. Mantenga en paralelo una lista de preguntas abiertas y marque las que bloquean.
  • Pase a una persona las bifurcaciones de cinco puntos. Si el agente choca con una política de seguridad o un acuerdo del equipo, que pregunte en lugar de adivinar.
  • Anote en el plan las decisiones cerradas de inmediato. Así el agente no volverá a plantear la cuestión.
  • No repita las comprobaciones sin datos nuevos. Cada ejecución así cuesta tokens y minutos, y el rendimiento es casi nulo.

El autor lo explica así: una puntuación alta significa que ante la persona se ha abierto un espacio de decisión que antes no existía. Una puntuación baja significa que todo está ya definido. La utilidad de una misma información disminuye a medida que el plan toma forma: las primeras porciones, las más pesadas, aportan más, y después el rendimiento decrece.

Limitaciones

El experimento es único: una tarea, un agente, un autor. Las puntuaciones las puso el propio agente según la escala dada, por lo que no son una evaluación independiente ni un benchmark. Es poco probable que los resultados se trasladen tal cual a otros stacks y equipos. Pero el método se puede repetir sin demasiado coste: basta con crear un registro y un archivo de valoraciones y ver qué partes de su contexto funcionan de verdad. De paso, quedará claro dónde está pagando con tokens por ruido.

Historia

Preguntas frecuentes sobre la noticia

Cómo se midió la utilidad del contexto?

La tarea era real: escribir en Rust un servicio de búsqueda de texto sobre la Yandex Search API. El contexto se entregó al agente por porciones, no de una sola vez. Lo que se evaluó no fue el código final, sino el plan: reacciona a los datos nuevos más rápido que el código y muestra bien qué ha tenido en cuenta realmente el agente.

¿Qué se sabe sobre Qué dio la vuelta al plan y qué no cambió nada?

De los 24 pasos, solo dos obtuvieron el máximo. El primero fue las reglas corporativas de desarrollo. Tras ellas, el plan incorporó secciones sobre observabilidad, despliegue, modelo de repositorios y pruebas. También surgieron preguntas que el agente no podía responder: REST/JSON o gRPC/proto, cómo nombrar los repositorios, si hacían falta ya helm y k8s, cómo enviar los logs a OpenSearch. Son acuerdos del equipo, no cuestiones técnicas. El segundo fue un conjunto de repositorios reales de la empresa.

¿Qué se sabe sobre Conclusiones prácticas?

De la escala, el autor extrae varias reglas. Ponga la especificación técnica como archivo en el proyecto. El agente puede releerla en cualquier momento, mientras que un resumen en el chat distorsiona el sentido y consume ventana de contexto. Entregue al principio las reglas del equipo y los repositorios reales. Son los que dan los cincos. Si se aportan más tarde, habrá que reescribir el plan desde cero, lo que supone más tokens y más tiempo. Dé la documentación de sistemas externos como fuente de hechos.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…