En vivo 18.11 · Cohorte 318 nov, 19:00 MSK — taller práctico gratuito de agentes IA · Cohorte 3 en vivo inicia 23.11Taller 18 nov →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarHabr AI→ original

Análisis de 99 compactaciones de Claude Code: el 35% de los detalles que el agente necesitaba no llegó al contexto

Cuando a Claude Code se le acaba el contexto, el modelo resume la conversación y, a partir de ahí, el agente trabaja con ese resumen. El autor analizó 99 compactaciones en sus propios logs. De 506 detalles (rutas, enlaces, hashes) a los que el agente volvió, 179 (35%) no aparecían en el contexto transmitido. La primera estimación, un 72% de pérdidas, resultó ser un error del script. Los acuerdos sobrevivían casi siempre. Conviene pedir que el resumen enumere rutas y enlaces, y mantener las prohibiciones en las reglas del proyecto.

Procesado por IA desde Habr AI; editado por Hamidun News
Análisis de 99 compactaciones de Claude Code: el 35% de los detalles que el agente necesitaba no llegó al contexto
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Acuerdos243 de 265 se conservaron íntegros, 19 parcialmente y 3 desaparecieron
Hashes de commitsse perdieron 7 de 66; los 14 números de merge requests aparecieron
Rutas, enlaces y números de tareano aparecieron 172 de 426 (alrededor del 40%)

Cuando a Claude Code se le acaba el contexto, el modelo resume toda la conversación y, a partir de ese momento, el agente trabaja con ese resumen. Eso es la compactación. Imagine que lleva una hora editando src/config.

rs y ha acordado «hacemos push solo después de mi aprobación». Tras la compactación, el resumen debería conservar tanto el archivo como la prohibición. Un desarrollador de Lamantin AI, que crea kaeru (memoria para agentes), revisó sus propios logs para ver qué se pierde realmente.

El resultado: de 506 detalles a los que el agente volvió después de la compactación, 179 (35%) no se pudieron encontrar en el contexto que recibió. Pero la conclusión principal es otra: las primeras cifras, mucho más alarmantes, eran un error de cálculo. Para quien trabaja a diario con agentes de programación, esto funciona como una guía práctica sobre qué pedirle al resumen y qué mantener fuera de la conversación.

Qué recibe el agente tras la compactación

Según los logs de Claude Code, después de la compactación el agente dispone de tres fuentes: el resumen (objetivo, qué se hizo, qué archivos se tocaron, dónde se quedó el trabajo), unos pocos mensajes recientes literales y los archivos leídos hace poco, que Claude Code adjunta a continuación. Si un detalle no está en ninguna de ellas, el agente tiene que buscarlo de nuevo, deducirlo a partir de indicios indirectos o tomarlo de una memoria externa, si hay una conectada.

Los datos: 231 sesiones de Claude Code entre abril y principios de noviembre, y sesiones de Codex de noviembre. Tras eliminar duplicados quedaron 67 compactaciones en Claude Code y 32 en Codex, 99 en total. Los duplicados (se encontraron 38) aparecen cuando una sesión continuada copia el historial junto con los límites de compactación anteriores. De las 67 compactaciones de Claude Code, 64 fueron automáticas, y el tamaño mediano del contexto antes de ellas era de unos 973 mil tokens. En Codex el resumen está cifrado, así que el autor solo pudo comprobar su contenido en Claude Code.

Cómo el 72% de pérdidas se convirtió en un 35%

El primer cálculo era rudimentario: tomar todas las rutas, enlaces, hashes y números que aparecían tanto antes como después de la compactación, y comprobar si estaban en el resumen y en los mensajes conservados. No se encontraron 955 de 1 330, es decir, el 72%. Pero en ese montón se coló basura: una ruta de un stack trace podía aparecer en la salida de un comando antes y después de la compactación sin que el agente la necesitara.

Además, parte de las «pérdidas» estaba en el propio resumen. Un caso ilustrativo: tras la compactación, el agente volvió a leer un archivo de configuración por su ruta completa y el script lo anotó como pérdida. Sin embargo, el resumen contenía la línea «Edited src/config.

rs: added CommandSpec struct». No se equivocó el agente, sino la expresión regular, que ignoraba las rutas cortas.

Entonces el autor acotó la pregunta: contar solo lo que aparecía antes de la compactación y lo que el propio agente escribió después, en un comando o en una respuesta. Quedaron 506 detalles:

  • 300 (59%) se encontraron en el resumen o en los mensajes conservados;
  • 27 (5%) estaban en los archivos adjuntos;
  • 179 (35%) no aparecían en el contexto transmitido.

La diferencia por tipo es grande. Los 14 números de merge requests aparecieron, de los hashes de commits se perdieron 7 de 66, y las rutas, enlaces y números de tarea no aparecieron en 172 casos de 426. El autor supone que el modelo incluye con gusto un número corto en el resumen, mientras que una ruta larga la sustituye por palabras como «se editó la configuración», pero no ha comprobado esa hipótesis.

Una salvedad importante: el 35% no significa que «el agente lo olvidó». Un detalle que el agente olvidó y no volvió a mencionar no entra en este recuento. Es la proporción de lo que el agente retomó pero el script no encontró en el contexto. De los 179 detalles, 82 aparecieron por primera vez después de la compactación en la salida de Bash, PowerShell o Read, uno en una respuesta de kaeru, y los 96 restantes los escribió el agente sin una fuente visible en el log.

Los acuerdos y una «infracción» que no existió

La comparación de cadenas no sirve para el significado, así que, para 60 compactaciones, el autor extrajo las decisiones de las últimas intervenciones («hacemos push solo después de mi aprobación», «este archivo no se toca»): salieron 298. Las etiquetó un modelo de lenguaje en dos pasadas independientes, y en el resultado final solo entraron las valoraciones coincidentes. De 265 decisiones, 243 se conservaron íntegras, 19 parcialmente y 3 desaparecieron, por ejemplo, «imputar el tiempo del viernes». Estos datos no dicen qué ocurre con un acuerdo cerrado un centenar de llamadas antes de la compactación.

De las 152 decisiones en las que se podía ver si se cumplían, cuatro recibieron la etiqueta «incumplida». El caso más llamativo: tras la compactación, el agente parecía haber ejecutado un script sin permiso. Pero en el log apareció un «dale» del autor, dicho antes de la compactación aunque después de la petición de esperar, y en las primeras 30 llamadas de la nueva ejecución no había ninguna. De nuevo, el fallo no fue del agente, sino del método de verificación.

Hubo un hallazgo adicional: el recordatorio «mira en la memoria» del instalador de kaeru se activaba al iniciar, continuar y limpiar una sesión, pero no después de una compactación. La corrección ya está en la rama principal. Para 14 de los 179 detalles había registros exitosos en kaeru anteriores a la compactación; para uno de ellos (el hash 12ce9e1), el autor confirmó que la nota estaba en la memoria en el momento de la compactación. No se comprobó si le habría servido al agente: haría falta un experimento aparte con tareas idénticas, con memoria y sin ella.

Qué hacer en la práctica

  • Pida que el resumen enumere rutas, enlaces y commits. Con /compact manual, añada: «enumera las rutas de archivos, los enlaces y los commits con los que se trabajó».
  • Mantenga las prohibiciones estrictas fuera de la conversación: en las reglas del proyecto o en un hook. «No hacer push sin confirmación» sobrevive a la compactación, pero así es más fiable.
  • Añada compact al matcher del hook SessionStart (startup|resume|clear|compact) para que, tras la compactación, el agente reciba el recordatorio de mirar en la memoria.
  • Antes de culpar al agente, revise el resumen y el orden de las intervenciones previas a la compactación.

Limitaciones: son los logs de un solo desarrollador, los modelos y las versiones de los clientes cambiaron, las rutas se compararon por sus dos últimos segmentos y las decisiones las etiquetó un modelo. La proporción de llamadas repetidas tras la compactación no aumentó: en Claude Code, 5,1% después frente a 6,2% antes; en Codex, 1,5% frente a 4,9%. Esta comprobación no detecta la repetición de un trabajo anterior con otros argumentos. Para encontrar compactaciones en sus propios logs, busque compact_boundary en los archivos JSONL de ~/.claude/projects; en Codex, es el registro compacted con el campo replacement_history.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué recibe el agente tras la compactación?

Según los logs de Claude Code, después de la compactación el agente dispone de tres fuentes: el resumen (objetivo, qué se hizo, qué archivos se tocaron, dónde se quedó el trabajo), unos pocos mensajes recientes literales y los archivos leídos hace poco, que Claude Code adjunta a continuación. Si un detalle no está en ninguna de ellas, el agente tiene que buscarlo de nuevo, deducirlo a partir de indicios indirectos o tomarlo de una memoria externa, si hay una conectada.

Cómo el 72% de pérdidas se convirtió en un 35%?

El primer cálculo era rudimentario: tomar todas las rutas, enlaces, hashes y números que aparecían tanto antes como después de la compactación, y comprobar si estaban en el resumen y en los mensajes conservados. No se encontraron 955 de 1 330, es decir, el 72%. Pero en ese montón se coló basura: una ruta de un stack trace podía aparecer en la salida de un comando antes y después de la compactación sin que el agente la necesitara. Además, parte de las «pérdidas» estaba en el propio resumen.

¿Qué se sabe sobre Los acuerdos y una «infracción» que no existió?

La comparación de cadenas no sirve para el significado, así que, para 60 compactaciones, el autor extrajo las decisiones de las últimas intervenciones («hacemos push solo después de mi aprobación», «este archivo no se toca»): salieron 298. Las etiquetó un modelo de lenguaje en dos pasadas independientes, y en el resultado final solo entraron las valoraciones coincidentes. De 265 decisiones, 243 se conservaron íntegras, 19 parcialmente y 3 desaparecieron, por ejemplo, «imputar el tiempo del viernes».

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
¿Qué te parece?
Cargando comentarios…