En vivo 18.11 · Cohorte 318 nov, 19:00 MSK — taller práctico gratuito de agentes IA · Cohorte 3 en vivo inicia 23.11Taller 18 nov →Cohorte 3 (23.11)
LanzamientoPaper científico · Para I+DHabr AI→ original

Claude Code con Kimi esperaba 22,6 s para validar comandos: un modelo rápido lo redujo a 9,9 s

En Claude Code con Kimi K3.1 Pro, el modo Auto va lento: antes de un git push o de lanzar los tests, una llamada aparte al modelo decide si el comando es seguro. Según los logs de 646 acciones, esa comprobación tardaba una media de 22,6 segundos y, en 30 subagentes, consumió el 23,8% del tiempo. El autor movió los comandos frecuentes a reglas allow explícitas, que no pasan por el modelo, y dejó el resto en manos de la rápida Kimi K2.8: 9,9 segundos en lugar de 22,6.

Procesado por IA desde Habr AI; editado por Hamidun News
Claude Code con Kimi esperaba 22,6 s para validar comandos: un modelo rápido lo redujo a 9,9 s
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Reglas en tres lugaresglobales, de proyecto y locales para los releases
Dato clave #2K2.8 verifica 2,3 veces más rápido que K3.1 Pro, pero no es un benchmark
Dato clave #3Las reglas protegen frente a errores accidentales, pero no sustituyen a un sandbox

Le pides al agente de Claude Code que ejecute los tests o haga un git push. El modelo principal ya ha respondido, pero el comando no arranca: el cursor se queda quieto unos segundos, y a veces minutos. Es el problema de un desarrollador que, tras el bloqueo de su cuenta de Anthropic, se pasó a Kimi K3.

1 Pro pero siguió usando el conocido Claude Code. La culpa no es de una generación de código lenta, sino de una comprobación oculta: antes de ejecutar el comando, una segunda llamada al modelo decide si es seguro. Si usas Claude Code con un modelo de terceros y tus agentes se «cuelgan», este análisis te ayudará a encontrar la causa y a eliminarla.

Por qué el agente se congela antes de git push

La migración es técnicamente sencilla: basta con cambiar en los ajustes de Claude Code el endpoint de la API y los nombres de los modelos. En sus propias tareas, el autor no notó que Kimi fuera claramente peor que Opus 5.5. Los inconvenientes son otros: es más cara, es decir, la suscripción ofrece menos límites, y el propio Kimi Code, a su juicio, tiene pocas funciones y es incómodo en comparación con Claude Code. El autor usa las extensiones para VS Code, así que compara solo esas. Por ahora no ha encontrado harnesses alternativos (capas que envuelven el modelo) que merezcan la pena.

Los problemas empezaron en el modo Auto, en el que el agente recibe automáticamente permisos para llamar a herramientas. Claude Code envía a un clasificador independiente una parte de la conversación y la acción prevista, y espera su veredicto. En Anthropic esto se ha resuelto como una extensión del protocolo entre el harness y el modelo (server-side review).

Todo indica que funciona en paralelo al modelo principal y que su coste no cuenta para las cuotas. Kimi y la mayoría de los demás modelos de frontera no tienen esa extensión. Para ellos existe un modo de compatibilidad: la variable CLAUDE_CODE_AUTO_MODE_SERVER con el valor "0".

Entonces la comprobación se convierte en una petición síncrona normal al modelo, y el agente se detiene hasta que llega la respuesta. Además, supone una partida de gasto considerable.

Qué mostraron los logs

El autor analizó los logs de dos tareas grandes con agentes y subagentes. En 646 acciones, K3.1 Pro tardó una media de 22,6 segundos solo en comprobar el permiso. La verificación en una sola etapa duraba 15,6 segundos; la de varias etapas, 35,8. Hubo cancelaciones por timeout a los 120 segundos. Según el autor, en el caso de 30 subagentes el clasificador ocupó el 23,8% de su tiempo activo.

La solución: reglas en lugar de un segundo modelo

La idea central es que no toda acción requiere una decisión de un LLM. El autor añadió a los ajustes permisos explícitos en permissions.allow, por ejemplo el comando exacto git push origin HEAD o la ejecución del script de formateo. Las acciones que encajan con una regla no llaman al clasificador en absoluto. Dividió las reglas en tres grupos:

  • Comunes a todos los proyectos: operaciones no destructivas con Git y gh. Se guardan en el ~/.claude/settings.json global.
  • De proyecto: llamadas a compiladores, linters y tests. Están en el .claude/settings.json del repositorio. Claude Code combina automáticamente las listas locales y las globales.
  • De release y de gestión. El agente prepara de antemano la lista de comandos, el autor añade reglas exactas con todos los parámetros en .claude/settings.local.json y, a partir de ahí, el agente ejecuta toda la cadena con rapidez. Para un force-push, que es poco frecuente, es más sencillo cambiar a Manual y confirmar la acción una vez.

Para todo lo que las reglas no cubren, el autor asignó como clasificador kimi-for-coding (K2.8) mediante la variable CLAUDE_CODE_AUTO_MODE_MODEL. En las primeras pruebas, el tiempo medio de comprobación fue de 9,9 segundos, frente a los 22,6 de K3.1 Pro: aproximadamente 2,3 veces más rápido. No es un benchmark completo, pero como referencia sirve para sus tareas.

Limitaciones y conclusión

La advertencia principal tiene que ver con la seguridad: las permission rules protegen frente a acciones destructivas accidentales, pero no constituyen un límite de seguridad. El agente puede reescribir tus archivos incluso sin Bash, así que para un aislamiento real hacen falta otras medidas.

En la práctica, el orden es el siguiente. Primero, comprueba en los logs cuánto tiempo se va en las verificaciones de permisos. Después, mueve los comandos frecuentes y seguros a reglas allow explícitas y deja los ambiguos al modelo, preferiblemente uno rápido y económico. Las reglas deterministas son más rápidas, más baratas y más predecibles, y conviene reservar el LLM para los casos realmente poco claros. El autor mostró la configuración y el release workflow en el PR #34 del proyecto Quoll.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Por qué el agente se congela antes de git push?

La migración es técnicamente sencilla: basta con cambiar en los ajustes de Claude Code el endpoint de la API y los nombres de los modelos. En sus propias tareas, el autor no notó que Kimi fuera claramente peor que Opus 5.5. Los inconvenientes son otros: es más cara, es decir, la suscripción ofrece menos límites, y el propio Kimi Code, a su juicio, tiene pocas funciones y es incómodo en comparación con Claude Code. El autor usa las extensiones para VS Code, así que compara solo esas.

¿Qué se sabe sobre Qué mostraron los logs?

El autor analizó los logs de dos tareas grandes con agentes y subagentes. En 646 acciones, K3.1 Pro tardó una media de 22,6 segundos solo en comprobar el permiso. La verificación en una sola etapa duraba 15,6 segundos; la de varias etapas, 35,8. Hubo cancelaciones por timeout a los 120 segundos. Según el autor, en el caso de 30 subagentes el clasificador ocupó el 23,8% de su tiempo activo.

¿Qué se sabe sobre La solución: reglas en lugar de un segundo modelo?

La idea central es que no toda acción requiere una decisión de un LLM. El autor añadió a los ajustes permisos explícitos en permissions.allow, por ejemplo el comando exacto git push origin HEAD o la ejecución del script de formateo. Las acciones que encajan con una regla no llaman al clasificador en absoluto. Dividió las reglas en tres grupos: Comunes a todos los proyectos: operaciones no destructivas con Git y gh. Se guardan en el ~/.claude/settings.json global.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
¿Qué te parece?
Cargando comentarios…