Cómo un desarrollador redujo el consumo de tokens del agente de IA en 4,6 millones por día: análisis de la fuga

Un desarrollador en Habr publicó un análisis del consumo real de tokens de un agente de IA y descubrió: la mayor parte del presupuesto va no al trabajo útil, sino a procesos de servicio en segundo plano. Ajustando la configuración de estas tareas, redujo el consumo en aproximadamente 4,6 millones de tokens por día.

Dónde se filtran realmente los tokens

La intuición sugiere que los tokens van donde el agente resuelve tareas difíciles: escribiendo código, analizando sitios web, gestionando navegadores, analizando registros. Tarea compleja, el modelo piensa, las herramientas funcionan, el contexto crece—parece lógico.

Pero el análisis de datos reales muestra un cuadro diferente. El principal consumidor del presupuesto no son las tareas complejas, sino los procesos de servicio que funcionan constantemente en segundo plano:

• Tareas cron — lanzamientos regulares independientemente de si hay trabajo real o no
• Diagnósticos y solicitudes de estado — el agente verifica constantemente su estado, incluso cuando nada sucede
• Listas de herramientas excesivas — se cargan docenas de herramientas en el contexto "por si acaso", aunque la mayoría de tareas requieren solo tres a cinco
• Comprobaciones de monitoreo — pings continuos de disponibilidad, incluidos períodos de inactividad total

La paradoja es que el agente cumple fielmente su trabajo desde el punto de vista del código: realiza comprobaciones, mantiene las herramientas a mano, ejecuta cronogramas. Solo que ninguna de estas acciones crea valor para el usuario—pero cada una añade a la factura. El contador de tokens ya está girando antes de que el usuario envíe ni siquiera una solicitud.

Por qué esta fuga es difícil de detectar

El autor describe la situación con una analogía perfecta: imagina un maestro llamado para cambiar un enchufe. Antes de coger las herramientas, descarga de su furgoneta todo el mercado de construcción, dos taladros y una hormigonera—y cobra por todo el tiempo, incluyendo la descarga.

Cada solicitud individual en segundo plano parece barata: un ping de diagnóstico—decenas de tokens, una comprobación cron una vez por minuto—también poco. Pero en escala diaria, con varios procesos paralelos, el efecto acumulativo es enorme—comparable a miles de interacciones reales de usuarios.

El problema se agrava por el enfoque estándar para diseñar sistemas de agentes: todo lo potencialmente útil se carga en el contexto de antemano, las herramientas se adjuntan en lotes, el monitoreo funciona continuamente. En la etapa de desarrollo y depuración, esto está justificado. En producción se convierte en un agujero permanente y predecible en el presupuesto. Por eso el problema no destaca a primera vista en los gastos: el panel muestra la suma pero no explica de dónde viene la mayor parte.

Qué proporciona la auditoría de procesos en segundo plano

El desarrollador identificó puntos específicos de fuga, ajustó la configuración de tareas en segundo plano y redujo el consumo en aproximadamente 4,6 millones de tokens por día. Importante: este es el resultado solo en tareas en segundo plano—sin cambios en la lógica de trabajo principal del agente.

La optimización de agentes de IA no comienza con la calidad de los prompts ni está determinada por la elección del modelo. Una parte significativa del presupuesto real está determinada por decisiones arquitectónicas—frecuencia de lanzamientos en segundo plano, composición de herramientas en el contexto, lógica de monitoreo. Aquí es donde a menudo se encuentran las oportunidades más rápidas y medibles para ahorrar costos. Tal auditoría es especialmente importante al escalar: aumentar el número de agentes o tareas multiplica el consumo en segundo plano incluso si la lógica principal permanece sin cambios.

Qué significa esto

Antes de optimizar la calidad de las respuestas de un agente, verifica cuántos tokens se gastan antes de que comience a trabajar. Auditar tareas en segundo plano no es una medida única—es una parte estándar del mantenimiento de sistemas de agentes en producción.