OTUS explicó en Habr cómo funcionan los agentes de AI para desarrollo de software: de los tokens a las herramientas

Habr publicó un desglose detallado de cómo funcionan los agentes de IA para desarrollo. El texto disipa el aura de "magia" y muestra que detrás de la interfaz conveniente hay mecánicas muy concretas: tokens, prompt de sistema, herramientas, historial de diálogo y un ciclo de llamadas repetidas del modelo.

Arquitectura Básica del Agente

La idea principal del artículo es simple: un agente de desarrollo no es un tipo separado de inteligencia, sino un envoltorio alrededor de un gran modelo de lenguaje. Dentro de tal sistema hay el propio LLM, un prompt de sistema oculto con reglas de comportamiento, una lista de herramientas disponibles y código que ejecuta todo esto en un ciclo "solicitud → llamada de función → resultado → nueva solicitud". Este marco es lo que convierte un modelo capaz de continuar texto en un asistente que escribe código, lee archivos, ejecuta comandos y devuelve resultados intermedios.

La mecánica básica del LLM también se discute por separado. Un modelo funciona no con palabras, sino con tokens — representaciones numéricas de texto e imágenes. Esto es importante no solo para entender la arquitectura, sino también para la economía del producto: los proveedores cobran por los tokens de entrada y salida procesados y también limitan el tamaño total del contexto. Así que incluso una frase aparentemente simple del usuario es parte de una cadena donde cada nueva operación afecta el precio, la latencia y la calidad de la respuesta.

Contexto y Precio

El artículo explica bien por qué un chat largo con un agente casi siempre se vuelve más caro. Un modelo de lenguaje no tiene memoria propia entre solicitudes, por lo que la aplicación se ve obligada a reenviar el historial de conversación con cada turno siguiente. Si un usuario pide primero escribir una función, luego reescribirla para una biblioteca diferente y luego agregar pruebas, todo el diálogo anterior vuelve al modelo como entrada. Conforme la sesión crece, el costo de cada paso siguiente aumenta.

• longitud del prompt de sistema
• volumen del historial de chat
• número de tokens de entrada y salida
• almacenamiento en caché de prefijos repetidos
• número de llamadas de función intermedias

En este contexto, el almacenamiento en caché de tokens se vuelve especialmente importante. Si la parte inicial del prompt no cambia, el proveedor del modelo puede procesarla más barato porque algunos cálculos ya se hicieron antes. Es por eso que los buenos sistemas de agentes intentan conducir el diálogo cuidadosamente, no romper fragmentos estables del contexto y no rearmar la solicitud sin necesidad. De lo contrario, un agente puede funcionar notablemente más caro sin ninguna ganancia real en resultados o velocidad.

Herramientas y Razonamiento

La diferencia clave entre un agente y un chat regular es el acceso a herramientas. El modelo recibe instrucciones sobre qué funciones se le permite llamar: desde leer archivos y buscar código hasta ejecutar Bash o Python. A continuación, el envoltorio del agente extrae tal llamada de la respuesta del modelo, la ejecuta y devuelve el resultado al contexto. Es a través de este ciclo que un agente puede no solo "aconsejar", sino realmente probar hipótesis, examinar contenidos del proyecto, reproducir errores y corregir código basado en hechos en lugar de conjeturas.

Otra capa es el modo de razonamiento, que le da al modelo más tiempo y tokens para análisis intermedio de la tarea. En el artículo se describe como uno de los cambios más notables en generaciones recientes de modelos, especialmente útil para depuración y análisis de ramas de ejecución complejas. Pero el precio de esta ventaja es directo: más computación, mayor latencia, mayor costo.

Como se dice en el material, un agente no es magia, sino un conjunto de decisiones arquitectónicas. Y la calidad de tal agente está determinada no por un modelo impresionante, sino por cómo el ingeniero ensambló todo el circuito.

Qué Significa Esto

El material es útil como antídoto contra expectativas infladas. Si estás utilizando o construyendo un agente de IA para desarrollo, debes mirar no solo el nombre del modelo, sino la ventana de contexto, el prompt de sistema, el conjunto de herramientas, la lógica del ciclo y el costo de cada paso — ahí es donde están las limitaciones reales y la calidad real.