Un agente de IA híbrido reduce el coste de una conversación a 3,8 rublos

Un chat abierto con un LLM parece natural, pero tiene dos hábitos problemáticos en un flujo de producto: consume muchos tokens y puede olvidar adónde debía conducir al usuario. Un bot basado en guiones es más barato y predecible, pero falla en cuanto alguien escribe, en vez de pulsar un botón: «¡El becario sabe servir café!». El autor del artículo construyó un sistema híbrido: el código convencional controla la ruta y los modelos se encargan de interpretar los mensajes y ofrecer respuestas naturales.

En un piloto con 88 usuarios, todas las llamadas a modelos costaron 169 rublos. El coste medio por conversación fue de 3,8 rublos. Según los cálculos del autor, la misma conversación con un LLM potente y sin un armazón determinista habría costado unos 16 rublos.

La máquina de estados decide, el LLM explica

El diálogo se divide en estados: presentación, formación, final, oferta, rechazo y parada. Solo el código puede trasladar al usuario de uno a otro. Sabe qué transiciones están permitidas, comprueba las respuestas de los cuestionarios y decide cuándo mostrar la oferta comercial.

Cuando el usuario pulsa un botón, el modelo recibe un contexto ya preparado y redacta una respuesta. Cuando llega texto libre, primero se llama a un clasificador económico. Este elige una de las acciones permitidas: continuar con el tema, explicarlo de forma más sencilla, pasar a otra parte del programa o simplemente mantener la conversación. La máquina de estados valida la elección y el modelo narrador formula la réplica.

Por ejemplo, un usuario pidió una explicación más sencilla de las redes neuronales y después hizo una broma sobre un becario y el café. En el primer caso, la máquina de estados conocía exactamente el tema y solo llamó al narrador. En el segundo, el clasificador reconoció la broma como una digresión conversacional, el código conservó el estado actual y el narrador respondió antes de devolver la conversación a la lección. Fueron necesarias dos llamadas a modelos, en lugar de cederles todo el control.

De dónde procede el ahorro

El principal gasto no lo genera la longitud de la conversación en sí, sino la arquitectura de cada turno. En la implementación del autor, pulsar un botón costaba unos 35 kopeks y enviar un mensaje de texto, 36 kopeks. Una conversación media sumaba 3,8 rublos. Un modelo pequeño actuaba como clasificador y otro más potente como narrador.

Un intercambio accidental de los modelos durante el piloto mostró con claridad el coste de un enrutamiento incorrecto. El modelo más caro, asignado a la clasificación, procesó el 31% de las llamadas, pero absorbió el 44% del gasto. En la configuración habitual, el clasificador representaba aproximadamente el 1% del coste. La conclusión práctica es sencilla: conviene usar el modelo barato cuando existe una lista corta de opciones y reservar el caro para las tareas en las que la calidad del texto realmente importa.

La fiabilidad no depende únicamente de los prompts. Las transiciones y los cuestionarios se comprueban sin conexión y sin modelos, los mensajes difíciles de los usuarios se incorporan a un conjunto de pruebas de evaluación y la máquina de estados vuelve a validar la acción seleccionada por el clasificador. Para emergencias, se establece un límite de gasto de 40 rublos por sesión; una vez alcanzado, se activan respuestas basadas en plantillas.

Lo que mostró el piloto

De los 88 visitantes, 86 iniciaron una conversación, 69 completaron el cuestionario y entraron en el programa de formación, pero solo siete llegaron al final de la ruta personalizada. Durante una sesión grupal, el agente atendió simultáneamente a 71 personas sin fallos. La oferta comercial se mostró a 33 participantes y diez pulsaron el botón «Me interesa».

Esta es una limitación importante del resultado: el piloto fue pequeño, las cifras fueron comunicadas por el propio autor, no hubo grupo de control y el artículo no muestra compras reales. Por tanto, aún es pronto para hablar de un aumento demostrado de los ingresos. Sin embargo, la hipótesis de ingeniería quedó confirmada con bastante claridad: una máquina de estados finitos puede mantener la ruta mientras el LLM hace que la interacción resulte menos rígida.

Para los desarrolladores, el proyecto ofrece una plantilla concreta. Hay que guardar el estado y las reglas de negocio en el código, limitar el clasificador a las transiciones permitidas, distribuir los modelos según la complejidad de la tarea y calcular el coste de un recorrido de usuario completado, no el precio de un solo token. A partir de ahí, el principal cuello de botella deja de ser el precio del modelo y pasa a ser la interacción: cómo llevar a una persona desde la primera broma hasta un resultado útil y una compra.