Cómo construir un agente de toma de decisiones en streaming con replanificación online en un entorno dinámico

Este tutorial describe la arquitectura de un agente de toma de decisiones en streaming que opera en un entorno en cambio constante y transmite razonamientos parciales en tiempo real, sin esperar a una respuesta final antes de actuar.

Entorno y tarea

Para la demostración se utiliza una cuadrícula dinámica: los obstáculos en ella se mueven según sus propias reglas, y el punto objetivo se desplaza aleatoriamente a un intervalo fijo.

El agente no sabe de antemano qué cambiará exactamente en el siguiente paso: esta es la diferencia clave frente a los problemas clásicos de búsqueda de caminos.

Parámetros clave del entorno:

• Cuadrícula N×N con obstáculos en movimiento
• El objetivo se desplaza aleatoriamente cada K pasos
• El agente solo ve un radio de observación limitado a su alrededor
• El entorno no es determinista: el mismo plan puede fallar dos veces

Este planteamiento del problema es deliberadamente más complejo.

Modela escenarios reales: navegación de un robot autónomo en un almacén, planificación de ruta de un vehículo autónomo en el flujo de tráfico y control de una línea de producción ante fallos de equipamiento.

Planificador con horizonte deslizante

En la base del agente está el algoritmo A*, pero aplicado de una forma no estándar.

En lugar de una ruta completa hasta el objetivo, se usa un horizonte recedente: el agente planifica solo los próximos H pasos, ejecuta varios de ellos y luego vuelve a planificar desde la nueva posición teniendo en cuenta el estado actualizado del entorno.

Esto cambia de forma fundamental la lógica de funcionamiento.

Un plan completo en un entorno dinámico queda obsoleto más rápido de lo que el agente alcanza a ejecutarlo: un obstáculo se movió, el objetivo cambió de sitio, y la ruta ya no es válida.

Un horizonte corto permite no aferrarse a datos desactualizados.

«El agente no guarda un gran plan único: crea y descarta pequeños

planes de forma constante a medida que avanza», lo que resume la esencia del enfoque de horizonte recedente.

El parámetro H (la longitud del horizonte) se convierte en un elemento clave de ajuste: si es demasiado corto, el agente avanza con miopía y se atasca en mínimos locales; si es demasiado largo, pierde tiempo planificando rutas que de todos modos habrá que descartar.

Streaming de razonamientos parciales

Un agente estándar permanece en silencio hasta encontrar una respuesta final.

Un agente en streaming transmite estados intermedios en tiempo real: cada paso significativo del razonamiento pasa a estar disponible de inmediato:

• Se detecta un nuevo obstáculo → la señal se transmite de inmediato
• El objetivo se desplazó → el plan anterior se descarta y se inicia uno nuevo
• Se encuentra una ruta intermedia → se transmite, aunque todavía no sea óptima
• Se alcanza el punto del horizonte y se lanza una replanificación → el estado se actualiza

Esto aporta observabilidad: el sistema orquestador o el usuario siempre conocen la intención actual del agente.

En sistemas de producción, esto permite intervenir antes de que el agente llegue a un callejón sin salida.

Otro efecto es la posibilidad de que un sistema externo corrija el comportamiento sobre la marcha: si el plan que se está transmitiendo va en una dirección no deseada, se puede enviar una señal de interrupción de inmediato.

Técnicamente, el streaming se implementa mediante generadores de Python: cada `yield` transmite un paso del razonamiento, lo que es compatible con la API de streaming de los LLM modernos.

Adaptación reactiva

El tercer componente es la interrupción del plan actual cuando el entorno cambia en plena ejecución de un paso.

El agente no espera al siguiente ciclo de replanificación: el mecanismo de interrupción comprueba el estado del entorno después de cada acción y, si hace falta, lanza una replanificación de emergencia.

Se introduce una escala de criticidad de los cambios: un pequeño desplazamiento de un obstáculo implica continuar con el plan actual; el bloqueo del siguiente paso implica replanificación inmediata; un cambio completo de la posición del objetivo implica reiniciar con un nuevo horizonte.

Esta reacción multinivel aumenta la carga computacional, pero es críticamente importante allí donde el coste del error es alto.

Qué significa esto

La arquitectura descrita es una plantilla práctica para desarrolladores de agentes de AI que trabajan en condiciones de incertidumbre real.

El streaming de razonamiento, el horizonte corto de planificación y las interrupciones reactivas son tres patrones que, juntos, ofrecen un marco listo para tareas de robótica, automatización industrial y sistemas de agentes basados en LLM.

A medida que los sistemas de agentes se extienden en la industria, la brecha entre «piensa en el vacío» y «actúa en el mundo real» se convierte en un desafío clave de ingeniería: este tutorial ofrece un punto de entrada concreto.