Investigadores de SAP enseñan a los agentes de IA a no titubear entre distintas soluciones para la misma tarea

Si se le pide a un agente de IA con acceso a herramientas (búsqueda, bases de datos, APIs) que resuelva la misma tarea varias veces, puede comportarse de forma distinta cada vez: invocar funciones diferentes, dar respuestas contradictorias al usuario o llegar al resultado por caminos distintos. Para un chatbot de uso cotidiano esto es una molestia menor, pero para un agente que trabaja con datos médicos o escribe código en varios pasos, esta imprevisibilidad es un problema serio: un error en un paso se acumula y desvía toda la solución.

El autor del trabajo, Harshavardhan Abhichandani de SAP, notó que los métodos existentes para evaluar agentes casi siempre miden una sola cosa: si el agente resolvió la tarea o no. Casi nadie preguntaba por la estabilidad del comportamiento, es decir, si el agente actúa igual de una ejecución a otra. Ni siquiera bajar la temperatura de generación a cero (modo determinista) resuelve el problema: las respuestas aleatorias de las herramientas, el entorno o incluso detalles técnicos como la precisión de cálculo en la GPU siguen desestabilizando el comportamiento del agente a lo largo de una secuencia larga.

Cómo funciona el método RSD

La idea se inspira en la teoría del aprendizaje por refuerzo, concretamente en el concepto de bisimulación: una forma de comparar dos estados de un sistema según lo parecido que será su comportamiento futuro, y no según su aspecto actual. El autor adaptó esta idea a los agentes conversacionales:

• El agente se ejecuta dos veces consecutivas desde el mismo punto exacto de la conversación (el mismo historial de mensajes y acciones).
• En cada paso se compara no el texto, sino el significado de las dos respuestas del agente, mediante un modelo de inferencia en lenguaje natural (NLI), que determina si dos enunciados se contradicen, coinciden en significado o simplemente no están relacionados.
• La divergencia del paso actual se combina (con un peso decreciente) con la divergencia esperada en todos los pasos posteriores, generando una fórmula recursiva similar a la que se usa en aprendizaje por refuerzo para calcular la recompensa futura acumulada.
• Como es imposible calcular esta suma de manera exacta para un modelo de lenguaje —que funciona como una caja negra sobre un espacio de conversaciones posibles enorme—, el autor entrena una red neuronal aparte que aproxima esta divergencia mediante aprendizaje por diferencias temporales (TD-learning), similar al entrenamiento de una función Q.

El resultado es un único número para cada estado de la conversación: una puntuación de cuán "predecible" será el comportamiento futuro del agente. Si el agente siempre elige la misma herramienta con los mismos argumentos (aunque lo exprese con otras palabras), la puntuación se acerca a cero, es decir, es completamente consistente. Si el agente alterna entre distintas estrategias y se contradice, la puntuación aumenta.

La consecuencia práctica clave: en la fase de inferencia, calcular esta puntuación solo requiere un único paso del modelo, sin necesidad de ejecuciones repetidas, comparaciones ni llamadas a NLI. Esto significa que la evaluación de estabilidad puede integrarse en el flujo de trabajo del agente sin generar una sobrecarga significativa.

Qué mostraron los experimentos

El autor probó el enfoque en modelos Qwen-2.5 de 3.000 y 7.000 millones de parámetros, en dos benchmarks para agentes con herramientas: τ-bench y ToolSandbox. Para cada tarea se realizaron 8 ejecuciones independientes (sobre 8 ejemplos de prueba, es decir, 64 trayectorias por benchmark), con el fin de medir con rigor la variabilidad del comportamiento.

RSD se usó como señal de recompensa adicional durante el ajuste fino de los modelos con el método GRPO (Group Relative Policy Optimization): se penalizaba al modelo por una alta divergencia entre sus propias ejecuciones repetidas. Se comparó con tres alternativas:

• el modelo base de Qwen sin ajuste fino;
• ajuste fino mediante minimización de la entropía de tokens (un método clásico para medir la "confianza" del modelo a partir de la distribución de probabilidades);
• ajuste fino mediante entropía semántica (agrupamiento del significado de una sola respuesta sin tener en cuenta los pasos futuros);
• ajuste fino supervisado habitual (SFT) con datos etiquetados.

Resultado: el ajuste fino con RSD redujo el coeficiente de variación (una medida de la dispersión de resultados entre ejecuciones) en ambos benchmarks, τ-bench y ToolSandbox, con un desempeño comparable al de SFT, pero sin necesidad de datos de referencia etiquetados. Al mismo tiempo, el éxito final en la resolución de tareas (proporción de tareas completadas y velocidad de progreso) no disminuyó, e incluso mejoró en algunas configuraciones.

Por qué es importante

Para los equipos que construyen agentes basados en LLM para producción —especialmente en ámbitos donde el costo de un error es alto (finanzas, medicina, automatización de back-office)— se trata de una herramienta práctica de diagnóstico para saber qué tan predecible es un agente antes de que falle con un usuario real. La principal limitación: el enfoque solo se ha validado en modelos relativamente pequeños (3.000 y 7.000 millones de parámetros) y en dos benchmarks específicos, por lo que su escalabilidad a modelos más grandes y escenarios más diversos aún está por confirmarse. El código se publicó en acceso abierto en el repositorio RSD-agent-consistency de GitHub.