STI-OPD: una intervención probabilística del profesor para tareas de agentes de varios pasos

Los autores Junnan Liu, Linhao Luo, Zhijun Chen, Qianren Mao, Thuy-Trang Vu y Gholamreza Haffari han presentado STI-OPD, un framework de intervención estocástica del profesor para el aprendizaje de agentes de varios pasos basado en destilación. El trabajo está registrado en arXiv con el número 2610.10878, en la categoría Computation and Language.

El problema de la destilación on-policy en sistemas de agentes

La destilación on-policy transfiere de forma eficaz las capacidades de un profesor fuerte a un estudiante más débil mediante una supervisión densa a nivel de token. El enfoque ha mostrado resultados prometedores en tareas complejas, incluido el razonamiento matemático. Sin embargo, en sistemas de agentes de varios pasos, las decisiones del estudiante modifican las observaciones posteriores. Un error cometido en los primeros pasos se acumula a lo largo de toda la trayectoria de interacción. Como resultado, las trayectorias del estudiante se alejan cada vez más de la distribución del profesor, y su supervisión se vuelve poco confiable o incluso perjudicial para el aprendizaje, reduciendo la eficacia de todo el método.

La arquitectura de STI-OPD

La intervención del profesor está guiada por la divergencia entre las políticas del estudiante y del profesor. Durante la interacción de varios pasos, el sistema sustituye ocasionalmente la acción del estudiante por la del profesor, lo que maximiza la acumulación de supervisión confiable para el entrenamiento.

La innovación clave es la estrategia de intervención estocástica. En lugar de condiciones de umbral rígidas o un calendario fijo de intervenciones, el sistema: estima la divergencia entre políticas mediante la divergencia KL entre las distribuciones de acciones del profesor y del estudiante; convierte esa divergencia en una probabilidad de intervención; y muestrea de forma probabilística la decisión de intervenir en cada momento. Esto permite equilibrar de forma adaptativa el control del profesor con la exploración autónoma del estudiante, según el estado actual de la divergencia.

Entrenamiento con trayectorias mixtas

Las trayectorias resultantes contienen una mezcla de acciones tanto del profesor como del estudiante. Para aprender correctamente a partir de estos datos mixtos, los autores introducen un objetivo de KL inversa ponderada por importancia. Este componente corrige el desajuste en el muestreo de tokens entre las respuestas generadas por el profesor y la distribución de la política del estudiante. Esto preserva el objetivo original de la destilación on-policy y evita sesgos en el proceso de entrenamiento.

Resultados y aplicabilidad

Los experimentos abarcaron dos categorías de tareas: tool-integrated reasoning (tareas que usan herramientas externas) y long-horizon interaction (interacción de varios turnos con el entorno). En todos los benchmarks evaluados y en todos los tamaños de modelos estudiante, STI-OPD supera al baseline más fuerte de destilación on-policy anterior. Los estudios de ablación confirman que ambos componentes clave —la intervención guiada por la divergencia de políticas y la corrección ponderada por importancia— contribuyen a la mejora final de calidad. El artículo está marcado como trabajo en curso y está disponible en formatos PDF, HTML y TeX Source en arXiv.