El método FMR reduce un 98 % los errores de alineamiento de agentes RL en aprendizaje por imitación

Un grupo de investigadores publicó en julio de 2026 un preprint en arXiv que describe Feedback Manipulation Regularization (FMR), un método de alineamiento offline en una sola pasada para agentes de aprendizaje por imitación, que reduce un 98 % la frecuencia de violaciones de las restricciones de valores.

Por qué hace falta un nuevo método de alineamiento

Los enfoques actuales para alinear agentes RL, es decir, para entrenar sistemas que actúen según los valores humanos, se basan en su mayoría en pipelines de varias etapas. Primero el agente aprende de demostraciones, después recibe retroalimentación evaluativa de personas y luego pasa por una fase de ajuste fino independiente, como en RLHF.

Estos esquemas se diseñaron originalmente para modelos de lenguaje en formato de «bandido contextual»: toda la secuencia de acciones se reduce a generar una única respuesta. En entornos plenamente secuenciales, como la robótica, los agentes de juego o los sistemas autónomos, esta arquitectura funciona mal. El agente toma decisiones paso a paso, y hasta una pequeña desviación de las restricciones de valores se acumula a lo largo de toda la cadena de acciones.

Cómo funciona FMR

FMR aborda el problema incorporando la retroalimentación evaluativa directamente en el aprendizaje por imitación como regularizador, sin una etapa RLHF aparte ni un pipeline de varias fases.

Propiedades clave del método:

• Neutralidad algorítmica: FMR funciona sobre cualquier algoritmo de aprendizaje por imitación existente y no exige modificar la arquitectura base
• Entrenamiento offline en una sola pasada: todo el proceso de alineamiento es una única etapa, sin saltar entre pipelines
• Robustez ante la escasez de datos: el método conserva su eficacia con demostraciones de entrenamiento escasas y ruidosas
• Una señal correctora, no una recompensa adicional: la retroalimentación desplaza la distribución de entrenamiento hacia un comportamiento alineado en lugar de añadir otra función de recompensa

Qué mostraron las pruebas en Safety Gymnasium

Para validar el método, los autores adaptaron Safety Gymnasium, un conjunto de entornos simulados diseñado específicamente para evaluar el comportamiento seguro de los agentes. FMR se probó sobre varios algoritmos base de aprendizaje por imitación.

Los resultados fueron notables: en todo el rango de algoritmos probados, el método redujo hasta un 98 % la tasa de incumplimiento de las restricciones de valores. Eso significa que el agente rompe con mucha menos frecuencia las restricciones humanas establecidas y, además, no pierde calidad al imitar el comportamiento objetivo.

«FMR se mantiene robusto con datos limitados, incluso al entrenarse

con demostraciones alineadas escasas y ruidosas con poca información», señalan los autores en el preprint.

Lo importante es que la mejora apareció a la vez en dos métricas en tensión: el agente copió con más precisión las demostraciones y violó menos las restricciones de valores.

Qué significa

FMR es una vía neutral desde el punto de vista algorítmico y aplicable en la práctica para mejorar el alineamiento de agentes RL sin rehacer todo el sistema de entrenamiento. Para quienes desarrollan sobre tareas secuenciales reales, como robótica, sistemas autónomos o simulación, es potencialmente un componente listo para usar que se integra en la pila existente. Si los resultados se confirman en benchmarks más amplios, FMR podría entrar en el conjunto estándar de herramientas allí donde los errores de alineamiento tienen consecuencias reales.