Método FMR Reduz Erros de Alinhamento de Agentes RL em 98% em Aprendizado por Imitação

Os pesquisadores publicaram um pré-impressão no arXiv em julho de 2026 descrevendo Feedback Manipulation Regularization (FMR) — um método de alinhamento offiline de passagem única de agentes durante aprendizado com imitação, que reduz a frequência de violações de restrições de valores em 98%.

Por que um novo método de alinhamento é necessário

As abordagens modernas para alinhamento de agentes RL — ou seja, treinar sistemas para agir de acordo com os valores humanos — na maioria dos casos são construídas em pipelines de múltiplos estágios. Primeiro, o agente aprende com demonstrações, depois recebe feedback avaliativo de humanos, depois passa por um estágio de ajuste fino separado — como em RLHF.

Tais esquemas foram originalmente criados para modelos de linguagem no formato de um "bandido contextual": toda a sequência de ações é reduzida a gerar uma única resposta. Para ambientes completamente sequenciais — robótica, agentes de jogo, sistemas autônomos — essa arquitetura funciona mal. O agente toma decisões passo a passo, e mesmo um desvio leve das restrições de valores se acumula ao longo de toda a cadeia de ações.

Como FMR funciona

FMR resolve esse problema incorporando feedback avaliativo diretamente no processo de aprendizado por imitação como um regularizador — sem um estágio RLHF separado ou pipeline de múltiplos estágios.

Propriedades-chave do método:

• Neutralidade algorítmica: FMR funciona sobre qualquer algoritmo de aprendizado com imitação existente sem exigir mudanças na arquitetura base
• Treinamento offiline de passagem única: todo o processo de alinhamento é um estágio, sem alternar entre pipelines
• Robustez à escassez de dados: o método mantém eficiência com demonstrações de treinamento escassas e ruidosas
• Sinal corretivo, não recompensa adicional: o feedback desloca a distribuição de aprendizado em direção ao comportamento alinhado em vez de adicionar outra função de recompensa

O que os testes em Safety Gymnasium mostraram

Para verificar o método, os autores adaptaram a plataforma Safety Gymnasium — um conjunto de ambientes simulados desenvolvidos especificamente para avaliar o comportamento seguro de agentes. FMR foi testado sobre vários algoritmos de aprendizado com imitação base.

Os resultados foram significativos: em toda a gama de algoritmos testados, o método reduziu o nível de não conformidade com restrições de valores para 98%. Isso significa que o agente viola muito menos frequentemente as restrições humanas especificadas — e não perde qualidade na imitação do comportamento alvo.

"FMR permanece robusto sob condições limitadas de dados, mesmo ao

treinar em demonstrações ruidosas escassas alinhadas e pobres em informações", relatam os autores no pré-impressão.

Importantemente, a melhoria se manifestou em duas métricas concorrentes: o agente se tornou mais preciso ao copiar demonstrações e violou menos frequentemente as restrições de valores.

O que isso significa

FMR é uma maneira algoritmicamente neutra e praticamente aplicável de melhorar o alinhamento de agentes RL sem reconstruir completamente o sistema de aprendizado. Para desenvolvedores trabalhando com tarefas sequenciais reais — robótica, sistemas autônomos, simulação — este é um componente potencialmente pronto para usar que pode ser incorporado a um stack existente. Se os resultados forem confirmados em benchmarks mais amplos, FMR poderia se tornar parte do kit de ferramentas padrão onde erros de alinhamento têm consequências reais.