Método FMR reduz em 98% os erros de alinhamento de agentes de RL no aprendizado por imitação

Pesquisadores publicaram em julho de 2026 um preprint no arXiv descrevendo o Feedback Manipulation Regularization (FMR), método de alinhamento offline de passada única para agentes de aprendizado por imitação, que reduz em 98% a frequência de violações das restrições de valores.

Por que é preciso um novo método de alinhamento

As abordagens atuais para alinhar agentes de RL, ou seja, treinar sistemas que agem de acordo com valores humanos, se baseiam na maioria dos casos em pipelines de várias etapas. Primeiro o agente aprende com demonstrações, depois recebe feedback avaliativo de pessoas e, por fim, passa por uma etapa separada de ajuste fino, como no RLHF.

Esses esquemas foram criados originalmente para modelos de linguagem no formato de "bandido contextual": toda a sequência de ações se resume a gerar uma única resposta. Em ambientes totalmente sequenciais, como robótica, agentes de jogos e sistemas autônomos, essa arquitetura funciona mal. O agente toma decisões passo a passo, e mesmo um pequeno desvio das restrições de valores se acumula ao longo de toda a cadeia de ações.

Como o FMR funciona

O FMR resolve o problema incorporando o feedback avaliativo diretamente ao aprendizado por imitação como regularizador, sem etapa separada de RLHF nem pipeline de várias fases.

Principais propriedades do método:

• Neutralidade algorítmica: o FMR funciona sobre qualquer algoritmo de aprendizado por imitação existente, sem exigir mudanças na arquitetura base
• Treinamento offline de passada única: todo o processo de alinhamento é uma só etapa, sem alternar entre pipelines
• Robustez à escassez de dados: o método mantém a eficácia com demonstrações de treinamento escassas e ruidosas
• Um sinal corretivo, não uma recompensa extra: o feedback desloca a distribuição de treinamento para o comportamento alinhado, em vez de acrescentar mais uma função de recompensa

O que os testes no Safety Gymnasium mostraram

Para validar o método, os autores adaptaram o Safety Gymnasium, um conjunto de ambientes simulados criado especificamente para avaliar o comportamento seguro de agentes. O FMR foi testado sobre vários algoritmos-base de aprendizado por imitação.

Os resultados chamaram atenção: em toda a faixa de algoritmos testados, o método reduziu em até 98% a taxa de descumprimento das restrições de valores. Isso significa que o agente quebra as restrições humanas definidas com muito menos frequência, sem perder qualidade na imitação do comportamento-alvo.

"O FMR permanece robusto com dados limitados, mesmo quando treinado

com demonstrações alinhadas escassas e demonstrações ruidosas pobres em informação", afirmam os autores no preprint.

O importante é que a melhoria apareceu ao mesmo tempo em duas métricas concorrentes: o agente passou a copiar as demonstrações com mais precisão e a violar menos as restrições de valores.

O que isso significa

O FMR é uma forma algoritmicamente neutra e prática de melhorar o alinhamento de agentes de RL sem reconstruir todo o sistema de treinamento. Para desenvolvedores que trabalham com tarefas sequenciais reais, como robótica, sistemas autônomos e simulação, é potencialmente um componente pronto para uso, que se encaixa na stack existente. Se os resultados se confirmarem em benchmarks mais amplos, o FMR pode entrar no kit padrão de ferramentas onde erros de alinhamento têm consequências reais.