Otimizador FARO reduz a perda de validação do GPT em 0,0136 nat em 6 de 6 seeds

As receitas atuais de treinamento de grandes modelos de linguagem dividem o trabalho entre otimizadores de forma manual: um momento ortogonalizado como o Muon atualiza as matrizes de atenção e os MLPs, regras no estilo Adam cuidam do restante, e um único orçamento de atualização vale para o modelo inteiro. Pesquisadores da Universidade de Ciência e Tecnologia de Hong Kong (Guangzhou) propuseram o FARO, um otimizador que toma essas decisões com base em medições feitas no próprio modelo em treinamento. Em um modelo do tipo GPT treinado no FineWeb, a variante FARO-Adaptive (que só escolhe a geometria da atualização) alcançou perda de 3,2780 nat.

Já a camada adicional FARO-ERC (redistribuição do orçamento pelo princípio de contribuição igual para o risco, equal risk contribution) reduziu a perda em todas as 6 seeds, ou seja, execuções com inicializações aleatórias diferentes, em média 0,0136 nat. O nat é a unidade natural de medida da perda de entropia cruzada. O código foi publicado no GitHub.

Geometria definida pelo resultado, e não pelo tipo de camada

A receita padrão se apoia em duas premissas: o tipo de camada determina a geometria de atualização adequada (norma espectral para matrizes, adaptação por coordenada para vetores) e um único orçamento escalar basta para toda a rede. Ambas vêm de heurísticas humanas e de pequenas grades de ablação, e não de medições no modelo em treinamento. Os novos otimizadores matriciais (NorMuon, Scion, Dion2, ARO, PolarGrad, Newton–Muon) alteram apenas um detalhe da receita e continuam fixando uma única geometria para todas as matrizes que tocam.

O FARO trata a própria escolha como objeto de aprendizado. Ele divide os parâmetros em 117 blocos. Para cada bloco, todas as regras candidatas são aplicadas a um conjunto de controle separado, e permanece a que reduz mais a perda.

Enquanto o ranking é informativo, as rotas podem mudar; depois, elas são congeladas. Isso limita o custo da busca e tira a escolha de rotas das fontes de variação. O FARO é um arcabouço, e não uma nova regra de atualização: Muon, NorMuon e regras do tipo Adam entram nele como candidatas, e não como concorrentes.

No apêndice, os autores mostram que a decisão por bloco é compatível com a decisão conjunta sobre todos os blocos sob uma hipótese branda de separabilidade, e estimam um limite para o acoplamento que ela ignora.

Com isso, o FARO-Adaptive chegou a 3,2780 nat no cronograma completo de treinamento. A melhor receita manual, a NorMuonAndAdam, registrou 3,2794. O sistema reproduziu a heurística humana sem que alguém definisse manualmente a geometria de cada camada.

Risk parity da teoria de portfólios

A segunda parte do trabalho trata do orçamento. Depois do congelamento das rotas, cada bloco fica com seu próprio multiplicador, que escala a atualização. Três controladores escalares (um multiplicador de Kelly fracionário, sua relaxação contínua e uma regra com estimativa de complexidade) escalam um único orçamento comum. Nenhum dos três se distinguiu do FARO-Adaptive neutro ao risco, o que é coerente com a observação de que ampliar o passo em busca de risco não é produtivo.

Os autores dão uma explicação estrutural. O escalar multiplica todos os orçamentos por um mesmo fator e se move apenas ao longo da diagonal do simplex de orçamentos, de modo que não consegue decidir quais blocos precisam de mais atualizações e quais precisam de menos. Por isso, eles redistribuem o orçamento entre os blocos, mantendo a soma constante, com uma regra da teoria de portfólios: a contribuição igual para o risco (ERC, também conhecida como risk parity).

Em um portfólio, os pesos são escolhidos para que cada ativo responda pela mesma fração do risco total. No FARO, o bloco faz o papel do ativo, e a razão entre a atualização e a norma dos pesos faz o papel da volatilidade.

O risco bruto dos blocos varia em ordens de grandeza. Por isso, ele é limitado (winsorização) em relação à mediana entre os blocos, o multiplicador tem um teto, e a escala que preserva o orçamento total com precisão numérica é encontrada por bisseção. A redistribuição usa apenas o risco do passo anterior, de modo que o gradiente atual não influencia o próprio orçamento.

A bisseção fornece a solução exata de um problema separável com risco, em que o acoplamento pelo orçamento é carregado por um único preço escalar: as contribuições iguais para o risco resultam da solução, e não são impostas. Graças a isso, a comparação com o FARO-Adaptive separa a redistribuição de uma simples mudança no learning rate efetivo.

Ganho modesto, mas consistente

O FARO-ERC reduziu a perda em dados limpos em todas as 6 seeds, em média 0,0136 nat, com o mesmo volume de computação. O teste dos sinais, o teste pareado e o intervalo de confiança concordam entre si, e o efeito supera a variação medida entre execuções. O tempo e a memória não aumentam. O mecanismo é este: o ERC reduz os blocos mais arriscados, e não amplia os mais seguros. Os próprios autores descrevem o ganho como modesto, porém consistente.

O método também foi testado em um fluxo de dados distorcido: a perda média diminuiu mesmo assim, e a maioria das seeds ficou a favor do FARO-ERC.

A conclusão prática para quem ajusta um pré-treinamento: a divisão manual "matrizes com Muon, o resto com Adam" pode ser substituída por uma medição em um conjunto de controle, e a redistribuição do orçamento entre blocos com soma fixa traz uma melhoria pequena, mas reprodutível. A avaliação foi feita em um único modelo do tipo GPT e em um único dataset, portanto a transferência do resultado para outras escalas e outros dados continua sendo uma questão em aberto.