SAZO acelera o ajuste fino de LLMs sem backprop: até 6× menos consultas para o mesmo loss

Os autores do preprint arXiv:2610.12566 apresentaram o SAZO, sigla de Sample-Adaptive Zeroth-Order Optimization. É um método de ajuste fino de grandes modelos de linguagem sem backpropagation, que atinge o mesmo training loss com até 6× menos consultas do que as abordagens ZO padrão. Ele não exige execuções adicionais do modelo e acrescenta ao MeZO apenas O(N) valores escalares, em que N é o número de exemplos de treino. Os experimentos foram feitos em quatro famílias de modelos, e os resultados médios nas tarefas downstream também melhoraram.

Onde a eficiência se perde no treinamento ZO

A otimização de ordem zero troca o gradiente exato por uma estimativa. Os pesos do modelo sofrem uma pequena perturbação em uma direção aleatória, calcula-se a diferença de loss e, com base nela, dá-se o passo. Não é preciso armazenar ativações nem gradientes, então o consumo de memória fica no nível da inferência. Para o ajuste fino de modelos grandes em hardware limitado, esse é um argumento de peso. O custo é o ruído: a estimativa tem alta variância, e são necessários muitos passos.

Os métodos atuais, incluindo o MeZO, sorteiam os exemplos de treino com igual probabilidade. Os autores do SAZO apontam o ponto fraco desse esquema: a importância de um exemplo para o treinamento não é constante. Alguns exemplos já foram "assimilados" e quase não movem os pesos, enquanto outros ainda geram gradientes grandes. A amostragem uniforme ignora isso e introduz na estimativa uma variância que poderia ser evitada.

Como o SAZO aprende a escolher exemplos

A principal dificuldade é que, no regime ZO, não existem gradientes verdadeiros. Por isso, o SAZO extrai informações sobre a norma do gradiente das diferenças direcionais, que o método já calcula em cada passo. Para isso, não são necessárias consultas adicionais ao modelo.

O segundo problema é a esparsidade do sinal. Um minibatch toca apenas uma pequena parte do dataset, e a importância dos exemplos muda ao longo do treinamento. Para cada exemplo, o SAZO mantém uma média móvel exponencial que acumula as observações entre as atualizações. Com base nessas estimativas, as consultas são distribuídas de forma adaptativa: os exemplos mais relevantes entram na amostra com mais frequência.

A parte teórica se resume a dois pontos. Primeiro, o SAZO coincide assintoticamente com o termo dominante da convergência do oráculo de amostragem de variância mínima, ou seja, um esquema ideal que, na prática, não tem acesso às normas verdadeiras. Segundo, o método apresenta uma taxa de convergência estritamente mais rápida do que as abordagens padrão.

Principais parâmetros

• Computação adicional: zero avaliações adicionais do modelo em relação ao MeZO.
• Memória adicional: O(N) escalares para o estado das médias móveis.
• Aceleração: até 6× em número de consultas para chegar ao mesmo training loss.
• Qualidade: melhora do resultado médio nas tarefas downstream.
• Escopo da validação: quatro famílias de modelos.
• Teoria: coincidência com o termo principal do oráculo de variância mínima e taxa de convergência estritamente melhor.

Conclusões práticas

O(N) escalares é muito pouco. Para um dataset de 100 mil exemplos em float32, isso dá cerca de 400 KB, algo desprezível diante dos pesos do modelo. Assim, a principal vantagem do ZO, o baixo consumo de memória, se mantém quase por inteiro. Para equipes que fazem ajuste fino em uma ou duas placas e esbarram no limite de memória do backprop, esse caminho é potencialmente mais barato do que antes.

Há ressalvas. A aceleração foi medida em número de consultas, e não em tempo real (wall-clock), e o abstract não diz nada sobre a latência efetiva. Os métodos ZO continuam exigindo um grande número de passos, e a publicação não declara explicitamente uma comparação com o ajuste fino clássico baseado em gradientes. O texto também não cita os nomes dos modelos nem das tarefas. Antes de incluir o SAZO em um pipeline, vale esperar pelo código e por reproduções independentes.

Ainda assim, a direção é clara. Se a escolha de exemplos no treinamento ZO pode ser otimizada quase de graça, outras premissas consolidadas, como a amostragem uniforme, também podem ser revistas.