Phase-HDC treina modelo sem histórico do otimizador e armazena 16–23 vezes menos que o Adam

Uma equipe de pesquisadores publicou no arXiv o Phase-HDC, método que permite treinar um classificador hiperdimensional compacto guardando na memória apenas o próprio modelo. Em onze datasets (imagens, dados tabulares e texto), ele ocupa 16–23 vezes menos espaço que o Adam padrão em float32 e 4–6 vezes menos que o 8-bit Adam. O preço é a acurácia: em média, cerca de cinco pontos a menos em relação ao Adam em float32.

Por que o otimizador pesa mais que o modelo

Modelos pequenos têm uma característica incômoda: o treinamento exige muito mais memória do que guardar o resultado final. A causa está no otimizador. Para cada parâmetro, o Adam mantém registros dos gradientes passados, isto é, o primeiro e o segundo momentos. Em um modelo com parâmetros de poucos bits, isso fica ainda mais evidente.

O trabalho trata de classificadores hiperdimensionais (HDC), nos quais os parâmetros treináveis são ângulos com poucos bits. Os autores chamam esse conjunto de "memória de fase". Os registros do otimizador para ela ocupam várias vezes mais espaço que o próprio modelo. Daí a pergunta que abre o artigo: é possível treinar esse tipo de modelo sem guardar nada além dele mesmo?

Um passo, contra o gradiente, só se ele for grande

O Phase-HDC responde com uma regra muito simples. A cada atualização, o ângulo armazenado se desloca no máximo um passo da grade. A direção é escolhida contra o sinal do gradiente atual. E o parâmetro só se move quando esse gradiente é grande o suficiente. Não há histórico: há um limiar aplicado ao valor atual.

Os autores afirmam que a regra não é uma heurística, e sim a solução exata de um modelo de perda de primeira ordem em que cada parâmetro alterado paga um custo fixo. Em outras palavras, o limiar surge da própria formulação: só vale mover um parâmetro quando o ganho esperado em loss supera esse custo.

Principais resultados do abstract:

• em condições equivalentes (muda apenas a regra de atualização), o Phase-HDC iguala em acurácia o Adam com momentos de 6 bits, mas armazena três vezes menos;
• em relação ao Adam em float32, a economia é de 16–23 vezes; em relação ao 8-bit Adam, de 4–6 vezes;
• a perda média de acurácia frente ao Adam em float32 é de cerca de cinco pontos;
• em seis dos onze datasets, o Phase-HDC é mais preciso que o 8-bit Adam;
• na previsão de texto em nível de byte, o 8-bit Adam falha, e o Phase-HDC não.

O que as medições durante o treinamento mostraram

O ponto mais interessante do artigo é a explicação de por que isso acontece. Os autores instrumentaram as execuções de treinamento e observaram o que os momentos do Adam realmente fazem quando os parâmetros precisam ficar numa grade discreta. Segundo a conclusão deles, os momentos decidem principalmente se o parâmetro vai se mover ou não. Essa é uma decisão binária, e um limiar sobre o gradiente atual consegue tomá-la sem nenhuma memória.

A quantização grosseira dos momentos, por outro lado, quebra justamente essa decisão. Sofrem as entradas que aparecem raramente nos dados: para elas, a estatística nos momentos é fraca e, depois do arredondamento, deixa de distinguir "mover" de "não mover". Isso explica a falha do 8-bit Adam em texto em nível de byte, onde há muitos símbolos raros.

Onde o método serve e onde ainda é cedo

A conclusão prática é cautelosa. Se você treina ou refina modelos HDC compactos em dispositivos com orçamento de memória apertado, como sistemas embarcados ou cenários de treinamento direto no local, o custo do otimizador pode ser quase totalmente eliminado. Para essas tarefas, cinco pontos de acurácia podem ser um preço aceitável, e em dados raros ou desbalanceados o método ainda é mais robusto que o 8-bit Adam.

Há duas limitações, e os próprios autores as apontam. A primeira: a acurácia fica abaixo do Adam em float32, então, onde cada ponto importa, o método não substitui o Adam. A segunda: a economia foi calculada como estado lógico, e não como memória de hardware medida. O ganho real em um hardware específico depende do empacotamento dos dados e da implementação, e ainda precisa ser medido. Por fim, a validação foi feita em classificadores HDC, e a transferência da ideia para redes neurais convencionais não é declarada no trabalho.

Vale guardar a observação em si: no treinamento discreto, o histórico de gradientes muitas vezes serve apenas para decidir "mover ou não", e para isso basta o gradiente atual com um limiar.