Phase-HDC entraîne un modèle sans historique d'optimiseur et stocke 16 à 23 fois moins qu'Adam

Une équipe de chercheurs a publié sur arXiv Phase-HDC, une méthode qui permet d'entraîner un classificateur hyperdimensionnel compact en ne conservant en mémoire que le modèle lui-même. Sur onze jeux de données (images, données tabulaires, texte), il occupe 16 à 23 fois moins de place que l'Adam standard en float32, et 4 à 6 fois moins que Adam 8 bits. Il faut en payer le prix en précision : environ cinq points en moyenne par rapport à Adam en float32.

Pourquoi l'optimiseur pèse plus lourd que le modèle

Les petits modèles ont un défaut gênant : l'entraînement exige bien plus de mémoire que le stockage du résultat final. La cause tient à l'optimiseur. Pour chaque paramètre, Adam garde la trace des gradients passés, c'est-à-dire un premier et un second moment. Pour un modèle à paramètres faiblement quantifiés, le surcoût devient particulièrement visible.

L'article porte sur les classificateurs hyperdimensionnels (HDC), dont les paramètres entraînables sont des angles codés sur un faible nombre de bits. Les auteurs appellent cet ensemble une « mémoire de phase ». Les états de l'optimiseur y occupent plusieurs fois plus de place que le modèle lui-même. D'où la question qui ouvre l'article : peut-on entraîner un tel modèle sans rien stocker d'autre que lui ?

Un seul pas, à contre-gradient, seulement si le gradient est grand

Phase-HDC y répond par une règle très simple. À chaque mise à jour, l'angle stocké avance d'un pas de grille au plus. La direction est choisie à l'opposé du signe du gradient courant. Et le paramètre ne bouge que si ce gradient est suffisamment grand. Il n'y a pas d'historique, seulement un seuil appliqué à la valeur courante.

Les auteurs affirment que cette règle n'est pas une heuristique, mais la solution exacte d'un modèle de perte du premier ordre dans lequel chaque paramètre modifié paie un coût fixe. Autrement dit, le seuil découle de la formulation du problème : déplacer un paramètre n'a de sens que si le gain attendu sur la loss dépasse ce coût.

Les principaux résultats, tirés de l'abstract :

• à conditions égales (seule la règle de mise à jour change), Phase-HDC atteint la même précision qu'Adam avec des moments sur 6 bits, tout en stockant trois fois moins ;
• par rapport à Adam en float32, l'économie est de 16 à 23 fois ; par rapport à Adam 8 bits, de 4 à 6 fois ;
• la perte de précision moyenne face à Adam en float32 est d'environ cinq points ;
• sur six des onze jeux de données, Phase-HDC est plus précis qu'Adam 8 bits ;
• sur la prédiction de texte au niveau de l'octet, Adam 8 bits s'effondre, pas Phase-HDC.

Ce que montrent les mesures pendant l'entraînement

Le plus intéressant dans l'article, c'est l'explication de ces résultats. Les auteurs ont instrumenté leurs entraînements pour observer ce que font réellement les moments d'Adam lorsque les paramètres doivent se trouver sur une grille discrète. Selon eux, les moments servent surtout à décider si un paramètre doit bouger ou non. C'est une décision binaire, et un seuil sur le gradient courant peut la prendre sans aucune mémoire.

À l'inverse, une quantification grossière des moments casse précisément cette décision. Ce sont les entrées rares dans les données qui en pâtissent : leurs statistiques dans les moments sont faibles, et après arrondi elles ne permettent plus de distinguer « bouger » de « ne pas bouger ». C'est ce qui explique l'échec d'Adam 8 bits sur le texte au niveau de l'octet, où les symboles rares abondent.

Où la méthode peut servir, et où il est encore trop tôt

La conclusion pratique reste prudente. Si vous entraînez ou affinez des modèles HDC compacts sur des appareils soumis à un budget mémoire strict, par exemple des systèmes embarqués ou des scénarios d'entraînement sur site, le coût de l'optimiseur peut ici être supprimé presque entièrement. Pour ces tâches, cinq points de précision peuvent être un prix acceptable, et sur des données rares ou déséquilibrées, la méthode se montre en outre plus robuste qu'Adam 8 bits.

Les limites sont au nombre de deux, et les auteurs les mentionnent eux-mêmes. Première limite : la précision reste inférieure à celle d'Adam en float32, de sorte que la méthode ne le remplace pas là où chaque point compte. Seconde limite : l'économie est calculée comme un état logique, et non comme une mémoire matérielle mesurée. Le gain réel sur un matériel donné dépend de l'empaquetage des données et de l'implémentation, et reste à mesurer. Enfin, la validation a porté sur des classificateurs HDC, et l'article ne revendique pas le transfert de l'idée aux réseaux de neurones classiques.

Une observation mérite en tout cas d'être retenue : dans l'entraînement discret, l'historique des gradients ne sert souvent qu'à décider « bouger ou non », et pour cela, le gradient courant associé à un seuil suffit.