SAZO accélère le fine-tuning des LLM sans backprop : jusqu'à 6× moins de requêtes pour atteindre le même loss

Les auteurs du preprint arXiv:2610.12566 présentent SAZO, pour Sample-Adaptive Zeroth-Order Optimization. Cette méthode de fine-tuning des grands modèles de langage, sans backpropagation, atteint le même training loss avec jusqu'à 6 fois moins de requêtes que les approches ZO standard. Elle n'exige aucun passage supplémentaire dans le modèle et n'ajoute à MeZO que O(N) valeurs scalaires, où N est le nombre d'exemples d'entraînement. Les expériences portent sur quatre familles de modèles, et les résultats moyens sur les tâches aval (downstream) progressent eux aussi.

Où l'efficacité se perd dans l'entraînement ZO

L'optimisation d'ordre zéro remplace le gradient exact par une estimation. On perturbe légèrement les poids du modèle dans une direction aléatoire, on calcule la différence de loss, et c'est elle qui détermine le pas de mise à jour. Il n'y a ni activations ni gradients à stocker : la consommation mémoire reste au niveau de l'inférence. Pour affiner de gros modèles sur du matériel limité, l'argument pèse lourd. Le prix à payer, c'est le bruit : l'estimation présente une forte variance, et il faut de nombreux pas.

Les méthodes en usage, MeZO compris, tirent les exemples d'entraînement avec une probabilité uniforme. Les auteurs de SAZO pointent là un point faible. L'importance d'un exemple pour l'apprentissage n'est pas constante : certains exemples sont déjà « assimilés » et ne déplacent presque plus les poids, tandis que d'autres produisent encore un gradient important. L'échantillonnage uniforme ignore cette différence et injecte dans l'estimation une variance qu'on aurait pu éviter.

Comment SAZO apprend à choisir les exemples

La difficulté principale tient à l'absence de vrais gradients en mode ZO. SAZO extrait donc l'information sur la norme du gradient des différences directionnelles que la méthode calcule de toute façon à chaque pas. Aucun appel supplémentaire au modèle n'est requis.

Second problème : la parcimonie du signal. Un minibatch ne touche qu'une petite partie du dataset, et l'importance des exemples évolue au fil de l'entraînement. Pour chaque exemple, SAZO conserve une moyenne mobile exponentielle, qui cumule les observations entre deux mises à jour. Ces estimations servent à répartir les requêtes de façon adaptative : les exemples significatifs sont tirés plus souvent.

La partie théorique repose sur deux points. Premièrement, SAZO coïncide asymptotiquement avec le terme dominant de la convergence de l'oracle d'échantillonnage à variance minimale, c'est-à-dire un schéma idéal qui, en pratique, ne peut pas connaître les vraies normes. Deuxièmement, la méthode affiche un taux de convergence strictement plus rapide que les approches standard.

Paramètres clés

• Calculs supplémentaires : zéro évaluation additionnelle du modèle par rapport à MeZO.
• Mémoire supplémentaire : O(N) scalaires pour l'état des moyennes mobiles.
• Accélération : jusqu'à 6× en nombre de requêtes pour atteindre le même training loss.
• Qualité : amélioration du résultat moyen sur les tâches aval (downstream).
• Périmètre de validation : quatre familles de modèles.
• Théorie : coïncidence avec le terme dominant de l'oracle à variance minimale et taux de convergence strictement meilleur.

Ce qu'il faut en retenir

O(N) scalaires, c'est très peu. Pour un dataset de 100 000 exemples en float32, cela représente environ 400 Ko, une quantité négligeable face aux poids du modèle. Le principal atout du ZO, sa faible consommation mémoire, est donc presque entièrement préservé. Pour les équipes qui affinent des modèles sur une ou deux cartes et se heurtent à la limite mémoire de la backprop, c'est potentiellement une voie moins coûteuse qu'auparavant.

Il y a toutefois des réserves. L'accélération est mesurée en nombre de requêtes, et non en temps réel (wall-clock), et l'abstract ne dit rien de la latence réelle. Les méthodes ZO exigent toujours un grand nombre de pas, et la publication n'annonce pas explicitement de comparaison avec le fine-tuning classique par gradients. Le texte ne nomme pas non plus les modèles ni les tâches. Avant d'intégrer SAZO dans un pipeline, mieux vaut attendre le code et des reproductions indépendantes.

La direction n'en reste pas moins claire. Si le choix des exemples en entraînement ZO peut être optimisé presque gratuitement, d'autres hypothèses établies de longue date, comme l'échantillonnage uniforme, pourraient elles aussi être remises en question.