Apple précise quand la on-policy distillation aide vraiment à entraîner les modèles

Des chercheurs d'Apple ML Research ont publié une analyse des limites de la on-policy distillation, une technique d'entraînement où un modèle enseignant guide token par token des modèles de raisonnement. Leur conclusion : la méthode peut être un outil puissant, mais seulement si elle est bien appliquée.

Ce qu'est la on-policy distillation et à quoi elle sert

La on-policy distillation consiste à entraîner un nouveau modèle en lui donnant des indications très détaillées à chaque étape. Imaginez un enseignant brillant qui résout un problème à voix haute en expliquant chaque étape, tandis que l'élève apprend non seulement de la réponse finale, mais aussi de la façon dont l'enseignant a raisonné en chemin.

C'est particulièrement important pour les modèles de raisonnement, qui résolvent des problèmes complexes pas à pas en déroulant leur logique. OpenAI et d'autres laboratoires emploient des approches similaires pour entraîner des modèles comme o1 et Claude 3.5 Sonnet. A priori, plus le guidage est détaillé, mieux l'élève devrait apprendre.

Quand elle aide vraiment, et quand elle peut nuire

Apple a constaté que la réalité est plus complexe. Les questions clés restent ouvertes :

• Quel modèle choisir comme enseignant (le plus fort n'est pas toujours le meilleur)
• Quel contexte utiliser pour l'autodistillation, lorsque le modèle apprend de lui-même
• Le choix optimal peut varier d'un token à l'autre

L'approche actuelle consiste généralement à lancer un entraînement coûteux, à calculer pendant plusieurs heures (ou jours) sur GPU, puis à examiner les métriques finales. Problème : ces chiffres agrégés masquent la réalité. Au niveau des tokens individuels, les méthodes se comportent souvent de façon très différente.

Comment Apple propose de résoudre le problème

L'équipe a présenté une approche training-free : une manière d'évaluer l'efficacité de la on-policy distillation SANS expériences coûteuses. Les ingénieurs ML peuvent ainsi vérifier si la méthode fonctionne dans leur scénario précis avant de lancer un entraînement complet.

Ces outils sont essentiels pour les grands laboratoires : chaque heure de GPU coûte de l'argent, et prédire le résultat de l'entraînement à l'avance économise des ressources et du temps de développement.

Ce que cela signifie pour la communauté ML

La on-policy distillation reste une technique puissante, mais l'étude montre qu'on ne peut pas l'appliquer mécaniquement. Des tâches, des modèles et des données différents appellent des décisions différentes, et Apple fournit un outil pour les prendre en connaissance de cause, sans coûteux tâtonnements.