Apple a déterminé quand l’on-policy distillation aide à entraîner les modèles

Les chercheurs d'Apple ML Research ont publié une analyse des limites de la on-policy distillation — une technique d'entraînement où un modèle enseignant fournit une orientation par token (per-token) aux modèles de reasoning. Conclusion : la méthode peut être un outil puissant, mais seulement si elle est appliquée correctement.

Qu'est-ce que la on-policy distillation et pourquoi est-elle nécessaire

La on-policy distillation est une façon d'entraîner un nouveau modèle en lui donnant des conseils très détaillés à chaque étape. Imaginez : un enseignant intelligent résout un problème à haute voix, expliquant chaque étape, et un élève apprend non seulement de la réponse finale, mais aussi de la façon dont l'enseignant a raisonné tout au long du processus.

C'est particulièrement important pour les modèles de reasoning — des modèles qui résolvent les problèmes complexes étape par étape, en dépliant la logique. OpenAI et d'autres laboratoires utilisent des approches similaires lors de l'entraînement de modèles comme o1 et Claude 3.5 Sonnet. À première vue, plus l'orientation est détaillée, meilleur devrait être l'apprentissage de l'élève.

Quand cela aide vraiment et quand cela peut nuire

Apple a découvert que c'est plus complexe. Les questions clés restent ouvertes :

• Quel modèle choisir comme enseignant (plus fort n'est pas toujours mieux)
• Quel contexte utiliser lors de la self-distillation, quand un modèle apprend de lui-même
• Le choix optimal peut différer de token à token

L'approche actuelle à ces questions est généralement celle-ci : exécuter un entraînement coûteux, calculer pendant plusieurs heures (ou jours) sur GPU et regarder les métriques finales. Mais le problème est que ces indicateurs agrégés cachent la vérité : au niveau des tokens individuels, les méthodes fonctionnent souvent de manière complètement différente.

Comment Apple propose de résoudre cela

Le groupe de recherche a présenté une approche training-free — une façon de comprendre l'efficacité de la on-policy distillation SANS expériences coûteuses. Cela permet aux ingénieurs ML de comprendre si la méthode fonctionne dans leur scénario spécifique avant d'exécuter l'entraînement complet du modèle.

De tels outils sont critiques pour les grands laboratoires : chaque heure de temps GPU coûte de l'argent, et la capacité à prédire les résultats d'entraînement à l'avance économise des ressources et du temps de développement.

Ce que cela signifie pour la communauté ML

La on-policy distillation reste une technique puissante, mais cette recherche montre qu'elle ne peut pas être appliquée mécaniquement. Des tâches différentes, des modèles différents, des données différentes nécessitent des solutions différentes — et Apple a fourni un outil pour prendre ces décisions de manière justifiée, sans trial-and-error coûteux.