Comment adapter une IA à de nouvelles tâches sans lui faire perdre ses capacités

Des chercheurs d'Apple ont mis au point DynaMiCS, une méthode pour adapter des modèles d'IA à de nouvelles tâches sans leur faire perdre leurs capacités de base, leur suivi des instructions ni leurs connaissances en matière de sécurité.

Pourquoi les approches actuelles échouent-elles ?

Affiner un LLM sur plusieurs domaines à la fois est une tâche quotidienne pour tout laboratoire qui commercialise des produits d'IA. L'objectif semble simple : améliorer le modèle sur des domaines cibles (la médecine ou le droit, par exemple) tout en préservant les « domaines contraignants », des capacités de base qui ne doivent être dégradées en aucun cas.

En pratique, l'équilibre est difficile à trouver. Les stratégies actuelles de mélange de données offrent deux solutions peu satisfaisantes. La première, ce sont les heuristiques fixes : des proportions de données par domaine définies à l'avance, constantes pendant tout l'entraînement et insensibles à l'état courant du modèle. La seconde, ce sont les règles adaptatives : des algorithmes qui ajustent les poids selon des signaux issus de métriques, mais sans garanties formelles explicites.

Aucune des deux approches ne peut maintenir explicitement les domaines contraignants à un niveau donné. Résultat : les équipes testent les proportions à la main, ou acceptent des pertes imprévisibles sur les benchmarks clés de sécurité et d'instructions.

Comment fonctionne DynaMiCS

DynaMiCS reformule le fine-tuning comme un problème d'optimisation sous contraintes (constrained optimization). Au lieu de fixer le compromis entre domaines de façon souple, via une perte agrégée ou des poids manuels, l'algorithme sépare explicitement les objectifs et les contraintes.

À chaque étape de l'entraînement, DynaMiCS procède en trois temps :

• Il lance de courtes exécutions de « sondage » (probing runs) sur chaque domaine, pour estimer la dynamique locale des métriques.
• Il construit une matrice de pentes (slope matrix), qui estime comment la variation de la part de données d'un domaine influe sur les performances de tous les autres.
• Il résout un problème d'optimisation : trouver la proportion de données qui améliore au maximum les domaines cibles tout en respectant strictement les contraintes sur les domaines contraignants.

La vraie nouveauté tient aux contraintes mathématiques explicites, et non à une régularisation souple. L'algorithme n'« essaie » pas de préserver la sécurité ou les instructions : il le garantit formellement à chaque itération. Les exécutions de sondage sont rapides et ne nécessitent pas un cycle d'entraînement complet, ce qui rend la méthode applicable sans hausse significative du coût de calcul.

Où cela s'applique

Le problème que résout DynaMiCS se pose chaque fois qu'une entreprise adapte un modèle de base à un produit précis :

• Suivi des instructions : une compétence de base qui ne doit pas se dégrader, même avec une spécialisation étroite.
• Connaissances générales : l'assistant doit répondre correctement aux questions hors de son domaine spécialisé.
• Sécurité : les résultats des évaluations de sécurité doivent être préservés à chaque fine-tuning, en particulier dans les secteurs réglementés.

Pour Apple, qui intègre activement des modèles de langage à Apple Intelligence, la couche d'IA système de l'iPhone, de l'iPad et du Mac, un tel outil a une valeur pratique directe. Les modèles doivent se spécialiser pour les tâches de chaque application tout en restant polyvalents et en passant les contrôles de sécurité internes. DynaMiCS propose un moyen formel de satisfaire les deux exigences à la fois.

L'approche dépasse le cadre d'Apple : toute entreprise qui adapte des modèles à des usages professionnels avec des exigences strictes de sécurité et d'instructions rencontre le même problème d'équilibre.

Ce que cela signifie

DynaMiCS propose une approche mathématiquement rigoureuse d'un problème que la plupart des équipes de ML traitaient à la main ou par tâtonnements. La publication d'Apple ML Research montre que le travail sur l'infrastructure de base du fine-tuning se poursuit dans les grandes entreprises technologiques dotées de modèles fermés. Si la méthode est reproductible et passe à l'échelle sur des tailles de modèles réelles, elle pourrait intégrer les pipelines standard des entreprises qui exploitent des LLM multidomaines et exigent une préservation stricte des capacités de base.

Qu'est-ce que le fine-tuning d'une IA ?

C'est le processus qui consiste à entraîner un modèle de langage déjà prêt sur de nouvelles données pour le spécialiser dans des tâches et des domaines précis.

Comment ne pas perdre en qualité lors du fine-tuning ?

Il faut optimiser correctement le mélange de données, ce qui permet de préserver les capacités de base du modèle. C'est précisément ce que fait la méthode DynaMiCS.