Une nouvelle méthode permet de faire grossir les modèles d'IA via des blocs d'experts, sans réentraînement

Une équipe de spécialistes en vision par ordinateur a développé une technique qui permet de faire passer des modèles d'IA déjà entraînés à des versions plus grandes, en y ajoutant des modules d'experts spécialisés, sans relancer l'entraînement depuis zéro.

En quoi consiste cette nouvelle méthode ?

La nouvelle technique rompt le lien habituel entre la puissance d'un modèle et la nécessité de l'entraîner depuis zéro. L'approche classique se résume ainsi : pour obtenir un réseau de neurones plus grand, il faut concevoir une nouvelle architecture, constituer un jeu de données et lancer un cycle d'entraînement complet, qui peut mobiliser des semaines ou des mois de calcul. La méthode développée par l'équipe permet de partir d'un modèle préentraîné existant et de l'étendre en ajoutant des modules d'experts spécialisés au-dessus des connaissances déjà accumulées.

L'idée repose sur la volonté de conserver ce qui fonctionne déjà. Le modèle préentraîné a déjà vu des milliards d'exemples de données et construit des représentations internes précieuses du monde. Les jeter pour passer à l'échelle serait du gaspillage. La nouvelle méthode utilise ces poids comme fondation stable et bâtit par-dessus des composants spécialisés.

Cette approche se rapproche, sur le plan conceptuel, de l'architecture Mixture of Experts (MoE), dans laquelle différents « experts » au sein du réseau se spécialisent dans différents types de données ou de tâches. La différence essentielle tient au fait que la nouvelle solution permet de faire croître une telle structure à partir d'une base existante, au lieu de construire un MoE depuis zéro.

«

La technologie permet d'étendre des modèles d'IA préentraînés vers des systèmes plus grands dotés de modules d'experts spécialisés, sans entraînement depuis zéro », décrivent les auteurs, selon TechXplore.

Pourquoi est-ce important pour les développeurs d'IA ?

Le coût de l'entraînement des réseaux de neurones de pointe est l'un des principaux freins du secteur. D'après les estimations des analystes d'Epoch AI, les dépenses d'entraînement des modèles les plus avancés ont atteint des dizaines de millions de dollars en 2024–2025. Les équipes qui disposent déjà d'un modèle de base bien entraîné font face à un choix délicat : travailler avec une version limitée ou dépenser des sommes comparables pour réentraîner depuis zéro.

La méthode de mise à l'échelle par modules d'experts ouvre une troisième voie. Les modèles existants peuvent évoluer de façon incrémentale : on ajoute de nouveaux blocs spécialisés à mesure que les tâches et les exigences se développent, sans perdre les poids accumulés ni les représentations internes du réseau de base.

• La technologie a été créée par une équipe de spécialistes en vision par ordinateur
• Elle permet d'étendre des modèles d'IA préentraînés sans réentraînement complet depuis zéro
• Elle s'appuie sur des modules d'experts spécialisés greffés sur une base existante
• Elle conserve les poids et les représentations accumulées du modèle d'origine lors de la mise à l'échelle

Où peut-on l'appliquer ?

Les tâches de vision par ordinateur sont particulièrement sensibles à la taille du modèle. La reconnaissance d'images médicales, le contrôle qualité industriel et les systèmes de conduite autonome exigent à la fois une large base de connaissances générales et une spécialisation poussée dans un domaine précis. La méthode d'extension par modules d'experts permet de résoudre ce compromis : on prend un modèle généraliste puissant et on construit par-dessus des blocs spécialisés pour une tâche donnée.

Pour les équipes en entreprise qui disposent déjà de modèles entraînés sur des données propriétaires, cela signifie la possibilité de monter en gamme leur système sans perdre la spécificité métier et sans repasser par un cycle complet de collecte de données et d'entraînement.

Ce que cela signifie

Si la méthode d'extension par modules d'experts démontre son efficacité en pratique, elle pourrait changer la logique de développement des systèmes d'IA en entreprise : au lieu de relances coûteuses tous les quelques années, une croissance incrémentale dans laquelle chaque version du modèle sert de fondation à la suivante.