Новый метод позволяет масштабировать AI-модели через экспертные блоки без переобучения

Une équipe de spécialistes en vision par ordinateur a développé une technologie permettant de faire évoluer des modèles d'AI déjà entraînés vers des versions plus grandes — en ajoutant des modules d'experts spécialisés et sans relancer l'entraînement depuis zéro.

En quoi consiste la nouvelle méthode ?

La nouvelle technologie rompt le lien habituel entre la puissance d'un modèle et la nécessité de l'entraîner depuis zéro. L'approche traditionnelle est la suivante : si un réseau de neurones plus grand est nécessaire — il faut concevoir une nouvelle architecture, constituer un jeu de données et lancer un cycle d'entraînement complet, qui peut prendre des semaines ou des mois de calcul. La méthode développée par l'équipe permet de prendre un modèle pré-entraîné existant et de l'étendre en ajoutant des modules d'experts spécialisés par-dessus les connaissances déjà accumulées.

Au cœur de l'idée se trouve le désir de préserver ce qui fonctionne déjà. Un modèle pré-entraîné a déjà traité des milliards d'exemples de données et a formé de précieuses représentations internes du monde. Les abandonner au profit du passage à l'échelle est un gaspillage. La nouvelle méthode utilise ces poids comme une base stable et y superpose des composants spécialisés.

Cette approche est conceptuellement proche de l'architecture Mixture of Experts (MoE), où différents « experts » au sein du réseau se spécialisent dans différents types de données ou de tâches. La différence fondamentale de la nouvelle solution réside dans le fait qu'elle permet de faire émerger une telle structure à partir d'une base existante, plutôt que de construire un MoE depuis zéro.

«

La technologie permet d'étendre des modèles d'AI pré-entraînés vers des systèmes plus grands dotés de modules d'experts spécialisés, sans entraînement depuis zéro », décrivent les auteurs le développement selon les données de TechXplore.

Pourquoi cela est-il important pour les développeurs d'AI ?

Le coût de l'entraînement des réseaux de neurones de pointe est l'un des principaux obstacles du secteur. Selon les estimations des analystes d'Epoch AI, les coûts d'entraînement des modèles leaders en 2024–2025 ont atteint des dizaines de millions de dollars. Les équipes qui disposent déjà d'un modèle de base bien entraîné se trouvent devant un choix difficile : travailler avec la version limitée ou dépenser des sommes comparables pour un réentraînement depuis zéro.

La méthode de passage à l'échelle par modules d'experts propose une troisième voie. Les modèles existants peuvent être développés de manière incrémentale : en ajoutant de nouveaux blocs spécialisés au fur et à mesure de la croissance des tâches et des exigences, sans perdre les poids accumulés et les représentations internes du réseau de base.

• Technologie créée par une équipe de spécialistes en vision par ordinateur
• Permet d'étendre des modèles d'AI pré-entraînés sans réentraînement complet depuis zéro
• Utilise des modules d'experts spécialisés intégrés par-dessus la base existante
• Préserve les poids et les représentations accumulées du modèle original lors du passage à l'échelle

Où cela est-il applicable ?

Les tâches de vision par ordinateur sont particulièrement sensibles à la taille du modèle. La reconnaissance d'images médicales, le contrôle qualité industriel et les systèmes de conduite autonome nécessitent simultanément une large base de connaissances générales et une spécialisation approfondie pour un domaine spécifique. La méthode d'expansion par modules d'experts permet de résoudre ce compromis : prendre un modèle général puissant et y superposer des blocs spécialisés pour une tâche spécifique.

Pour les équipes d'entreprise qui disposent de modèles déjà entraînés sur des données propriétaires, cela signifie la possibilité de mettre à niveau le système sans perdre la spécificité de l'entreprise et sans avoir à repasser par le cycle complet de collecte de données et d'entraînement.

Ce que cela signifie

Si la méthode d'expansion avec des modules d'experts fait ses preuves en termes d'efficacité pratique, elle pourrait changer la logique du développement des systèmes d'AI en entreprise : au lieu de redémarrages coûteux tous les quelques années — une croissance incrémentale, dans laquelle chaque version du modèle devient le fondement de la suivante.