OMNI : un seul encodeur compact condense le savoir de 10 modèles de pathologie

Une équipe de chercheurs a publié sur arXiv l'étude Scaling Multi-Teacher Distillation for Digital Pathology. Elle montre comment condenser les connaissances de dix modèles foundation de pointe en pathologie numérique dans un seul encodeur compact. Le résultat s'appelle OMNI. Selon les auteurs, ces modèles étudiants sont jusqu'à 10 fois plus efficaces que les grands modèles enseignants. Leur qualité est comparable à celle des enseignants, et ils les dépassent sur une part importante des tâches. L'évaluation porte sur plus de 10 modèles foundation et sur 39 tâches, à l'échelle de tuiles isolées comme de lames entières (slides).

Où la distillation multi-enseignants atteint ses limites

En pathologie numérique, de nombreux modèles foundation performants sont apparus ces derniers temps. Chacun est entraîné sur ses propres données, selon sa propre recette, et a ses points forts. L'idée de la distillation multi-enseignants (MTD) s'impose d'elle-même : réunir plusieurs enseignants et transmettre leurs connaissances à un seul réseau étudiant. Il ne serait alors plus nécessaire de faire tourner une dizaine d'encodeurs lourds sur des images de plusieurs gigapixels.

En pratique, c'est moins simple. Les auteurs montrent que la MTD standard réagit mal à l'augmentation du nombre d'enseignants. Ajouter des experts n'est rentable que jusqu'à un certain point : au-delà, l'étudiant ne gagne plus de façon proportionnelle. Le diagnostic de l'article est le suivant : la clé du passage à l'échelle est d'apprendre des représentations spécifiques à chaque enseignant. Si l'on fond tous les enseignants dans un même espace commun, leurs différences s'effacent, alors que c'est précisément là que réside la valeur de l'ensemble.

Quatre solutions plutôt qu'une

Pour que l'étudiant conserve les particularités de chaque enseignant, les auteurs modifient à la fois l'architecture et la fonction de perte. Chaque enseignant reçoit des tokens entraînables, ce qui offre au réseau un « point d'entrée » distinct pour chaque expert. Le schéma d'attention est spécialement adapté à cette construction. L'encodeur reçoit des couches mixture-of-experts supplémentaires, qui répartissent le calcul entre des branches spécialisées. Enfin, une perte contrastive sépare davantage les représentations des différents enseignants.

Résultat : la méthode passe mieux à l'échelle en fonction du nombre d'enseignants, ce que la MTD de base ne parvenait pas à faire.

Ce qui a été testé et ce qui est publié

Paramètres clés de l'étude :

• 10 modèles foundation de pointe utilisés comme enseignants ;
• plus de 10 modèles foundation évalués en comparaison ;
• 39 tâches, à l'échelle des tuiles comme des lames entières ;
• étudiants jusqu'à 10x plus efficaces que les grands enseignants ;
• qualité au niveau des enseignants, et par endroits supérieure.

En conclusion, les auteurs publient la collection OMNI, un ensemble de modèles foundation efficaces entraînés avec les connaissances de dix enseignants. Ils ont par ailleurs analysé les représentations apprises. Elles se révèlent complémentaires, c'est-à-dire qu'elles portent des informations différentes. Les auteurs y voient la raison pour laquelle elles s'agrègent facilement en aval (downstream).

Ce qu'il faut changer dans la pratique

Pour les équipes qui construisent des pipelines en pathologie, l'enseignement pratique principal concerne le coût. L'analyse des slides est limitée par le calcul : un seul slide est découpé en un très grand nombre de tuiles, et chacune passe par l'encodeur. Un modèle dix fois plus efficace, à qualité comparable, réduit directement le coût d'inférence et permet de lancer le traitement sur du matériel plus modeste.

Le second enseignement est méthodologique. Si vous distillez plusieurs modèles, mieux vaut ne pas les fusionner en un vecteur cible unique. Des tokens dédiés, des couches MoE et une séparation contrastive seront probablement utiles hors de la pathologie, dans tout domaine comptant de nombreux modèles spécialisés performants. Ce n'est pour l'instant qu'une hypothèse : l'article ne l'a pas vérifiée.

Il faut tenir compte de certaines limites. Ces informations reposent sur le résumé du preprint ; les métriques détaillées par tâche sont à consulter dans l'article lui-même. Les conditions de licence des poids d'OMNI et les résultats sur vos propres données doivent être vérifiés séparément. Pour un usage clinique, la précision sur des benchmarks ne suffit pas : il faut une validation sur les données du laboratoire concerné et le respect des procédures réglementaires.