Distillation d'ensemble sur Kaggle : un seul modèle a battu son professeur et économisé 6,5 heures

Dans les concours avec une limite stricte d'inférence, le facteur limitant n'est souvent pas la qualité, mais le temps. C'est précisément le problème rencontré par l'équipe classée 19e au RSNA Knee Abnormality Detection sur Kaggle : leur ensemble de ConvNeXt, CoAtNet et ResNet-GRU tournait environ sept heures sur les neuf autorisées. Il n'y avait tout simplement plus de place pour y ajouter d'autres modèles performants.

Comment compresser un ensemble en un seul modèle

La solution est une distillation classique, mais avec des détails soignés. Le professeur est constitué des prédictions out-of-fold d'un ensemble précoce : chaque examen n'était prédit que par des modèles qui ne l'avaient pas vu à l'entraînement. Ainsi, les cibles souples n'introduisent pas de fuite d'étiquettes dans l'élève.

Les cibles sont un mélange 50/50 : les probabilités déduites par le LLM à partir des comptes rendus radiologiques, et les probabilités OOF du professeur. L'élève est un ConvNeXt-Tiny doté d'une tête slice-attention : champ de vision de 140 mm, entrée de 384 px, 8 fenêtres par série à l'entraînement et 16 à l'inférence. S'y ajoutent une EMA des poids, une loss de ranking par paires en plus de la BCE, et des learning rates distincts pour le backbone et la tête.

Résultat : sur le LB privé, l'élève atteint 95,1 % contre 94,8 % pour le professeur, et l'inférence prend environ une demi-heure au lieu de sept heures. Moyenner 6 ou 12 élèves n'apporte presque rien (95,2 %), un seul modèle suffisait donc.

Vue globale et vue locale

La deuxième partie de la solution est une branche MedSAM. Lorsqu'on réduit toute l'image à une petite taille, les détails fins disparaissent. C'est pourquoi un modèle global observait l'ensemble du genou, tandis que cinq spécialistes examinaient des crops locaux ciblant des lésions précises.

MedSAM a été utilisé gelé et sans fine-tuning : il segmente l'os sur la coupe médiane, et la limite supérieure de la plus grande composante du masque sert d'ancre. À partir de celle-ci, des crops de 288×288 pixels (environ 80 mm) sont positionnés avec des décalages fixes. Le blend du modèle global et des spécialistes donne 96,4 % en public et 95,3 % en privé, contre 96,0/95,1 % et 95,9/94,8 % pour chacun séparément.

Le LLM comme annotateur

L'annotation est un point particulièrement intéressant. Pour chaque examen, un agent neuf était lancé avec le prompt « tu es radiologue » : il lisait le compte rendu et les DICOM, puis produisait des probabilités pour 12 lésions, en étant invité à utiliser toute la plage de 0 à 1. La meilleure approche s'est révélée être la moyenne de deux exécutions : avec DICOM et compte rendu, et avec DICOM seuls. Une annotation basée uniquement sur les comptes rendus, avec un autre modèle, s'est avérée nettement moins bonne. Pour 440 cas litigieux de Lateral OA, une ré-annotation a été effectuée, mais les auteurs n'ont pas pu en mesurer l'effet.

Que retenir du blending

La section la plus pratique porte sur les poids du blend. Les poids fixes, l'ajustement par lésion sur le jeu Gold de 58 examens et le shrinkage vers des poids égaux ne différaient pas de plus de 0,1 point de pourcentage sur le LB privé. Plus les poids étaient ajustés finement sur Gold, meilleur était le score sur celui-ci et pire sur le public. La split-half CV avait d'emblée montré que cet ajustement était nuisible.

Ce qu'il faut en retenir

• Si l'inférence bute sur la limite, essayez la distillation à partir de prédictions OOF : l'élève peut égaler son professeur.
• Les cibles souples issues d'un LLM à partir de comptes rendus textuels sont un moyen économique d'obtenir des étiquettes probabilistes.
• Sur une validation minuscule, n'optimisez pas les poids du blend : des poids égaux sont presque toujours plus sûrs.
• Pour les détails fins, ajoutez des crops locaux à un modèle global plutôt que d'augmenter la résolution globale.

Il faut aussi garder les limites en tête. Les auteurs reconnaissent eux-mêmes avoir fini par se fier au leaderboard public, et que le Gold de 58 cas ne permettait pas de comparer fiablement les stratégies. C'est un cas pratique issu d'un Kaggle médical, et non un système validé cliniquement, mais la recette se transpose à toute tâche où l'ensemble ne tient pas dans le budget de temps.