Habr AI : un métamodèle de diagnostic de l'entraînement des réseaux de neurones repère les défaillances grâce aux courbes d'apprentissage

Habr AI décrit un métamodèle expérimental qui tente de comprendre automatiquement ce qui se passe pendant l'entraînement d'un réseau de neurones. Au lieu d'examiner à la main les courbes d'apprentissage, l'auteur propose un classifieur distinct, capable de reconnaître, d'après les métriques et la forme des courbes, le sous-apprentissage, le surapprentissage et les problèmes de données.

À quoi cela sert

Habituellement, l'ingénieur regarde l'accuracy de train et de validation, compare l'écart entre les deux et tente de juger à l'œil s'il y a encore des progrès ou s'il est temps d'arrêter l'entraînement. Cela fonctionne tant que les expériences sont peu nombreuses, mais devient vite une corvée quand il faut lancer des dizaines de modèles et suivre différents scénarios. L'auteur part d'une idée simple : si un humain sait lire les courbes d'entraînement et repérer des motifs typiques, on peut essayer de l'apprendre à un modèle dédié.

Entraînement du modèle → courbes d'apprentissage → caractéristiques →

métaclassifieur → arrêt au moment idéal.

Le principe : le métamodèle n'analyse pas les images ou les textes d'origine, mais l'état du modèle principal à un instant précis de l'entraînement. Le bénéfice potentiel est clair : arrêter plus tôt les exécutions sans avenir, détecter plus vite le surapprentissage et ne pas gaspiller d'époques sur ce qui n'apportera plus de gain notable. L'auteur écrit lui-même honnêtement que l'efficacité en production et la transférabilité à différentes tâches restent une question ouverte : il s'agit d'une hypothèse de travail, pas d'un standard industriel prêt à l'emploi.

Comment le dataset a été constitué

Pour entraîner cette couche de diagnostic, l'auteur a d'abord généré un dataset d'expériences distinct, fondé sur MNIST. Les modèles de base étaient une régression logistique, un petit et un grand MLP, ainsi que deux CNN de tailles différentes. Au total, on obtient 270 exécutions, évaluées non seulement à la fin, mais aussi à des étapes intermédiaires après 1, 5, 6, 11, 16, 21 et 26 époques. C'est important : le métaclassifieur doit reconnaître les problèmes pendant l'entraînement, pas a posteriori.

Plusieurs conditions variaient d'une exécution à l'autre :

• taille de l'échantillon d'entraînement
• seed aléatoire
• présence d'un déséquilibre artificiel des classes
• type de décalage des données sur le test, dont noise et invert

Pour chaque point, l'auteur a enregistré l'accuracy de train, de validation et de test, la différence entre train et validation, l'historique de la courbe de validation et le numéro d'époque. Les données ont ensuite reçu des étiquettes de diagnostic selon des règles simples : underfitting si l'accuracy de train est inférieure à 0.7 ; overfitting si l'écart dépasse 0.15 ; dataset shift si l'accuracy de validation est nettement supérieure à celle de test. Ces règles simplifient le problème et ne prétendent pas à l'universalité, mais elles fournissent un jeu d'étiquettes de départ pour l'expérience.

Ce qu'ont montré les tests

L'ensemble de caractéristiques présente un intérêt particulier. Au lieu de graphiques bruts, l'auteur a extrait de chaque courbe d'apprentissage plusieurs mesures compactes : la valeur initiale, le milieu, le point final, la croissance globale et l'écart type comme mesure de stabilité. Ces caractéristiques, avec les métriques de base, ont été fournies à un classifieur multi-étiquettes via MultiOutputClassifier. Random Forest, XGBoost, Logistic Regression et un ensemble de modèles ont été testés pour déterminer quel algorithme lit le mieux la dynamique de l'entraînement.

Random Forest a obtenu le meilleur résultat. Sur la classification globale, le modèle atteint environ 0.89 de micro F1 et 0.88 de macro F1, et se montre le plus performant pour détecter le sous-apprentissage et le décalage des données. La régression logistique est, sans surprise, restée derrière, car elle capte plus difficilement les relations non linéaires entre la forme de la courbe et l'état de l'entraînement. L'ensemble n'a presque rien amélioré, ce qui est aussi révélateur : dans ce cadre, la qualité des caractéristiques et de l'étiquetage compte plus que la simple complexification du classifieur final.

Ce que cela signifie

L'idée d'un métamodèle de diagnostic de l'entraînement semble pratique : même dans une expérience simple, elle montre que les courbes d'apprentissage peuvent non seulement se regarder à l'œil, mais aussi se formaliser. Si l'approche résiste à des datasets plus complexes et à de vrais pipelines de ML, elle pourrait servir de base à un early stopping plus intelligent et à une surveillance automatique de la qualité de l'entraînement.