La méthode FDSML sur fractales fait passer le Recall@1 sur Stanford Cars de 56,2% à 78,4%

Une équipe de chercheurs de l'Institut national des sciences et technologies industrielles avancées du Japon (AIST) et de l'Institut des sciences et de l'ingénierie de l'Université Waseda propose une méthode pour préentraîner des modèles de vision par ordinateur sans aucune image réelle, tout en obtenant de meilleurs embeddings. Elle s'appelle FDSML (Formula-Driven Supervised Metric Learning). Sur un ResNet-50, elle fait passer le Recall@1 de 56,2% à 78,4% sur Stanford Cars et de 65,6% à 74,0% sur Stanford Online Products, par rapport au préentraînement classique sur formules (FDSL).

Pourquoi la classification de fractales atteint un plafond

Le FDSL est une approche où les images et leur annotation sont générées à partir de règles mathématiques. L'exemple le plus connu est FractalDB : les fractales sont construites à l'aide d'IFS (systèmes de fonctions itérées, c'est-à-dire des ensembles de transformations affines contractantes), et la classe est définie par un jeu de paramètres. Ces données synthétiques ne demandent aucune annotation manuelle, échappent aux problèmes de licences et de confidentialité, et n'héritent pas des biais sociaux des jeux de données réels.

Le point faible tient à ce que l'entraînement se réduit à une classification. L'espace continu des paramètres est découpé en classes discrètes, et l'information sur les fractales qui se ressemblent le plus disparaît. Selon les auteurs, le modèle surapprend alors des textures géométriques locales de bas niveau. D'où les symptômes : les représentations diffèrent de celles obtenues sur des données réelles, les modèles sont sensibles au flou et, dans certains domaines cibles, ils font moins bien qu'un entraînement à partir de zéro. Cela se voit surtout en recherche d'images, où c'est la géométrie de l'espace des caractéristiques qui compte, et non les frontières entre classes.

Comment fonctionne FDSML

La méthode comporte deux volets. Le premier est le jeu de données FineFractalDB. Dans le FractalDB-1k d'origine, chaque classe compte 1000 exemplaires, mais ceux-ci proviennent de seulement 25 perturbations paramétriques, complétées par des réflexions et des variations de rendu : la diversité intra-classe est donc faible. De plus, les transformations n'étaient pas toujours strictement contractantes, et une partie des images « s'effondrait » en taches peu informatives. Dans FineFractalDB, le nombre de perturbations indépendantes est porté à 1000 par classe, une contrainte stricte de contractivité est imposée aux transformations et un filtrage est ajouté : les échantillons où moins de 0,05% des pixels sont occupés sont éliminés.

Le second volet est la Parameter-Aware Triplet (PA-Triplet) Loss. C'est une triplet loss standard, avec une ancre, un positif et un négatif, mais les rôles ne sont pas attribués d'après les étiquettes de classe : ils le sont d'après la distance dans l'espace des paramètres IFS. Pour chaque image, on calcule un descripteur compact, l'espérance mathématique pondérée des paramètres affines. Parmi deux candidats, le positif est celui dont le descripteur est le plus proche de l'ancre. Les auteurs soulignent que la distance n'est utilisée que sous forme d'ordre : elle détermine qui est le plus proche, sans prétendre servir de métrique perceptuelle.

Les classes discrètes conservent malgré tout un rôle de filtre grossier. Des essais préliminaires ont montré que, lorsque la distance entre paramètres est trop grande, les fractales diffèrent tant que la comparaison devient triviale et n'apprend rien. Les candidats sont donc limités à l'un de quatre régimes : sans restriction, l'un de la même classe et l'autre d'une classe différente, les deux de la classe de l'ancre, ou les deux d'autres classes. Dans tous les cas, la décision finale sur le positif et le négatif revient à la distance entre paramètres.

Ce que montrent les expériences et où sont les limites

Outre la recherche d'images, FDSML reste compétitif en classification downstream et renforce la robustesse face à plusieurs types de perturbations. Pour le ResNet-50, l'amélioration de la robustesse est confirmée. Pour les ViT, en revanche, les auteurs évoquent explicitement des compromis qui dépendent de l'architecture : il n'y a pas de gain net. Des différences qualitatives dans les cartes d'activation et d'attention sont également décrites, mais le texte disponible n'en donne pas le détail.

Des questions restent ouvertes. Les chiffres cités portent sur la comparaison avec un préentraînement FDSL, et non avec des modèles entraînés sur des données réelles comme ImageNet. La méthode a été validée sur des fractales synthétiques, et on ignore dans quelle mesure l'astuce du signal ordinal tiré des paramètres se transposerait à d'autres générateurs à base de formules. Pour les praticiens, la conclusion est la suivante : si un préentraînement synthétique est nécessaire pour des tâches de recherche et de ranking, les paramètres continus de génération fournissent un signal plus riche que les étiquettes de classe. La page du projet est disponible à l'adresse shineiarakawa.github.io/fdsml.