Hugging Face explique comment affiner des modèles multimodaux d'embeddings et de reranking

Hugging Face a montré un point important pour l'IA appliquée : il n'est pas nécessaire de remplacer un modèle multimodal de recherche par un modèle plus gros pour obtenir un gain de qualité net. Dans un nouveau guide Sentence Transformers, l'équipe explique comment entraîner et affiner des modèles d'embeddings et de reranker qui traitent non seulement le texte, mais aussi les images, l'audio et la vidéo. L'idée centrale est simple : si une entreprise dispose déjà d'un checkpoint multimodal généraliste, elle peut l'adapter à sa tâche et en tirer plus que d'un passage à un modèle universel plus lourd.

Comme exemple pratique, les auteurs ont retenu la tâche Visual Document Retrieval, où une requête textuelle doit permettre de retrouver la bonne page d'un document sous forme de capture d'écran. Dans ce scénario, le modèle doit comprendre non seulement les mots, mais aussi la structure de la page, les tableaux, les graphiques, les légendes et la mise en page visuelle.

Pour l'expérience, ils ont utilisé le modèle Qwen3-VL-Embedding-2B et l'ont affiné sur le sous-ensemble anglophone du dataset de LlamaIndex. Le jeu d'origine contient environ 500 mille paires requête-image multilingues ; la version préparée pour l'expérience conserve 53 512 exemples en anglais. Les 10 mille premiers enregistrements ont servi à l'entraînement et les 300 suivants à l'évaluation.

Le pipeline lui-même diffère peu de l'entraînement textuel habituel dans Sentence Transformers. L'article souligne que le trainer, les arguments d'entraînement et le chargement du dataset restent les mêmes, et que les différences clés tiennent à la multimodalité : le modèle est chargé avec processor_kwargs et model_kwargs pour contrôler la qualité du traitement des images, la précision des calculs et l'implémentation de l'attention ; les données peuvent contenir des chaînes, des images, de l'audio, de la vidéo ou des dictionnaires à plusieurs modalités ; et le prétraitement s'effectue automatiquement via model.preprocess().

Pour la tâche principale, l'auteur a employé CachedMultipleNegativesRankingLoss avec mini_batch_size=1, afin de travailler avec un gros VLM sans saturer la mémoire, tout en conservant, grâce au gradient caching, les avantages d'un grand batch size effectif.

MatryoshkaLoss fait l'objet d'un accent particulier. Ce wrapper autour de la fonction de perte de base entraîne le modèle de sorte que l'information utile se concentre dans les premières dimensions de l'embedding. En pratique, cela permet de réduire la taille du vecteur au déploiement sans chute brutale de la qualité de recherche. Pour Qwen3-VL, la taille complète de l'embedding est de 2048 dimensions, mais après cet entraînement le modèle ne perd presque rien en qualité, même réduit à 512 dimensions. De plus, la configuration de la version finale a été enregistrée avec truncate_dim=1024 : par défaut, elle produit donc des vecteurs deux fois plus compacts que la taille complète, ce qui allège les besoins en stockage et en index.

Les résultats sont convaincants, même sans longues réserves. Après une époque, la version affinée atteint un NDCG@10 de 0.947 sur le jeu d'évaluation, contre 0.

888 pour le Qwen3-VL-Embedding-2B de base. Dans le tableau comparatif, ce modèle de 2 milliards de paramètres devance non seulement sa version d'origine, mais aussi des systèmes plus gros, dont Qwen3-VL-Embedding-8B, à 0.923, et plusieurs autres solutions multimodales actuelles.

L'auteur montre aussi qu'à 512 dimensions le modèle affiné se maintient à 0.945, quasiment à son sommet, et que même à 64 dimensions il conserve plus de 92% de sa qualité maximale. Pour les équipes qui comptent le coût de l'index et la latence, ce n'est pas un détail, mais un argument pratique en faveur de cette approche.

Enfin, Hugging Face précise que la même pile permet aussi d'entraîner des modèles de reranker multimodaux. On utilise pour cela CrossEncoderTrainer et des fonctions de perte spécialisées ; dans l'exemple du reranker any-to-any, le modèle apprend à décider si une image correspond à un texte, en renvoyant un score binaire. C'est important, car dans les systèmes de recherche réels, le retriever et le reranker fonctionnent souvent en tandem : le premier sélectionne rapidement des candidats, le second réordonne précisément les résultats.

Ce que cela signifie : l'époque du « on prend le plus gros checkpoint multimodal et on espère le meilleur » touche à sa fin. Hugging Face montre une voie plus pragmatique : prendre un modèle déjà disponible, l'affiner sur son propre domaine, rester compatible avec le pipeline habituel de Sentence Transformers et, au besoin, réduire en plus les embeddings sans baisse notable. Pour les équipes qui construisent une recherche sur des documents, des catalogues, des archives médias ou des bases de connaissances internes, c'est un signal direct : la qualité de la recherche multimodale dépend de plus en plus non de la taille du modèle en soi, mais de la qualité de l'ajustement au domaine.