Hugging Face explica cómo ajustar modelos multimodales de embeddings y reranking

Hugging Face ha mostrado algo importante para la IA aplicada: no hace falta cambiar un modelo multimodal de búsqueda por otro más grande para lograr una mejora notable de calidad. En una nueva guía de Sentence Transformers, el equipo explica cómo entrenar y ajustar modelos de embeddings y reranker que funcionan no solo con texto, sino también con imágenes, audio y vídeo. La idea central es simple: si una empresa ya dispone de un checkpoint multimodal general, puede adaptarlo a su tarea y ganar más que si pasara a un modelo universal más pesado.

Como ejemplo práctico, los autores eligieron la tarea Visual Document Retrieval, en la que, a partir de una consulta de texto, hay que encontrar la página correcta de un documento en forma de captura de pantalla. En este escenario el modelo debe entender no solo palabras, sino también la estructura de la página, tablas, gráficos, pies de imagen y la composición visual.

Para el experimento usaron el modelo Qwen3-VL-Embedding-2B y lo ajustaron con el subconjunto en inglés del dataset de LlamaIndex. El conjunto original contiene unos 500 mil pares multilingües consulta-imagen; en la versión preparada para el experimento quedaron 53 512 ejemplos en inglés. Para el entrenamiento se emplearon los primeros 10 mil registros y para la evaluación, los 300 siguientes.

El pipeline apenas se distingue del entrenamiento de texto habitual en Sentence Transformers. El artículo subraya que el trainer, los argumentos de entrenamiento y la carga del dataset siguen siendo los mismos, y que las diferencias clave tienen que ver con la multimodalidad: el modelo se carga con processor_kwargs y model_kwargs para controlar la calidad del procesamiento de imágenes, la precisión de cálculo y la implementación de attention; los datos pueden contener cadenas, imágenes, audio, vídeo o diccionarios con varias modalidades; y el preprocesamiento se hace automáticamente mediante model.preprocess().

Para la tarea principal, el autor usó CachedMultipleNegativesRankingLoss con mini_batch_size=1, para trabajar con un VLM grande sin quedarse sin memoria y conservar, gracias al gradient caching, las ventajas de un batch size efectivo grande.

Se hace un énfasis aparte en MatryoshkaLoss. Este envoltorio sobre la función de pérdida base entrena al modelo para que la información útil se concentre en las primeras dimensiones del embedding. En la práctica, permite reducir el tamaño del vector al desplegar sin que la calidad de búsqueda caiga bruscamente. En Qwen3-VL el tamaño completo del embedding es de 2048 dimensiones, pero tras este entrenamiento el modelo casi no pierde calidad ni siquiera al reducirlo a 512. Además, la configuración de la versión final se guardó con truncate_dim=1024, es decir, por defecto genera vectores la mitad de compactos que el tamaño completo, lo que reduce los requisitos de almacenamiento e índice.

Los resultados resultan convincentes incluso sin largas salvedades. Tras una época, la versión ajustada alcanzó un NDCG@10 de 0.947 en el conjunto de evaluación, mientras que el Qwen3-VL-Embedding-2B base obtuvo 0.

888. En la tabla comparativa, este modelo de 2000 millones de parámetros superó no solo a su versión original, sino también a sistemas más grandes, entre ellos Qwen3-VL-Embedding-8B, con 0.923, y varias otras soluciones multimodales actuales.

Además, el autor mostró que con 512 dimensiones el modelo ajustado se mantiene en 0.945, casi en su máximo, y que incluso con 64 dimensiones conserva más del 92% de la calidad máxima. Para los equipos que calculan el coste del índice y la latencia, no es un detalle, sino un argumento práctico a favor de este enfoque.

Al final, Hugging Face señala que la misma pila permite entrenar también modelos reranker multimodales. Para ello se usa CrossEncoderTrainer y funciones de pérdida especializadas, y en el ejemplo del reranker any-to-any se entrena al modelo para decidir si una imagen corresponde a un texto, devolviendo una puntuación binaria. Es importante porque en los sistemas de búsqueda reales el retriever y el reranker suelen trabajar en pareja: el primero selecciona rápidamente candidatos y el segundo reordena con precisión los resultados.

Qué significa: la era de "tomamos el checkpoint multimodal más grande y confiamos en que salga bien" está terminando. Hugging Face muestra un camino más pragmático: tomar un modelo ya disponible, ajustarlo a tu propio dominio, mantener la compatibilidad con el pipeline habitual de Sentence Transformers y, si hace falta, reducir además los embeddings sin una caída apreciable. Para los equipos que construyen búsqueda sobre documentos, catálogos, archivos multimedia o bases de conocimiento internas, es una señal directa: la calidad de la búsqueda multimodal depende cada vez más no del tamaño del modelo en sí, sino de la calidad del ajuste al dominio.