Hugging Face explica como ajustar modelos multimodais de embeddings e reranker

A Hugging Face mostrou algo importante para a IA aplicada: não é preciso trocar um modelo multimodal de busca por outro maior para obter um ganho de qualidade perceptível. Em um novo guia do Sentence Transformers, a equipe explica como treinar e ajustar modelos de embeddings e reranker que trabalham não só com texto, mas também com imagens, áudio e vídeo. A ideia central é simples: se a empresa já tem um checkpoint multimodal geral, ela pode adaptá-lo à sua tarefa e ganhar mais do que ao migrar para um modelo universal mais pesado.

Como exemplo prático, os autores escolheram a tarefa Visual Document Retrieval, em que, a partir de uma consulta de texto, é preciso encontrar a página correta de um documento na forma de captura de tela. Nesse cenário, o modelo precisa entender não apenas palavras, mas também a estrutura da página, tabelas, gráficos, legendas e o layout visual.

No experimento, usaram o modelo Qwen3-VL-Embedding-2B e o ajustaram no subconjunto em inglês do dataset da LlamaIndex. O conjunto original contém cerca de 500 mil pares multilíngues consulta-imagem; na versão preparada para o experimento, ficaram 53 512 exemplos em inglês. Para o treinamento foram usados os primeiros 10 mil registros e, para a avaliação, os 300 seguintes.

O pipeline em si quase não difere do treinamento de texto comum no Sentence Transformers. O artigo ressalta que o trainer, os argumentos de treinamento e o carregamento do dataset continuam os mesmos, e que as diferenças principais estão ligadas à multimodalidade: o modelo é carregado com processor_kwargs e model_kwargs para controlar a qualidade do processamento de imagens, a precisão dos cálculos e a implementação de attention; os dados podem conter strings, imagens, áudio, vídeo ou dicionários com várias modalidades; e o pré-processamento é feito automaticamente via model.preprocess().

Para a tarefa principal, o autor usou CachedMultipleNegativesRankingLoss com mini_batch_size=1, para trabalhar com um VLM grande sem estourar a memória e, ao mesmo tempo, manter as vantagens de um batch size efetivo grande graças ao gradient caching.

Há um destaque à parte para o MatryoshkaLoss. Esse wrapper sobre a função de perda base treina o modelo para que a informação útil se concentre nas primeiras dimensões do embedding. Na prática, isso permite reduzir o tamanho do vetor na implantação sem uma queda brusca na qualidade da busca. No Qwen3-VL, o tamanho total do embedding é de 2048 dimensões, mas, após esse treinamento, o modelo quase não perde qualidade mesmo ao reduzir para 512. Além disso, a configuração da versão final foi salva com truncate_dim=1024, ou seja, por padrão ela gera vetores com metade do tamanho total, o que reduz as exigências de armazenamento e de índice.

Os resultados parecem convincentes mesmo sem longas ressalvas. Após uma época, a versão ajustada atingiu NDCG@10 de 0.947 no conjunto de avaliação, enquanto o Qwen3-VL-Embedding-2B base marcou 0.888. Na tabela comparativa, esse modelo de 2 bilhões de parâmetros superou não só a versão original, mas também sistemas maiores, incluindo o Qwen3-VL-Embedding-8B, com 0.923, e várias outras soluções multimodais atuais. O autor também mostrou que, com 512 dimensões, o modelo ajustado se mantém em 0.945, quase no pico, e que mesmo com 64 dimensões preserva mais de 92% da qualidade máxima. Para equipes que contam o custo do índice e a latência, isso não é um detalhe, mas um argumento prático a favor da abordagem.

Por fim, a Hugging Face observa que a mesma pilha permite treinar também modelos reranker multimodais. Para isso, usa-se o CrossEncoderTrainer e funções de perda especializadas, e no exemplo de reranker any-to-any o modelo é treinado para decidir se uma imagem corresponde a um texto, retornando uma pontuação binária. Isso importa porque, em sistemas de busca reais, o retriever e o reranker costumam trabalhar em dupla: o primeiro seleciona candidatos rapidamente e o segundo reordena os resultados com precisão.

O que isso significa: a era do "pegamos o maior checkpoint multimodal e torcemos pelo melhor" está acabando. A Hugging Face mostra um caminho mais pragmático: pegar um modelo já disponível, ajustá-lo ao seu domínio, manter a compatibilidade com o pipeline habitual do Sentence Transformers e, se necessário, ainda reduzir os embeddings sem queda perceptível. Para equipes que constroem busca em documentos, catálogos, acervos de mídia ou bases de conhecimento internas, é um sinal direto: a qualidade da busca multimodal passa a ser determinada cada vez mais não pelo tamanho do modelo em si, mas pela qualidade do ajuste ao domínio.