miniCOIL EN-ES: como buscar através da barreira linguística sem tradução

A Qdrant lançou o miniCOIL EN-ES — um buscador esparso para busca bilíngue sem tradução automática. O projeto, feito em parceria com a Pento, resolve uma dor antiga da recuperação esparsa (sparse retrieval): como buscar traduções quando o BM25 enxerga apenas correspondências exatas de palavras. O espanhol "bajo" significa baixo, grave (no sentido musical), curto e embaixo de, mas, para o algoritmo clássico, é apenas mais um token em outra lista de postings.

A solução tradicional é traduzir consultas ou documentos, mas isso adiciona um modelo ao caminho crítico e cria uma dependência. Encoders densos multilíngues funcionam, mas não garantem busca por palavra-chave exata. O miniCOIL EN-ES escolheu um terceiro caminho: um vetor esparso que pensa não em palavras, mas em conceitos.

Um dicionário de conceitos

A base é formada por 2.398 conceitos — clusters de traduções como {cat, gato} ou {bat, murciélago, bate}. Cada conceito recebe 8 dimensões reservadas no vetor esparso.

O dicionário foi construído a partir de um grafo: o ponto de partida foram 112 mil pares bilíngues do MUSE dictionaries (inglês–espanhol), em que cada par é uma aresta entre palavras. Rodou-se o algoritmo de Louvain para detectar comunidades nesse grafo. A polissemia — por exemplo, o espanhol "bajo", com quatro traduções em inglês — puxava uma centena de palavras para um único cluster. A solução foi: as duas traduções mais relevantes para cada palavra, com no máximo 20 palavras por cluster. O resultado foram cerca de 80 mil conceitos.

Em seguida, varreram a Wikipedia em inglês e em espanhol, contando a frequência de cada conceito: restaram 12 mil. O corte final, com base em consultas reais do mMARCO dev.small (versão traduzida do MS MARCO), chegou a 2.398 conceitos, que capturam 90% de todas as correspondências do dicionário completo de 12 mil.

Arquitetura: multilingual-e5-small e quintuplet loss

O backbone do modelo é o multilingual-e5-small (saídas de 384 dimensões, 118M de parâmetros). Os testes com pares paralelos EN/ES mostraram recall de 100%, com similaridade de cosseno entre 0,91 e 0,93. Cada conceito tem uma única cabeça treinável: uma projeção de 384 para 8 dimensões.

A inovação está no treinamento. O miniCOIL v1 usava triplets (âncora, exemplo positivo com a mesma palavra no mesmo sentido, e exemplo negativo com outro sentido). No cenário bilíngue, a maioria dos triplets fica restrita a um único idioma, e o modelo acaba "trapaceando": separa os idiomas em regiões diferentes do vetor. O miniCOIL EN-ES, em vez disso, treina com quintuplets — cinco exemplos cobrindo quatro quadrantes: correspondência em um idioma, correspondência no outro, não correspondência em um idioma e não correspondência no outro. O quintuplet loss força explicitamente que um conceito permaneça o mesmo conceito, independentemente do idioma. Palavras fora do dicionário recaem sobre o BM25 tradicional.

Os autores planejam ampliar o dicionário e o treinamento; a ideia se transfere facilmente para outros idiomas.