miniCOIL EN-ES: cómo buscar a través de la barrera del idioma sin traducción

Qdrant ha lanzado miniCOIL EN-ES, un buscador disperso para búsquedas bilingües sin traducción automática. Este proyecto conjunto con Pento resuelve un dolor de cabeza histórico de la recuperación dispersa (sparse retrieval): cómo buscar traducciones cuando BM25 solo detecta coincidencias exactas de palabras. El español «bajo» significa low, bass, short y under, pero para un algoritmo clásico no es más que otro token en otra posting list.

La solución tradicional consiste en traducir las consultas o los documentos, pero eso añade un modelo a la ruta crítica y genera una dependencia adicional. Los encoders multilingües densos funcionan, pero no garantizan la búsqueda por palabra clave exacta. miniCOIL EN-ES elige una tercera vía: un vector disperso que no piensa en palabras, sino en conceptos.

Un diccionario de conceptos

La base la forman 2.398 conceptos: clústeres de traducciones como {cat, gato} o {bat, murciélago, bate}. Cada concepto tiene 8 dimensiones asignadas dentro del vector disperso.

El diccionario se construyó mediante un grafo: se partió de 112.000 pares bilingües de MUSE dictionaries (inglés-español), donde cada par es una arista entre palabras. Se ejecutó el algoritmo de Louvain para detectar comunidades en ese grafo. La polisemia —por ejemplo, el español «bajo» con cuatro traducciones al inglés— arrastraba a un mismo clúster a un centenar de palabras. La solución fue limitar a las 2 mejores traducciones por palabra, con un máximo de 20 palabras por clúster. El resultado fueron aproximadamente 80.000 conceptos.

Después se procesaron la Wikipedia en inglés y en español para contar la frecuencia de aparición de cada concepto: quedaron 12.000. El recorte final, basado en consultas reales de mMARCO dev.small (la versión traducida de MS MARCO), dio como resultado 2.398 conceptos, que capturan el 90% de todas las coincidencias del diccionario completo de 12.000.

Arquitectura: multilingual-e5-small y quintuplet loss

El backbone del modelo es multilingual-e5-small (salidas de 384 dimensiones, 118M de parámetros). Se probó con pares paralelos EN/ES: 100% de recall, con una similitud coseno de 0,91-0,93. Cada concepto tiene una cabeza entrenable: una proyección de 384 a 8 dimensiones.

La innovación está en el entrenamiento. miniCOIL v1 utilizaba triplets (ancla, positivo con la misma palabra en el mismo sentido, negativo con otro sentido). En un entorno bilingüe, la mayoría de los triplets pertenecen a un solo idioma, y el modelo «hace trampa»: separa los idiomas en regiones distintas del vector. miniCOIL EN-ES, en cambio, se entrena con quintuplets —cinco ejemplos que cubren cuatro cuadrantes: coincidencia en un idioma, coincidencia en el otro, no coincidencia en un idioma, no coincidencia en el otro. El quintuplet loss obliga explícitamente a que un concepto siga siendo uno solo, independientemente del idioma. Las palabras fuera del diccionario se resuelven recurriendo al BM25 tradicional.

Los autores planean ampliar el diccionario y el entrenamiento; la idea se traslada con facilidad a otros idiomas.