miniCOIL EN-ES: как искать через языковой барьер без перевода

Qdrant выпустил miniCOIL EN-ES — разреженный поисковик для двуязычного поиска без машинного перевода. Совместный проект с Pento решает долгую боль sparse retrieval: как вести поиск переводов, когда BM25 видит только точные совпадения слов. Испанское «bajo» означает низкий, басовый, короткий и под, но для классического алгоритма это просто другой токен в другом posting list.

Традиционное решение — перевести запросы или документы, но это добавляет модель в горячий путь и зависимость. Плотные multilingual encoders работают, но не гарантируют поиск по точному ключевому слову. miniCOIL EN-ES выбрал третий путь: разреженный вектор, мыслящий не словами, а концепциями.

Словарь из концепций

Основу составляют 2,398 концепций — кластеров переводов вроде {cat, gato} или {bat, murciélago, bate}. Каждой концепции отведены 8 размерностей в разреженном векторе.

Словарь построили через граф: стартовали со 112k двуязычных пар из MUSE dictionaries (английский–испанский), где каждая пара — ребро между словами. Запустили алгоритм Louvain для детектирования сообществ в этом графе. Полисемия — например, испанское «bajo» с четырьмя англ. переводами — вытягивала в один кластер сотню слов. Решили: топ-2 перевода на каждое слово, максимум 20 слов в одном кластере. Получилось примерно 80k концепций.

Затем потекли английскую и испанскую Википедию, считали встречаемость каждой концепции: осталось 12k. Финальный срез по реальным запросам из mMARCO dev.small (переведённая версия MS MARCO): 2,398 концепций, которые ловят 90% всех совпадений полного словаря из 12k.

Архитектура: multilingual-e5-small и quintuplet loss

Backbone модели — multilingual-e5-small (384-мерные выходы, 118M параметров). Тестировали на параллельных EN/ES парах: 100% recall, косинусное сходство 0,91–0,93. Для каждой концепции одна тренируемая голова: проекция из 384 в 8 размерностей.

Инновация в обучении. miniCOIL v1 использовал triplets (якорь, позитив с тем же словом в том же смысле, негатив с другим смыслом). В двуязычном сеттинге большинство triplets одного языка, и модель «жульничает»: разводит языки по разным регионам вектора. miniCOIL EN-ES вместо этого тренируется на quintuplets — по пять примеров, покрывающих четыре квадранта: совпадение в одном языке, совпадение в другом, несовпадение в одном, несовпадение в другом. Quintuplet loss явно вынуждает одну концепцию оставаться одной, независимо от языка. Слова вне словаря откатываются на проверенный BM25.

Авторы планируют масштабировать словарь и тренировку, идея легко переносится на другие языки.