Старт 23 ноябряЖивой Поток 3 интенсива «Вайбкодинг и ИИ-агенты»: 3 недели практики, 9 живых занятийПоток 3 (23.11) →
Безопасность и правоКод / SDK · В работуQdrant Blog→ оригинал

Модель papr-embed-code-1 нашла код точнее Qwen3 на 3 п.п., а вектор сжат в 31 раз

Qdrant проверил, нужна ли для поиска по коду специальная модель эмбеддингов. На незнакомом коде papr-embed-code-1 находит нужное точнее исходной Qwen3-Embedding: версия 4B лучше на 3,4 п.п. по метрике nDCG@10, версия 0.6B — на 2,6 п.п. На обычных текстах обе слегка проигрывают, так что для прозы оставьте базовую модель. А сжатие вектора 4B до 1 бита делает его в 31 раз легче.

AI-обработка оригинала Qdrant Blog; редакция Hamidun News
Модель papr-embed-code-1 нашла код точнее Qwen3 на 3 п.п., а вектор сжат в 31 раз
Источник: Qdrant Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникQdrant Blog ↗
Главный редактор
Вектор 4B328 байт в 1-битном виде вместо 10 КБ во float32
Ключевой факт #24B с 1 битом точнее 0.6B во float32 и занимает в 12 раз меньше RAM
Гибрид с BM25 не помогпри равном весе качество упало на 2–17 п.п.

Допустим, вы делаете поиск по большой кодовой базе: разработчик пишет «функция, которая читает CSV и возвращает словарь», а система должна найти нужную функцию среди сотен тысяч. Для этого код превращают в векторы-эмбеддинги, и встаёт вопрос: брать модель, дообученную именно на коде, или хватит сильной универсальной? Команда Qdrant проверила это на открытой модели papr-embed-code-1 (она построена на Qwen3-Embedding).

Итог: на коде, которого модель не видела при обучении, она точнее исходной на 3,4 п.п. (версия 4B) и 2,6 п.

п. (версия 0.6B) по метрике nDCG@10.

Эта метрика показывает, насколько высоко в первой десятке выдачи стоят правильные ответы; «п.п.» — процентные пункты, то есть 0,034 по шкале от 0 до 1.

А если сжать каждый вектор до 1 бита, он станет легче в 31 раз: 328 байт вместо 10 КБ.

Почему громким цифрам Papr нельзя верить на слово

papr-embed-code-1 — это Qwen3-Embedding, дополнительно обученная на поиске по коду. Есть два размера, 0.6B и 4B, веса открыты. Papr заявляет рекордные результаты на бенчмарке CoIR, но сама пишет в карточке модели, что училась почти на всех его обучающих данных. Высокий балл там мало о чём говорит.

Поэтому Qdrant спросил уýже: обгоняет ли модель свою базовую версию на коде, которого не видела? В тесты вошли подбор Python-функции по описанию задачи, поиск файлов библиотеки по вопросу со Stack Overflow, подбор SQL-запроса к вопросу о таблице и сопоставление программы с её версией на другом языке. Обе модели получали одинаковые инструкции к запросам. Собственные цифры Papr Qdrant воспроизвёл с точностью до 0,001 nDCG@10. Исключение — задачи, где много одинаковых документов и итог зависит от того, как разрешаются ничьи. Там Qdrant получил 62,5% и 65,0% против заявленных 72,0% и 72,3%.

Выигрыш на коде есть, на прозе его нет

На незнакомом коде обе модели оказались лучше базовой, причём на каждой задаче, но размер выигрыша разный. На HumanEval базовая 4B и так набирала 98%, прибавлять почти нечего. На WikiSQL версия 4B выросла на 7,0 п.п.

На обычных текстах картина обратная: 0.6B потеряла в среднем 0,3 п.п., 4B — 1,6 п.п. На TREC-COVID (научные статьи о COVID-19) версия 0.6B просела на 6,5 п.п. Поэтому если вы в основном ищете по прозе, оставайтесь на базовой модели.

Главная экономия — в сжатии векторов

Код превращается в очень много векторов: по одному на функцию или кусок файла. У 4B вектор состоит из 2560 чисел и занимает около 10 КБ во float32. С 1-битным квантованием TurboQuant он весит 328 байт. На семи кодовых задачах сжатие без повторной проверки сохранило 99,7% качества float32, а с переоценкой кандидатов (rescoring с запасом 2x) — всё качество.

Отсюда неочевидный выбор: 4B в 1-битном виде набирает больше, чем 0.6B во float32, и занимает в 12 раз меньше оперативной памяти. Цена — скорость: 4B считает эмбеддинги примерно в четыре раза медленнее на той же видеокарте. И на WikiSQL младшая модель всё же вышла вперёд.

Проверили и большой масштаб: 1 005 474 фрагмента кода на шести языках в одной коллекции, поиск ограничен языком запроса. Точный перебор даёт 92,3%. При параметре HNSW ef=128 1-битный поиск с переоценкой сохранил 99,5% этого результата против 99,7% у float32, и работал быстрее: 1,0 мс на запрос против 1,8 мс. Увеличение ef до 256 добавило 0,2–0,4 п.п. nDCG@10, а 1-битный поиск занял 1,4 мс против 2,9 мс у float32. Без фильтра по языку качество падает на 0,5–0,7 п.п.

BM25 в паре с векторным поиском не помог

В коде много точных имён, и ключевой поиск BM25 казался естественным помощником; в Qdrant 1.20 для него даже добавили токенизатор для кода. Но сам по себе BM25 сильно отстал: на APPS, где запрос — условие задачи, а документ — голое решение, он набрал 1%, ведь общих слов почти нет. Слияние с векторным поиском при равных весах ухудшило каждую задачу на 2–17 п.п. для 4B. При весе BM25 0,1 результат оказался на 0,06 п.п. ниже, чем у одного векторного поиска, а лучший прирост на любой задаче составил 0,2 п.п.

Что делать на практике

Для поиска по коду дообученная модель оправдана, для прозы — нет. Если можете позволить 4B, храните её в 1-битном виде с включённой переоценкой и сначала повышайте ef, а не число бит. Сравните результат с несжатой коллекцией на своих запросах: один раз без переоценки, один раз с запасом 2x. При нескольких языках в одной коллекции фильтруйте по языку. BM25 лучше не включать; если пользователи ищут точные идентификаторы, проверьте его отдельно и с малым весом. Учтите: тест Qdrant — это их набор задач, на вашем корпусе цифры могут отличаться.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: почему громким цифрам Papr нельзя верить на слово?

papr-embed-code-1 — это Qwen3-Embedding, дополнительно обученная на поиске по коду. Есть два размера, 0.6B и 4B, веса открыты. Papr заявляет рекордные результаты на бенчмарке CoIR, но сама пишет в карточке модели, что училась почти на всех его обучающих данных. Высокий балл там мало о чём говорит. Поэтому Qdrant спросил уýже: обгоняет ли модель свою базовую версию на коде, которого не видела?

Что известно по теме: выигрыш на коде есть, на прозе его нет?

На незнакомом коде обе модели оказались лучше базовой, причём на каждой задаче, но размер выигрыша разный. На HumanEval базовая 4B и так набирала 98%, прибавлять почти нечего. На WikiSQL версия 4B выросла на 7,0 п.п. На обычных текстах картина обратная: 0.6B потеряла в среднем 0,3 п.п., 4B — 1,6 п.п. На TREC-COVID (научные статьи о COVID-19) версия 0.6B просела на 6,5 п.п. Поэтому если вы в основном ищете по прозе, оставайтесь на базовой модели.

Что известно по теме: главная экономия — в сжатии векторов?

Код превращается в очень много векторов: по одному на функцию или кусок файла. У 4B вектор состоит из 2560 чисел и занимает около 10 КБ во float32. С 1-битным квантованием TurboQuant он весит 328 байт. На семи кодовых задачах сжатие без повторной проверки сохранило 99,7% качества float32, а с переоценкой кандидатов (rescoring с запасом 2x) — всё качество. Отсюда неочевидный выбор: 4B в 1-битном виде набирает больше, чем 0.6B во float32, и занимает в 12 раз меньше оперативной памяти.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…