Модель papr-embed-code-1 нашла код точнее Qwen3 на 3 п.п., а вектор сжат в 31 раз
Qdrant проверил, нужна ли для поиска по коду специальная модель эмбеддингов. На незнакомом коде papr-embed-code-1 находит нужное точнее исходной Qwen3-Embedding: версия 4B лучше на 3,4 п.п. по метрике nDCG@10, версия 0.6B — на 2,6 п.п. На обычных текстах обе слегка проигрывают, так что для прозы оставьте базовую модель. А сжатие вектора 4B до 1 бита делает его в 31 раз легче.
AI-обработка оригинала Qdrant Blog; редакция Hamidun News
Допустим, вы делаете поиск по большой кодовой базе: разработчик пишет «функция, которая читает CSV и возвращает словарь», а система должна найти нужную функцию среди сотен тысяч. Для этого код превращают в векторы-эмбеддинги, и встаёт вопрос: брать модель, дообученную именно на коде, или хватит сильной универсальной? Команда Qdrant проверила это на открытой модели papr-embed-code-1 (она построена на Qwen3-Embedding).
Итог: на коде, которого модель не видела при обучении, она точнее исходной на 3,4 п.п. (версия 4B) и 2,6 п.
п. (версия 0.6B) по метрике nDCG@10.
Эта метрика показывает, насколько высоко в первой десятке выдачи стоят правильные ответы; «п.п.» — процентные пункты, то есть 0,034 по шкале от 0 до 1.
А если сжать каждый вектор до 1 бита, он станет легче в 31 раз: 328 байт вместо 10 КБ.
Почему громким цифрам Papr нельзя верить на слово
papr-embed-code-1 — это Qwen3-Embedding, дополнительно обученная на поиске по коду. Есть два размера, 0.6B и 4B, веса открыты. Papr заявляет рекордные результаты на бенчмарке CoIR, но сама пишет в карточке модели, что училась почти на всех его обучающих данных. Высокий балл там мало о чём говорит.
Поэтому Qdrant спросил уýже: обгоняет ли модель свою базовую версию на коде, которого не видела? В тесты вошли подбор Python-функции по описанию задачи, поиск файлов библиотеки по вопросу со Stack Overflow, подбор SQL-запроса к вопросу о таблице и сопоставление программы с её версией на другом языке. Обе модели получали одинаковые инструкции к запросам. Собственные цифры Papr Qdrant воспроизвёл с точностью до 0,001 nDCG@10. Исключение — задачи, где много одинаковых документов и итог зависит от того, как разрешаются ничьи. Там Qdrant получил 62,5% и 65,0% против заявленных 72,0% и 72,3%.
Выигрыш на коде есть, на прозе его нет
На незнакомом коде обе модели оказались лучше базовой, причём на каждой задаче, но размер выигрыша разный. На HumanEval базовая 4B и так набирала 98%, прибавлять почти нечего. На WikiSQL версия 4B выросла на 7,0 п.п.
На обычных текстах картина обратная: 0.6B потеряла в среднем 0,3 п.п., 4B — 1,6 п.п. На TREC-COVID (научные статьи о COVID-19) версия 0.6B просела на 6,5 п.п. Поэтому если вы в основном ищете по прозе, оставайтесь на базовой модели.
Главная экономия — в сжатии векторов
Код превращается в очень много векторов: по одному на функцию или кусок файла. У 4B вектор состоит из 2560 чисел и занимает около 10 КБ во float32. С 1-битным квантованием TurboQuant он весит 328 байт. На семи кодовых задачах сжатие без повторной проверки сохранило 99,7% качества float32, а с переоценкой кандидатов (rescoring с запасом 2x) — всё качество.
Отсюда неочевидный выбор: 4B в 1-битном виде набирает больше, чем 0.6B во float32, и занимает в 12 раз меньше оперативной памяти. Цена — скорость: 4B считает эмбеддинги примерно в четыре раза медленнее на той же видеокарте. И на WikiSQL младшая модель всё же вышла вперёд.
Проверили и большой масштаб: 1 005 474 фрагмента кода на шести языках в одной коллекции, поиск ограничен языком запроса. Точный перебор даёт 92,3%. При параметре HNSW ef=128 1-битный поиск с переоценкой сохранил 99,5% этого результата против 99,7% у float32, и работал быстрее: 1,0 мс на запрос против 1,8 мс. Увеличение ef до 256 добавило 0,2–0,4 п.п. nDCG@10, а 1-битный поиск занял 1,4 мс против 2,9 мс у float32. Без фильтра по языку качество падает на 0,5–0,7 п.п.
BM25 в паре с векторным поиском не помог
В коде много точных имён, и ключевой поиск BM25 казался естественным помощником; в Qdrant 1.20 для него даже добавили токенизатор для кода. Но сам по себе BM25 сильно отстал: на APPS, где запрос — условие задачи, а документ — голое решение, он набрал 1%, ведь общих слов почти нет. Слияние с векторным поиском при равных весах ухудшило каждую задачу на 2–17 п.п. для 4B. При весе BM25 0,1 результат оказался на 0,06 п.п. ниже, чем у одного векторного поиска, а лучший прирост на любой задаче составил 0,2 п.п.
Что делать на практике
Для поиска по коду дообученная модель оправдана, для прозы — нет. Если можете позволить 4B, храните её в 1-битном виде с включённой переоценкой и сначала повышайте ef, а не число бит. Сравните результат с несжатой коллекцией на своих запросах: один раз без переоценки, один раз с запасом 2x. При нескольких языках в одной коллекции фильтруйте по языку. BM25 лучше не включать; если пользователи ищут точные идентификаторы, проверьте его отдельно и с малым весом. Учтите: тест Qdrant — это их набор задач, на вашем корпусе цифры могут отличаться.
- 19 нояб. 2026 г.Snapchat разрешил собирать AR-линзы через Claude Code, Cursor и Codex
- 18 нояб. 2026 г.Детектор ИИ-текстов научили дообучаться на лету: 93% пойманных маскировок вместо 27%
- 18 нояб. 2026 г.ffmpeg-skill дал Claude Code и Cursor 42 локальных инструмента для монтажа видео
- 18 нояб. 2026 г.Лучший кодинг-агент управляет роботом в 77% задач, но с одними сенсорами — только в 30%
Вопросы и ответы по материалу
Что известно по теме: почему громким цифрам Papr нельзя верить на слово?
papr-embed-code-1 — это Qwen3-Embedding, дополнительно обученная на поиске по коду. Есть два размера, 0.6B и 4B, веса открыты. Papr заявляет рекордные результаты на бенчмарке CoIR, но сама пишет в карточке модели, что училась почти на всех его обучающих данных. Высокий балл там мало о чём говорит. Поэтому Qdrant спросил уýже: обгоняет ли модель свою базовую версию на коде, которого не видела?
Что известно по теме: выигрыш на коде есть, на прозе его нет?
На незнакомом коде обе модели оказались лучше базовой, причём на каждой задаче, но размер выигрыша разный. На HumanEval базовая 4B и так набирала 98%, прибавлять почти нечего. На WikiSQL версия 4B выросла на 7,0 п.п. На обычных текстах картина обратная: 0.6B потеряла в среднем 0,3 п.п., 4B — 1,6 п.п. На TREC-COVID (научные статьи о COVID-19) версия 0.6B просела на 6,5 п.п. Поэтому если вы в основном ищете по прозе, оставайтесь на базовой модели.
Что известно по теме: главная экономия — в сжатии векторов?
Код превращается в очень много векторов: по одному на функцию или кусок файла. У 4B вектор состоит из 2560 чисел и занимает около 10 КБ во float32. С 1-битным квантованием TurboQuant он весит 328 байт. На семи кодовых задачах сжатие без повторной проверки сохранило 99,7% качества float32, а с переоценкой кандидатов (rescoring с запасом 2x) — всё качество. Отсюда неочевидный выбор: 4B в 1-битном виде набирает больше, чем 0.6B во float32, и занимает в 12 раз меньше оперативной памяти.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.