Автор цикла на Habr сжимает русскую модель эмбеддингов со 180 до 29 млн параметров
Эмбеддинги превращают тексты в числовые векторы, чтобы искать похожие, чистить дубли и группировать. Русская модель rubert-base на 180 млн параметров тяжела для сервера без GPU и путает «устроился» с «не устроился». Автор цикла на Habr учит маленькую модель повторять её векторы: выходит 29,4 млн параметров и 118 МБ. Для поиска и дедубликации на CPU компактную модель можно собрать под свою задачу.
AI-обработка оригинала Habr AI; редакция Hamidun News
Эмбеддинги — это числовые векторы, в которые превращают тексты, чтобы сравнивать их по смыслу. На этом держатся поиск по базе знаний, чистка дублей и группировка обращений. Для русского языка хорошие модели есть, но они часто слишком тяжёлые для обычного сервера без видеокарты, то есть для запуска на одном CPU. На Habr стартовал цикл из десяти статей: автор берёт большую модель-учителя на 180 млн параметров (параметры — это обучаемые веса сети, чем их больше, тем модель тяжелее и медленнее) и учит маленького студента на 29,4 млн повторять её векторы. Это вводная часть: итоговых метрик в ней нет, зато чётко описаны задача, ограничения и архитектура.
Какую проблему решает проект
Учитель — DeepPavlov/rubert-base-cased-sentence: 180 млн параметров, 12 слоёв, векторы размерности 768. Модель качественная, но медленная на CPU. У неё две известные болячки.
Первая — «слепота к отрицанию». Фразы «устроился на работу» и «не устроился на работу» она различает плохо, хотя смысл противоположный. Для дедубликации и поиска это неприятно: система сочтёт такие тексты почти одинаковыми.
Вторая — анизотропия. Векторы всех текстов сжаты в узкий конус, поэтому у любых двух текстов косинусное сходство (мера близости векторов) получается высоким. Порог «это дубль» выбрать трудно: в списке на удаление окажутся десятки тысяч пар вместо единиц. У базовой модели sergeyzh/rubert-tiny-turbo с её 312 измерениями и усреднением токенов сжатие ещё сильнее.
Ограничения жёсткие: работа на CPU, размер до 300 МБ, скорость в разы выше, чем у учителя. Задача не только уменьшить учителя, но и частично исправить его недостатки.
Как устроен студент
За основу взят rubert-tiny-turbo: это версия rubert-tiny2, предобученная контрастивно (модель учили сближать похожие тексты и отдалять непохожие), поэтому семантика на старте лучше. Токенизатор остаётся родным, словарь на 84 тысячи токенов не расширяется.
Поверх готовых скрытых состояний энкодера добавляются две детали:
- Multi-head attention pooling на 4 головы вместо простого усреднения. Модель сама учится взвешивать слова в тексте: важные, вроде «не», получают больший вес. Выходы голов усредняются.
- Линейная проекция 312 → 768. Она нужна для обучения, чтобы сравнивать студента с учителем в его пространстве. После обучения проекцию можно оставить или отключить: 312 измерений дают меньший размер и большую скорость.
Whitening, то есть принудительное «разглаживание» пространства векторов, в основной модели не применяют: автор рассчитывает, что контрастивное обучение само сделает распределение ближе к равномерному. Для случая, когда текст пользователя сильно отличается от обучающего, предусмотрена опциональная функция fit_domain().
Обучение идёт в два этапа. В Phase A энкодер заморожен, учится только новая голова: она старается, чтобы её векторы были похожи на векторы учителя. В Phase B размораживаются верхние два слоя, и в равных долях смешиваются две задачи: InfoNCE (отличать верный ответ от неверных) и дистилляция (повторять учителя). Данные — 243 412 текстов из Википедии и психологического корпуса после удаления дублей плюс 99 999 троек из deepvk/ru-HNP: запрос, пять подходящих и пять «трудных» неподходящих текстов.
Что здесь полезно практику
Во-первых, цели измеримы заранее. Сходство с учителем после Phase A — не ниже 90%, финальное — не ниже 85%. Точность поиска на трудных негативных примерах — не ниже 97%, причём turbo уже стартует с 96,8%. Для дедубликации критерий прикладной: на автоудаление попадают единицы пар, а не десятки тысяч. Для кластеризации отношение расстояний внутри кластеров и между ними должно быть заметно выше единицы.
Во-вторых, итог упакован как рабочий инструмент: папка около 120 МБ (сами веса — 117,8 МБ) с классом SemanticEmbedder, у которого есть encode, search, dedup, cluster и fit_domain. Студента, turbo и учителя сравнивают на внешнем наборе ru-paraphrase-NMT-Leipzig (5000 пар) и на трёх практических задачах.
Есть и оговорки. Автор честно предупреждает: он не программист, весь код написал DeepSeek, а сам он занимался отладкой и исправлением ошибок. Тексты собраны из заметок по ходу работы, поэтому местами шероховаты. Цифры качества появятся только в следующих частях, и переносить их на другие домены без проверки нельзя.
Как методичка цикл выглядит полезным: он показывает, как собрать лёгкую русскоязычную модель под CPU, не начиная с нуля и не полагаясь на одну метрику.
- 21 нояб. 2026 г.Ролик о Claude в GTA 6 похож на фейк: полчаса управления съели 5-часовой лимит Pro
- 21 нояб. 2026 г.Claude Code ускорил декомпиляцию Snowboard Kids 2: с 20% до 45% функций за три месяца
- 21 нояб. 2026 г.VibeCBS собирает прозвища проектов заранее: агент находит в 2,8 раза больше документов
- 21 нояб. 2026 г.Вакансий FDE за год стало в 4,6 раза больше: что делает инженер у заказчика
Вопросы и ответы по материалу
Что известно по теме: какую проблему решает проект?
Учитель — DeepPavlov/rubert-base-cased-sentence: 180 млн параметров, 12 слоёв, векторы размерности 768. Модель качественная, но медленная на CPU. У неё две известные болячки. Первая — «слепота к отрицанию». Фразы «устроился на работу» и «не устроился на работу» она различает плохо, хотя смысл противоположный. Для дедубликации и поиска это неприятно: система сочтёт такие тексты почти одинаковыми. Вторая — анизотропия.
Что известно по теме: как устроен студент?
За основу взят rubert-tiny-turbo: это версия rubert-tiny2, предобученная контрастивно (модель учили сближать похожие тексты и отдалять непохожие), поэтому семантика на старте лучше. Токенизатор остаётся родным, словарь на 84 тысячи токенов не расширяется. Поверх готовых скрытых состояний энкодера добавляются две детали: Multi-head attention pooling на 4 головы вместо простого усреднения. Модель сама учится взвешивать слова в тексте: важные, вроде «не», получают больший вес. Выходы голов усредняются.
Что известно по теме: что здесь полезно практику?
Во-первых, цели измеримы заранее. Сходство с учителем после Phase A — не ниже 90%, финальное — не ниже 85%. Точность поиска на трудных негативных примерах — не ниже 97%, причём turbo уже стартует с 96,8%. Для дедубликации критерий прикладной: на автоудаление попадают единицы пар, а не десятки тысяч. Для кластеризации отношение расстояний внутри кластеров и между ними должно быть заметно выше единицы.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.