Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
Безопасность и правоРазбор · На радарHabr AI→ оригинал

Автор цикла на Habr сжимает русскую модель эмбеддингов со 180 до 29 млн параметров

Эмбеддинги превращают тексты в числовые векторы, чтобы искать похожие, чистить дубли и группировать. Русская модель rubert-base на 180 млн параметров тяжела для сервера без GPU и путает «устроился» с «не устроился». Автор цикла на Habr учит маленькую модель повторять её векторы: выходит 29,4 млн параметров и 118 МБ. Для поиска и дедубликации на CPU компактную модель можно собрать под свою задачу.

AI-обработка оригинала Habr AI; редакция Hamidun News
Автор цикла на Habr сжимает русскую модель эмбеддингов со 180 до 29 млн параметров
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Данные243 412 текстов из Википедии и психологии после чистки дублей
Дообучение на 99 999 тройках ru-HNPзапрос, 5 верных, 5 неверных ответов
Цельсходство с учителем не ниже 85% и размер модели до 300 МБ

Эмбеддинги — это числовые векторы, в которые превращают тексты, чтобы сравнивать их по смыслу. На этом держатся поиск по базе знаний, чистка дублей и группировка обращений. Для русского языка хорошие модели есть, но они часто слишком тяжёлые для обычного сервера без видеокарты, то есть для запуска на одном CPU. На Habr стартовал цикл из десяти статей: автор берёт большую модель-учителя на 180 млн параметров (параметры — это обучаемые веса сети, чем их больше, тем модель тяжелее и медленнее) и учит маленького студента на 29,4 млн повторять её векторы. Это вводная часть: итоговых метрик в ней нет, зато чётко описаны задача, ограничения и архитектура.

Какую проблему решает проект

Учитель — DeepPavlov/rubert-base-cased-sentence: 180 млн параметров, 12 слоёв, векторы размерности 768. Модель качественная, но медленная на CPU. У неё две известные болячки.

Первая — «слепота к отрицанию». Фразы «устроился на работу» и «не устроился на работу» она различает плохо, хотя смысл противоположный. Для дедубликации и поиска это неприятно: система сочтёт такие тексты почти одинаковыми.

Вторая — анизотропия. Векторы всех текстов сжаты в узкий конус, поэтому у любых двух текстов косинусное сходство (мера близости векторов) получается высоким. Порог «это дубль» выбрать трудно: в списке на удаление окажутся десятки тысяч пар вместо единиц. У базовой модели sergeyzh/rubert-tiny-turbo с её 312 измерениями и усреднением токенов сжатие ещё сильнее.

Ограничения жёсткие: работа на CPU, размер до 300 МБ, скорость в разы выше, чем у учителя. Задача не только уменьшить учителя, но и частично исправить его недостатки.

Как устроен студент

За основу взят rubert-tiny-turbo: это версия rubert-tiny2, предобученная контрастивно (модель учили сближать похожие тексты и отдалять непохожие), поэтому семантика на старте лучше. Токенизатор остаётся родным, словарь на 84 тысячи токенов не расширяется.

Поверх готовых скрытых состояний энкодера добавляются две детали:

  • Multi-head attention pooling на 4 головы вместо простого усреднения. Модель сама учится взвешивать слова в тексте: важные, вроде «не», получают больший вес. Выходы голов усредняются.
  • Линейная проекция 312 → 768. Она нужна для обучения, чтобы сравнивать студента с учителем в его пространстве. После обучения проекцию можно оставить или отключить: 312 измерений дают меньший размер и большую скорость.

Whitening, то есть принудительное «разглаживание» пространства векторов, в основной модели не применяют: автор рассчитывает, что контрастивное обучение само сделает распределение ближе к равномерному. Для случая, когда текст пользователя сильно отличается от обучающего, предусмотрена опциональная функция fit_domain().

Обучение идёт в два этапа. В Phase A энкодер заморожен, учится только новая голова: она старается, чтобы её векторы были похожи на векторы учителя. В Phase B размораживаются верхние два слоя, и в равных долях смешиваются две задачи: InfoNCE (отличать верный ответ от неверных) и дистилляция (повторять учителя). Данные — 243 412 текстов из Википедии и психологического корпуса после удаления дублей плюс 99 999 троек из deepvk/ru-HNP: запрос, пять подходящих и пять «трудных» неподходящих текстов.

Что здесь полезно практику

Во-первых, цели измеримы заранее. Сходство с учителем после Phase A — не ниже 90%, финальное — не ниже 85%. Точность поиска на трудных негативных примерах — не ниже 97%, причём turbo уже стартует с 96,8%. Для дедубликации критерий прикладной: на автоудаление попадают единицы пар, а не десятки тысяч. Для кластеризации отношение расстояний внутри кластеров и между ними должно быть заметно выше единицы.

Во-вторых, итог упакован как рабочий инструмент: папка около 120 МБ (сами веса — 117,8 МБ) с классом SemanticEmbedder, у которого есть encode, search, dedup, cluster и fit_domain. Студента, turbo и учителя сравнивают на внешнем наборе ru-paraphrase-NMT-Leipzig (5000 пар) и на трёх практических задачах.

Есть и оговорки. Автор честно предупреждает: он не программист, весь код написал DeepSeek, а сам он занимался отладкой и исправлением ошибок. Тексты собраны из заметок по ходу работы, поэтому местами шероховаты. Цифры качества появятся только в следующих частях, и переносить их на другие домены без проверки нельзя.

Как методичка цикл выглядит полезным: он показывает, как собрать лёгкую русскоязычную модель под CPU, не начиная с нуля и не полагаясь на одну метрику.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: какую проблему решает проект?

Учитель — DeepPavlov/rubert-base-cased-sentence: 180 млн параметров, 12 слоёв, векторы размерности 768. Модель качественная, но медленная на CPU. У неё две известные болячки. Первая — «слепота к отрицанию». Фразы «устроился на работу» и «не устроился на работу» она различает плохо, хотя смысл противоположный. Для дедубликации и поиска это неприятно: система сочтёт такие тексты почти одинаковыми. Вторая — анизотропия.

Что известно по теме: как устроен студент?

За основу взят rubert-tiny-turbo: это версия rubert-tiny2, предобученная контрастивно (модель учили сближать похожие тексты и отдалять непохожие), поэтому семантика на старте лучше. Токенизатор остаётся родным, словарь на 84 тысячи токенов не расширяется. Поверх готовых скрытых состояний энкодера добавляются две детали: Multi-head attention pooling на 4 головы вместо простого усреднения. Модель сама учится взвешивать слова в тексте: важные, вроде «не», получают больший вес. Выходы голов усредняются.

Что известно по теме: что здесь полезно практику?

Во-первых, цели измеримы заранее. Сходство с учителем после Phase A — не ниже 90%, финальное — не ниже 85%. Точность поиска на трудных негативных примерах — не ниже 97%, причём turbo уже стартует с 96,8%. Для дедубликации критерий прикладной: на автоудаление попадают единицы пар, а не десятки тысяч. Для кластеризации отношение расстояний внутри кластеров и между ними должно быть заметно выше единицы.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…