Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
Безопасность и правоAPI / Продукт · В работуHabr AI→ оригинал

Сильная русская модель считает «люблю кошек» и «не люблю кошек» схожими на 70%

Эмбеддинг превращает фразу в набор чисел, чтобы поиск находил близкие по смыслу тексты. Автор цикла на Хабре выбирает основу для компактной русской модели на 29,4M параметров и проверяет большого «учителя» DeepPavlov. Тот считает «я люблю кошек» и «я не люблю кошек» схожими на 70%, а «врач назначил» и «врач отменил лечение» — на 65,5%. Поэтому для поиска и дедупликации в медицине и праве проверяйте модель на отрицаниях заранее.

AI-обработка оригинала Habr AI; редакция Hamidun News
Сильная русская модель считает «люблю кошек» и «не люблю кошек» схожими на 70%
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Turbo почти вдвое сильнее tiny2разрыв 0,125 против 0,064 при тех же 3 слоях
Ключевой факт #2Учитель с 12 слоями сильнее turbo примерно в 2,5 раза: 0,329 против 0,125
Ключевой факт #3Первый запуск скачает около 940 МБ, проверка на CPU идёт около 2 минут

Представьте поиск по базе документов, который считает фразы «врач назначил лечение» и «врач отменил лечение» почти одинаковыми. Именно так ведёт себя сильная русская модель эмбеддингов, которую автор цикла на Хабре взял в качестве «учителя». Эмбеддинг превращает текст в вектор, то есть набор чисел, а сходство двух фраз считают как косинус угла между векторами: 100% (1,0) значит «смысл совпадает», около 0% значит «ничего общего». У учителя «я люблю кошек» и «я не люблю кошек» получили 0,702, то есть примерно 70% сходства, хотя смысл противоположный. Это первая часть цикла из десяти статей про сжатие модели до 29,4 миллиона параметров.

Что делает автор и зачем

Метод называется дистилляцией: маленький «студент» учится повторять поведение большого «учителя», чтобы работать быстро и на обычном процессоре, без GPU. Автор сразу оговаривается: он не программист, весь код написан нейросетью DeepSeek, а он занимался отладкой и исправлением ошибок. Окружение стандартное: PyTorch для CPU, transformers, sentence-transformers. Первый запуск скачает около 940 МБ (учитель DeepPavlov примерно 700 МБ, turbo и tiny2 по 120 МБ), сам скрипт отрабатывает за две минуты.

Кандидатов три. Первые два, cointegrated/rubert-tiny2 и sergeyzh/rubert-tiny-turbo, имеют по 3 слоя, 312 измерений вектора и 29,4M параметров. Разница в том, что turbo дополнительно обучали на сравнение текстов (contrastive-обучение). Третий, DeepPavlov/rubert-base-cased-sentence, имеет 12 слоёв и 768 измерений и играет роль учителя.

Как сравнивали модели

Метрика называется gap, разрыв: средняя близость у пар одинакового смысла минус средняя близость у пар разного смысла. Чем больше разрыв, тем лучше модель разделяет смысл. Тестовый набор крошечный, всего 10 пар: 4 перефразировки («кошка сидит на стуле» и «кот уселся на стуле»), 3 пары с отрицанием или противоположным действием и 3 пары на разные темы вроде борща и теоремы Пифагора. Автор подчёркивает, что это разведка для выбора слоя и способа склейки токенов в один вектор (mean, CLS, max, last-token), а не оценка качества. Качество он замерит позже на 590 парах валидации и внешнем наборе из 5000 пар.

Лучшие комбинации получились такие:

  • tiny2: слой L2 с CLS, разрыв 0,064;
  • turbo: слой L2 со средним по токенам, разрыв 0,125;
  • DeepPavlov: слой L11 со средним, разрыв 0,329.

Turbo почти вдвое лучше tiny2 при той же архитектуре: помогло предобучение на сравнение текстов, тогда как tiny2 остаётся базовой моделью, обученной угадывать пропущенные слова. Учитель примерно в 2,5 раза сильнее turbo. Автор не ставит цель догнать его по абсолютной семантике. Достаточно подойти близко, чтобы работали поиск и удаление дубликатов.

Слепота к отрицанию

Главная находка — не размер, а то, что учитель почти не замечает слово «не». Сходство на парах с противоположным смыслом:

  • «он устроился на работу» и «он не устроился на работу» — 0,578 (около 58%);
  • «я люблю кошек» и «я не люблю кошек» — 0,702 (около 70%);
  • «врач назначил лечение» и «врач отменил лечение» — 0,655 (около 66%).

Автор объясняет это так. Базовая модель училась восстанавливать пропущенные слова, и вклад одного короткого слова размывается. Усреднение по токенам ослабляет его ещё сильнее. На практике порог дедупликации срабатывает ложно: записи с противоположным смыслом считаются дублями. Поиск при этом поднимает «противоположное» в верх выдачи. Для психотерапии, юриспруденции и медицины это опасно: «препарат назначен» и «препарат отменён» нельзя склеивать.

Студентом автор выбрал turbo. Разрыв у неё уже выше, поэтому семантику достаточно адаптировать, а не учить с нуля. Берётся только энкодер, родное усреднение заменяется собственным механизмом внимания (Attention Pooling), а представления, обученные на сравнение, сохраняются. Отрицания автор собирается подавлять через contrastive-обучение на наборе сложных пар.

Что взять себе

Перед выбором эмбеддера соберите свой мини-набор из 10–20 пар: отрицания, антонимы, замена глагола. Это займёт около часа и покажет проблему до продакшна. Не считайте большую модель автоматически лучшей: слепое пятно к «не» может быть и у неё.

Ограничения очевидны. Десять пар слишком мало для выводов о качестве, и сам автор это признаёт. Цифры относятся к его набору и не обязаны повториться на ваших данных. Итог дистилляции появится только в следующих частях, так что судить о нём рано. Но способ выбора базы прозрачный, а проверка на отрицания пригодится в любом проекте с семантическим поиском.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что делает автор и зачем?

Метод называется дистилляцией: маленький «студент» учится повторять поведение большого «учителя», чтобы работать быстро и на обычном процессоре, без GPU. Автор сразу оговаривается: он не программист, весь код написан нейросетью DeepSeek, а он занимался отладкой и исправлением ошибок. Окружение стандартное: PyTorch для CPU, transformers, sentence-transformers. Первый запуск скачает около 940 МБ (учитель DeepPavlov примерно 700 МБ, turbo и tiny2 по 120 МБ), сам скрипт отрабатывает за две минуты. Кандидатов три.

Что известно по теме: как сравнивали модели?

Метрика называется gap, разрыв: средняя близость у пар одинакового смысла минус средняя близость у пар разного смысла. Чем больше разрыв, тем лучше модель разделяет смысл. Тестовый набор крошечный, всего 10 пар: 4 перефразировки («кошка сидит на стуле» и «кот уселся на стуле»), 3 пары с отрицанием или противоположным действием и 3 пары на разные темы вроде борща и теоремы Пифагора.

Что известно по теме: слепота к отрицанию?

Главная находка — не размер, а то, что учитель почти не замечает слово «не». Сходство на парах с противоположным смыслом: «он устроился на работу» и «он не устроился на работу» — 0,578 (около 58%); «я люблю кошек» и «я не люблю кошек» — 0,702 (около 70%); «врач назначил лечение» и «врач отменил лечение» — 0,655 (около 66%). Автор объясняет это так. Базовая модель училась восстанавливать пропущенные слова, и вклад одного короткого слова размывается. Усреднение по токенам ослабляет его ещё сильнее.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…