Сильная русская модель считает «люблю кошек» и «не люблю кошек» схожими на 70%
Эмбеддинг превращает фразу в набор чисел, чтобы поиск находил близкие по смыслу тексты. Автор цикла на Хабре выбирает основу для компактной русской модели на 29,4M параметров и проверяет большого «учителя» DeepPavlov. Тот считает «я люблю кошек» и «я не люблю кошек» схожими на 70%, а «врач назначил» и «врач отменил лечение» — на 65,5%. Поэтому для поиска и дедупликации в медицине и праве проверяйте модель на отрицаниях заранее.
AI-обработка оригинала Habr AI; редакция Hamidun News
Представьте поиск по базе документов, который считает фразы «врач назначил лечение» и «врач отменил лечение» почти одинаковыми. Именно так ведёт себя сильная русская модель эмбеддингов, которую автор цикла на Хабре взял в качестве «учителя». Эмбеддинг превращает текст в вектор, то есть набор чисел, а сходство двух фраз считают как косинус угла между векторами: 100% (1,0) значит «смысл совпадает», около 0% значит «ничего общего». У учителя «я люблю кошек» и «я не люблю кошек» получили 0,702, то есть примерно 70% сходства, хотя смысл противоположный. Это первая часть цикла из десяти статей про сжатие модели до 29,4 миллиона параметров.
Что делает автор и зачем
Метод называется дистилляцией: маленький «студент» учится повторять поведение большого «учителя», чтобы работать быстро и на обычном процессоре, без GPU. Автор сразу оговаривается: он не программист, весь код написан нейросетью DeepSeek, а он занимался отладкой и исправлением ошибок. Окружение стандартное: PyTorch для CPU, transformers, sentence-transformers. Первый запуск скачает около 940 МБ (учитель DeepPavlov примерно 700 МБ, turbo и tiny2 по 120 МБ), сам скрипт отрабатывает за две минуты.
Кандидатов три. Первые два, cointegrated/rubert-tiny2 и sergeyzh/rubert-tiny-turbo, имеют по 3 слоя, 312 измерений вектора и 29,4M параметров. Разница в том, что turbo дополнительно обучали на сравнение текстов (contrastive-обучение). Третий, DeepPavlov/rubert-base-cased-sentence, имеет 12 слоёв и 768 измерений и играет роль учителя.
Как сравнивали модели
Метрика называется gap, разрыв: средняя близость у пар одинакового смысла минус средняя близость у пар разного смысла. Чем больше разрыв, тем лучше модель разделяет смысл. Тестовый набор крошечный, всего 10 пар: 4 перефразировки («кошка сидит на стуле» и «кот уселся на стуле»), 3 пары с отрицанием или противоположным действием и 3 пары на разные темы вроде борща и теоремы Пифагора. Автор подчёркивает, что это разведка для выбора слоя и способа склейки токенов в один вектор (mean, CLS, max, last-token), а не оценка качества. Качество он замерит позже на 590 парах валидации и внешнем наборе из 5000 пар.
Лучшие комбинации получились такие:
- tiny2: слой L2 с CLS, разрыв 0,064;
- turbo: слой L2 со средним по токенам, разрыв 0,125;
- DeepPavlov: слой L11 со средним, разрыв 0,329.
Turbo почти вдвое лучше tiny2 при той же архитектуре: помогло предобучение на сравнение текстов, тогда как tiny2 остаётся базовой моделью, обученной угадывать пропущенные слова. Учитель примерно в 2,5 раза сильнее turbo. Автор не ставит цель догнать его по абсолютной семантике. Достаточно подойти близко, чтобы работали поиск и удаление дубликатов.
Слепота к отрицанию
Главная находка — не размер, а то, что учитель почти не замечает слово «не». Сходство на парах с противоположным смыслом:
- «он устроился на работу» и «он не устроился на работу» — 0,578 (около 58%);
- «я люблю кошек» и «я не люблю кошек» — 0,702 (около 70%);
- «врач назначил лечение» и «врач отменил лечение» — 0,655 (около 66%).
Автор объясняет это так. Базовая модель училась восстанавливать пропущенные слова, и вклад одного короткого слова размывается. Усреднение по токенам ослабляет его ещё сильнее. На практике порог дедупликации срабатывает ложно: записи с противоположным смыслом считаются дублями. Поиск при этом поднимает «противоположное» в верх выдачи. Для психотерапии, юриспруденции и медицины это опасно: «препарат назначен» и «препарат отменён» нельзя склеивать.
Студентом автор выбрал turbo. Разрыв у неё уже выше, поэтому семантику достаточно адаптировать, а не учить с нуля. Берётся только энкодер, родное усреднение заменяется собственным механизмом внимания (Attention Pooling), а представления, обученные на сравнение, сохраняются. Отрицания автор собирается подавлять через contrastive-обучение на наборе сложных пар.
Что взять себе
Перед выбором эмбеддера соберите свой мини-набор из 10–20 пар: отрицания, антонимы, замена глагола. Это займёт около часа и покажет проблему до продакшна. Не считайте большую модель автоматически лучшей: слепое пятно к «не» может быть и у неё.
Ограничения очевидны. Десять пар слишком мало для выводов о качестве, и сам автор это признаёт. Цифры относятся к его набору и не обязаны повториться на ваших данных. Итог дистилляции появится только в следующих частях, так что судить о нём рано. Но способ выбора базы прозрачный, а проверка на отрицания пригодится в любом проекте с семантическим поиском.
- 21 нояб. 2026 г.MLCommons начал мерить ИИ-API под реальной нагрузкой: 7 замеров для агентов
- 21 нояб. 2026 г.Через OpenRouter три дня отвечала взломанная DeepSeek: отказы упали с 83–98% до 1%
- 21 нояб. 2026 г.Алиса, ChatGPT и Perplexity ссылаются лишь на 34 из 309 площадок для статей
- 21 нояб. 2026 г.CoreWeave замерила Vera Rubin: до 10 раз больше токенов на мегаватт, чем у GB200
Вопросы и ответы по материалу
Что известно по теме: что делает автор и зачем?
Метод называется дистилляцией: маленький «студент» учится повторять поведение большого «учителя», чтобы работать быстро и на обычном процессоре, без GPU. Автор сразу оговаривается: он не программист, весь код написан нейросетью DeepSeek, а он занимался отладкой и исправлением ошибок. Окружение стандартное: PyTorch для CPU, transformers, sentence-transformers. Первый запуск скачает около 940 МБ (учитель DeepPavlov примерно 700 МБ, turbo и tiny2 по 120 МБ), сам скрипт отрабатывает за две минуты. Кандидатов три.
Что известно по теме: как сравнивали модели?
Метрика называется gap, разрыв: средняя близость у пар одинакового смысла минус средняя близость у пар разного смысла. Чем больше разрыв, тем лучше модель разделяет смысл. Тестовый набор крошечный, всего 10 пар: 4 перефразировки («кошка сидит на стуле» и «кот уселся на стуле»), 3 пары с отрицанием или противоположным действием и 3 пары на разные темы вроде борща и теоремы Пифагора.
Что известно по теме: слепота к отрицанию?
Главная находка — не размер, а то, что учитель почти не замечает слово «не». Сходство на парах с противоположным смыслом: «он устроился на работу» и «он не устроился на работу» — 0,578 (около 58%); «я люблю кошек» и «я не люблю кошек» — 0,702 (около 70%); «врач назначил лечение» и «врач отменил лечение» — 0,655 (около 66%). Автор объясняет это так. Базовая модель училась восстанавливать пропущенные слова, и вклад одного короткого слова размывается. Усреднение по токенам ослабляет его ещё сильнее.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.