Дообучение NER-модели подняло долю скрытых секретов сделок с 39,5% до 91,8%
В CRM скидка 12% бывает и секретом, и публичным условием, а маскировать нужно только первое. Автор дообучил NER-модель GLiNER (287 млн параметров), которая находит фрагмент текста и определяет его тип. Доля целиком скрытых секретов выросла с 39,53% до 91,84%, а ложных масок на публичных упоминаниях стало 8 из 575 вместо 368. Для контекстных условий стоит донастроить компактную модель под свои данные.
AI-обработка оригинала Habr AI; редакция Hamidun News
Представьте CRM, в которую менеджеры годами пишут заметки по сделкам. Перед тем как отдать их подрядчику, в аналитику или в промпт большой модели, секретные условия нужно закрыть маской. Проблема в том, что одно и то же значение бывает и секретом, и открытой информацией.
В заметке «согласовали с клиентом скидку 12%, условия непубличные» число 12% надо спрятать, а во фразе «скидка 12% действует для всех покупателей» его трогать нельзя. Регулярные выражения тут не помогут: решает контекст, а не формат. Автор на Habr дообучил под эту задачу модель GLiNER, которая относится к классу NER (распознавание именованных сущностей: найти нужный фрагмент текста и определить его тип).
На коротком синтетическом тесте доля секретов, скрытых целиком, выросла с 39,53% до 91,84%. Публичных упоминаний, закрытых по ошибке, стало 8 из 575 вместо 368. Метрика Exact F1, где тип и границы фрагмента должны совпасть с эталоном точно, поднялась с 22,51% до 94,13%.
Если вы чистите данные перед отправкой в LLM, эксперимент показывает, что даёт донастройка под свою предметную область.
Что обучали и на чём
Взяли fastino/gliner2.5-multi-v1: около 287 млн параметров, энкодер mDeBERTa. Вместе с текстом модели передают названия и описания искомых типов, поэтому одну схему из шести типов сущностей можно прогнать и до, и после обучения. Модель возвращает найденные фрагменты, их типы и оценки уверенности. JSON и итоговый текст с масками формирует обычный код: он заменяет фрагменты справа налево, чтобы длина уже вставленной маски не сдвигала координаты остальных.
Границы секрета автор задал заранее. Если закрыта договорённость о бонусе, маскировать нужно «3% от годового оборота при закупке от 500 единиц», а не только «3%». В графике оплаты под маску попадают обе доли и сроки.
Все тексты вымышленные. Корпус из 6 500 записей разделён на 5 000 для обучения, 500 для выбора версии весов и порога уверенности и 1 000 для итоговой проверки. Тексты собраны генератором из 336 компонентов. Четверть документов вообще без секретов, есть и контрастные пары, где одно значение то непубличное, то опубликованное. Обучение шло на одной RTX 3090 на 24 ГБ: три эпохи, эффективный батч 16.
Полное дообучение, LoRA и порог уверенности
Автор сравнил полное дообучение с LoRA, DoRA, rsLoRA и QLoRA. В выбранном рецепте LoRA адаптеры стоят только в encoder.query и encoder.value. Обучается 589 824 параметра, около 0,21% базовой модели, остальные веса заморожены.
Версию весов и порог выбирали на отдельной dev-части, а тест в выборе настроек не участвовал. Для полного дообучения победила вторая эпоха с порогом уверенности 95%, для LoRA — третья эпоха с порогом 90%, для rsLoRA — первая с порогом 90%. Критерием служил строгий micro-F1. При равном значении предпочитали вариант с меньшим числом ложных масок на публичных значениях.
В дополнительных проверках автор заменил исходную разметку метками DeepSeek и обучил отдельную GLiNER. Он также добавил Qwen и Gemma с NER-головами и проверил все распознаватели на длинных документах. В доступной части материала результатов этих проверок нет, поэтому сравнивать по ним подходы нельзя.
Ограничения и что делать на практике
Цифры нужно читать осторожно. Все данные синтетические, независимой экспертной разметки не было. Варианты текстов собраны из связанных семейств, а не написаны разными людьми. На реальной переписке с опечатками и жаргоном результат может оказаться ниже.
Практический вывод для команд, которые маскируют данные перед LLM, такой:
- Сначала пропишите политику: что считать секретом и где проходят границы фрагмента.
- Имена клиентов, названия компаний и телефоны оставьте словарям и регулярным выражениям.
- Условия, записанные свободным текстом, отдайте компактной модели, дообученной на своём контексте. Она помещается на одну потребительскую видеокарту.
Данные, конфигурации и пример запуска на своём JSONL автор выложил в репозиторий материалов.
- 18 нояб. 2026 г.После бана автор запустил команду агентов в Kimi, Codex и OpenCode: прогон от $0,30
- 18 нояб. 2026 г.Qwen на двух DGX Spark стал быстрее на 34–59% по токенам в секунду и обошёл GLM
- 18 нояб. 2026 г.Meituan открыла веса агентной модели на 1,6 трлн параметров, обученной без Nvidia
- 12 нояб. 2026 г.Сотрудник Railway запустил ИИ-агента на DeepSeek, и тот полез в инфраструктуру конкурента
Вопросы и ответы по материалу
Что известно по теме: что обучали и на чём?
Взяли fastino/gliner2.5-multi-v1: около 287 млн параметров, энкодер mDeBERTa. Вместе с текстом модели передают названия и описания искомых типов, поэтому одну схему из шести типов сущностей можно прогнать и до, и после обучения. Модель возвращает найденные фрагменты, их типы и оценки уверенности. JSON и итоговый текст с масками формирует обычный код: он заменяет фрагменты справа налево, чтобы длина уже вставленной маски не сдвигала координаты остальных. Границы секрета автор задал заранее.
Что известно по теме: полное дообучение, LoRA и порог уверенности?
Автор сравнил полное дообучение с LoRA, DoRA, rsLoRA и QLoRA. В выбранном рецепте LoRA адаптеры стоят только в encoder.query и encoder.value. Обучается 589 824 параметра, около 0,21% базовой модели, остальные веса заморожены. Версию весов и порог выбирали на отдельной dev-части, а тест в выборе настроек не участвовал. Для полного дообучения победила вторая эпоха с порогом уверенности 95%, для LoRA — третья эпоха с порогом 90%, для rsLoRA — первая с порогом 90%. Критерием служил строгий micro-F1.
Что известно по теме: ограничения и что делать на практике?
Цифры нужно читать осторожно. Все данные синтетические, независимой экспертной разметки не было. Варианты текстов собраны из связанных семейств, а не написаны разными людьми. На реальной переписке с опечатками и жаргоном результат может оказаться ниже. Практический вывод для команд, которые маскируют данные перед LLM, такой: Сначала пропишите политику: что считать секретом и где проходят границы фрагмента. Имена клиентов, названия компаний и телефоны оставьте словарям и регулярным выражениям.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.