Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РелизРазбор · На радарHabr AI→ оригинал

Дообучение NER-модели подняло долю скрытых секретов сделок с 39,5% до 91,8%

В CRM скидка 12% бывает и секретом, и публичным условием, а маскировать нужно только первое. Автор дообучил NER-модель GLiNER (287 млн параметров), которая находит фрагмент текста и определяет его тип. Доля целиком скрытых секретов выросла с 39,53% до 91,84%, а ложных масок на публичных упоминаниях стало 8 из 575 вместо 368. Для контекстных условий стоит донастроить компактную модель под свои данные.

AI-обработка оригинала Habr AI; редакция Hamidun News
Дообучение NER-модели подняло долю скрытых секретов сделок с 39,5% до 91,8%
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1Exact F1, где совпасть должны тип и границы, вырос с 22,51% до 94,13%
Корпус синтетический5 000 текстов на обучение, 1 000 на тест
Ключевой факт #3LoRA обучает 589 824 параметра — около 0,21% модели

Представьте CRM, в которую менеджеры годами пишут заметки по сделкам. Перед тем как отдать их подрядчику, в аналитику или в промпт большой модели, секретные условия нужно закрыть маской. Проблема в том, что одно и то же значение бывает и секретом, и открытой информацией.

В заметке «согласовали с клиентом скидку 12%, условия непубличные» число 12% надо спрятать, а во фразе «скидка 12% действует для всех покупателей» его трогать нельзя. Регулярные выражения тут не помогут: решает контекст, а не формат. Автор на Habr дообучил под эту задачу модель GLiNER, которая относится к классу NER (распознавание именованных сущностей: найти нужный фрагмент текста и определить его тип).

На коротком синтетическом тесте доля секретов, скрытых целиком, выросла с 39,53% до 91,84%. Публичных упоминаний, закрытых по ошибке, стало 8 из 575 вместо 368. Метрика Exact F1, где тип и границы фрагмента должны совпасть с эталоном точно, поднялась с 22,51% до 94,13%.

Если вы чистите данные перед отправкой в LLM, эксперимент показывает, что даёт донастройка под свою предметную область.

Что обучали и на чём

Взяли fastino/gliner2.5-multi-v1: около 287 млн параметров, энкодер mDeBERTa. Вместе с текстом модели передают названия и описания искомых типов, поэтому одну схему из шести типов сущностей можно прогнать и до, и после обучения. Модель возвращает найденные фрагменты, их типы и оценки уверенности. JSON и итоговый текст с масками формирует обычный код: он заменяет фрагменты справа налево, чтобы длина уже вставленной маски не сдвигала координаты остальных.

Границы секрета автор задал заранее. Если закрыта договорённость о бонусе, маскировать нужно «3% от годового оборота при закупке от 500 единиц», а не только «3%». В графике оплаты под маску попадают обе доли и сроки.

Все тексты вымышленные. Корпус из 6 500 записей разделён на 5 000 для обучения, 500 для выбора версии весов и порога уверенности и 1 000 для итоговой проверки. Тексты собраны генератором из 336 компонентов. Четверть документов вообще без секретов, есть и контрастные пары, где одно значение то непубличное, то опубликованное. Обучение шло на одной RTX 3090 на 24 ГБ: три эпохи, эффективный батч 16.

Полное дообучение, LoRA и порог уверенности

Автор сравнил полное дообучение с LoRA, DoRA, rsLoRA и QLoRA. В выбранном рецепте LoRA адаптеры стоят только в encoder.query и encoder.value. Обучается 589 824 параметра, около 0,21% базовой модели, остальные веса заморожены.

Версию весов и порог выбирали на отдельной dev-части, а тест в выборе настроек не участвовал. Для полного дообучения победила вторая эпоха с порогом уверенности 95%, для LoRA — третья эпоха с порогом 90%, для rsLoRA — первая с порогом 90%. Критерием служил строгий micro-F1. При равном значении предпочитали вариант с меньшим числом ложных масок на публичных значениях.

В дополнительных проверках автор заменил исходную разметку метками DeepSeek и обучил отдельную GLiNER. Он также добавил Qwen и Gemma с NER-головами и проверил все распознаватели на длинных документах. В доступной части материала результатов этих проверок нет, поэтому сравнивать по ним подходы нельзя.

Ограничения и что делать на практике

Цифры нужно читать осторожно. Все данные синтетические, независимой экспертной разметки не было. Варианты текстов собраны из связанных семейств, а не написаны разными людьми. На реальной переписке с опечатками и жаргоном результат может оказаться ниже.

Практический вывод для команд, которые маскируют данные перед LLM, такой:

  • Сначала пропишите политику: что считать секретом и где проходят границы фрагмента.
  • Имена клиентов, названия компаний и телефоны оставьте словарям и регулярным выражениям.
  • Условия, записанные свободным текстом, отдайте компактной модели, дообученной на своём контексте. Она помещается на одну потребительскую видеокарту.

Данные, конфигурации и пример запуска на своём JSONL автор выложил в репозиторий материалов.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что обучали и на чём?

Взяли fastino/gliner2.5-multi-v1: около 287 млн параметров, энкодер mDeBERTa. Вместе с текстом модели передают названия и описания искомых типов, поэтому одну схему из шести типов сущностей можно прогнать и до, и после обучения. Модель возвращает найденные фрагменты, их типы и оценки уверенности. JSON и итоговый текст с масками формирует обычный код: он заменяет фрагменты справа налево, чтобы длина уже вставленной маски не сдвигала координаты остальных. Границы секрета автор задал заранее.

Что известно по теме: полное дообучение, LoRA и порог уверенности?

Автор сравнил полное дообучение с LoRA, DoRA, rsLoRA и QLoRA. В выбранном рецепте LoRA адаптеры стоят только в encoder.query и encoder.value. Обучается 589 824 параметра, около 0,21% базовой модели, остальные веса заморожены. Версию весов и порог выбирали на отдельной dev-части, а тест в выборе настроек не участвовал. Для полного дообучения победила вторая эпоха с порогом уверенности 95%, для LoRA — третья эпоха с порогом 90%, для rsLoRA — первая с порогом 90%. Критерием служил строгий micro-F1.

Что известно по теме: ограничения и что делать на практике?

Цифры нужно читать осторожно. Все данные синтетические, независимой экспертной разметки не было. Варианты текстов собраны из связанных семейств, а не написаны разными людьми. На реальной переписке с опечатками и жаргоном результат может оказаться ниже. Практический вывод для команд, которые маскируют данные перед LLM, такой: Сначала пропишите политику: что считать секретом и где проходят границы фрагмента. Имена клиентов, названия компаний и телефоны оставьте словарям и регулярным выражениям.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…