Пилот на правилах сам копит разметку и сокращает ожидание модели с года до нуля

Собирать разметку для детектора аномалий отдельным этапом значит полгода, а то и год ждать, пока система хоть что-то начнёт делать. Руководитель ML-направления Алексей описал на Habr способ, как эту паузу убрать: пилот на правилах выходит в работу сразу и параллельно сам производит разметку, на которой потом учится модель.

Разметки не существует, пока её не начали делать

Справочники и источники данных можно привести в порядок заранее. Это работа, которая не зависит от модели, и автор разбирал её в отдельном материале. С разметкой так не получится. Никто никогда не отмечал задним числом, где была аномалия, а где норма. Такой истории нет, пока кто-то не начнёт выносить вердикты на живом потоке событий.

Отсюда и тупик классического плана: сначала собрать данные с метками, потом обучить, потом запускать. Если метки появляются только в процессе работы системы, то план упирается в собственное условие.

Почему именно правила, а не модель

Примером служит контроль закупок: поиск завышенных цен, нецелевых и внетендерных покупок. Автор перечисляет, что ломается у каждого из очевидных подходов:

• supervised-модель обучать не на чем, размеченных примеров нет;
• unsupervised-подход на редких событиях выдаёт слишком много ложных срабатываний;
• LLM без эталона цены уверенно называет завышенную цену рыночной.

Вывод в анонсе сформулирован жёстко: сначала слой на правилах, модель поверх него и позже. Правила дают работающий результат с первого дня. Каждое срабатывание, которое эксперт подтверждает или отклоняет, становится кирпичиком будущей разметки. Пилот при этом приносит пользу, а не просто ждёт накопления данных.

Сам эталон рыночной цены в прошлом материале автор оставил открытым вопросом. Здесь он утверждает, что запускаться можно, не дожидаясь, пока эталон появится.

Ключевые тезисы

• Срок отдельного сбора разметки: от шести месяцев до года.
• Сфера применения: завышенные цены, нецелевые закупки, внетендерные закупки.
• Приём отработан на разных задачах, закупки выбраны как иллюстрация.
• Архитектура: слой правил первым, ML-модель надстраивается позже.
• Главный риск для LLM-подхода: уверенные суждения о рынке без внешнего эталона.

Ограничение важно оговорить. В опубликованном фрагменте нет деталей механики: как именно вердикты возвращаются в датасет, кто их выносит, какой объём нужен для обучения и какие метрики качества получаются. Это содержится в полной версии статьи, и оценивать эффективность подхода по анонсу рано.

Что из этого можно забрать в работу

Логика применима далеко за пределами закупок. Если вы строите детектор аномалий в финансах, логистике, антифроде или промышленном мониторинге, полезно сначала спросить себя, откуда возьмутся метки и сколько придётся ждать. Если ответ «никогда» или «год», проект стоит переупаковать.

Практический порядок получается такой. Начните с простых проверяемых правил, которые эксперты понимают и готовы подтверждать. Встройте в процесс фиксацию решений человека по каждому срабатыванию. Считайте эти решения основным продуктом пилота наравне с самими находками. Модель подключайте тогда, когда накопится достаточно подтверждённых и отклонённых случаев, а LLM используйте там, где есть внешний эталон, с которым можно сверять её утверждения.

Такой путь менее эффектен, чем «обучим нейросеть на всём». Зато у бизнеса появляется результат через недели, а не через год, и у команды остаётся собственный размеченный датасет вместо надежды на чужой.