Диффузионный модуль TADR поднял F1 детектора аномалий на SMD при потере блоков данных

Промышленные системы с датчиками регулярно теряют целые блоки данных: сеть отваливается, оборудование сбоит, и в потоке появляется «дыра» сразу по нескольким каналам и нескольким тактам. Стандартная реакция — двухшаговый конвейер «сначала заполнить пропуск, потом искать аномалии». Исследователи из Сеула предложили Task-Aware Diffusion Refiner (TADR) — диффузионный модуль, который при восстановлении данных ориентируется на задачу детекции, а не на точность реконструкции. По их результатам, TADR повышает F1 — сводную оценку точности и полноты обнаружения аномалий — относительно детектора без доработки на SMD (Server Machine Dataset, наборе метрик серверов). Измерение проводилось по строгой схеме Point-to-Point (P2P), где каждая отметка времени оценивается отдельно.

Почему заполнение по MSE стирает аномалии

Обычный импутер обучают на среднеквадратичной ошибке (MSE) и на нормальной работе оборудования. Поэтому он заполняет пропуск самым вероятным нормальным узором. Если блок накрывает аномалию, частично наблюдаемое отклонение сглаживается обратно к норме, и детектор его не видит.

Есть и обратный эффект. На нормальных данных границы восстановленного блока дают артефакты, которые вызывают ложные тревоги. Авторы называют это смещением импутации (imputation bias). Они напоминают, что метрика Point Adjustment долго скрывала потерю точности, завышая полноту независимо от числа ложных срабатываний. Поэтому они оценивают метод по строгой P2P.

Отдельно в статье отмечены системы безопасности, например датчики обнаружения запрещённых веществ. Редкое событие там может совпасть с потерей данных, и импутер, заполнивший пробел нормальными значениями, уничтожит то, ради чего система создана.

Как устроен TADR

TADR — условная диффузионная модель, которая обучается с учётом функции потерь замороженного детектора. Архитектуру и сэмплер авторы взяли у CSDI — диффузионного импутера, служащего базовой линией. Меняется только цель обучения: диффузия должна обострять пики аномалий и сохранять нормальный фон, а не просто минимизировать ошибку реконструкции.

Главная инженерная проблема — обучение. Пропускать градиенты через всю цепочку сэмплирования нельзя: это вычислительно неподъёмно. Поэтому задачные слагаемые применяются к одношаговой оценке чистого окна, которую предсказание шума даёт само по себе. В итоге обучение стоит не дороже обычной диффузии.

Детектор остаётся замороженным, так что TADR подключается без изменения его структуры. Авторы отмечают, что метод работает с детекторами, которые оценивают аномальность по ошибке реконструкции, и рассматривают среди прочих Anomaly Transformer, TimesNet и KAN-AD.

Где метод помогает, а где нет

Оценка выполнена на пяти сидах с доверительными интервалами и парными тестами значимости. Больше всего в абляции даёт сама цель усиления аномалий, а итеративная схема добавляет прирост к однопроходному рафинеру. В доступном тексте численные значения приростов не приведены, их стоит смотреть в самой статье.

Универсального превосходства авторы не заявляют. Выигрыш растёт вместе с долей непрерывных, взаимно избыточных каналов и с количеством улик аномалии, которые удалил пропуск. На телеметрических наборах, где преобладают one-hot-командные каналы, эффекта нет, как нет его и на PSM. Адверсарные манипуляции с наблюдаемыми каналами, отравление данных и дрейф концепции в оценку не входили.

Для практики важен профиль нагрузки. TADR измеряли при размере батча один на одном ядре CPU, а не на серверных GPU. При десяти шагах сэмплирования модуль обрабатывает окно на одном ядре и обслуживает множество параллельных потоков с частотой 1 Гц, располагая компактной моделью. Это делает его пригодным для периферийных устройств. Код и результаты по каждому сиду опубликованы на GitHub. Вывод для инженеров такой: если на вашем краевом конвейере пропуски реальны, а детектор работает по реконструкции, импутер стоит оценивать по метрике детекции, а не по MSE.