DISC учится объединять метрики сходства временных рядов и предсказывать успех переноса

Исследователи представили DISC (Domain-Integrated Similarity Cost) — обучаемый фреймворк, который калибрует и объединяет метрики сходства датасетов временных рядов. Его цель — заранее предсказывать, насколько хорошо прогнозная модель перенесётся с исходных данных на целевые. Главный результат: интегрированная оценка лучше согласуется с реальными ошибками прогноза, чем любая отдельно взятая метрика из тех, что использовались как эталон на отчётном сплите.

Зачем заранее оценивать перенос

Прогнозирование временных рядов — рабочая лошадка в энергетике, ритейле, финансах и мониторинге инфраструктуры. Когда у команды есть несколько кандидатов-источников для предобучения или дообучения, возникает вопрос: на каких данных учиться, чтобы получить лучший результат на целевых? Честный ответ даёт только прямой перебор: адаптировать модель под каждую пару «источник — цель» и сравнить ошибки. Это дорого, особенно когда кандидатов много.

Поэтому нужна быстрая прикидка. Для неё предложено множество метрик сходства датасетов, но они измеряют разные вещи и по-разному коррелируют с тем, что реально важно, — с качеством прогноза после переноса. Авторы DISC измерили этот разрыв напрямую: сопоставили оценки сходства между источником и целью с downstream-ошибками прогноза в разных постановках, включая transfer learning.

Одна метрика не работает на все задачи

Проверка показала, что ни одна метрика не является универсальным индикатором. Полезность сходства зависит от задачи. Метрика, хорошо отражающая перенос в одной постановке, может слабо коррелировать с ошибкой в другой. Если выбирать метрику вручную, велик риск ошибиться с самого начала.

DISC решает это через обучение на наблюдаемых данных о переносе. Фреймворк:

• выбирает, какие метрики сходства вообще нужны для данной задачи;
• присваивает им веса;
• объединяет значения метрик в единую оценку;
• калибрует итоговый скор относительно реального качества прогноза.

Ключевая идея в комплементарности. Разные метрики видят разные аспекты связи между датасетами, и их сочетание точнее отделяет те различия источника и цели, которые влияют на поведение модели после переноса, от тех, что не влияют.

Что получается на выходе

После калибровки DISC оценивает пары «источник — цель», используя только значения метрик сходства. Прогнозные модели для этого дообучать не нужно. По заявлению авторов, на отчётном сплите такая оценка даёт более высокое согласование с downstream-результатами, чем одиночные эталонные метрики.

Второй вывод касается самой области: сходство временных рядов — понятие, зависящее от задачи. Обученная интеграция метрик служит более сильным прокси для поведения при переносе, чем ручной выбор одной метрики.

Где это пригодится

Для команд, которые работают с прогнозированием и переиспользуют данные между доменами, DISC предлагает конкретный рабочий сценарий. Сначала посчитать набор метрик сходства для кандидатов, затем получить интегральный скор и отобрать несколько наиболее перспективных источников для реальной адаптации. Так полный перебор заменяется короткой проверкой.

Есть и ограничение: калибровка опирается на наблюдения о переносе, так что качество оценки зависит от того, насколько новые задачи похожи на те, где фреймворк настраивали. Результаты приведены для отчётного сплита, и стоит проверять, как они держатся на ваших доменах. Для практиков, которые собирают корпуса для предобучения моделей временных рядов, ценна сама методическая рамка: измерять сходство не «по привычной метрике», а по тому, насколько оно предсказывает итоговую ошибку.

Публикация доступна на arXiv под номером 2610.31288.