C3L разрывает петлю дрейфа объяснений в continual learning: 5 бенчмарков, 20+ базлайнов

Катастрофическое забывание в continual learning обычно измеряют просадкой точности на старых задачах. Исследователи из Тель-Авивского университета Yehonatan Elisha, Oren Barkan и Noam Koenigstein утверждают, что так видна только часть проблемы. Модель может сохранять прежние метрики и при этом смотреть уже не на клюв птицы, а на ветку или фон. Они назвали это дрейфом объяснений (explanation drift) и предложили метод C3L, проверенный на пяти бенчмарках против более чем 20 базовых подходов.

Петля, которая сама себя подкармливает

Существующие методы continual learning с учётом объяснений работают так. Берётся карта значимости пикселей (saliency map) модели, обученной на предыдущей задаче. Затем при обучении на новой задаче от сети требуют не уходить далеко от этой карты. Звучит разумно, но авторы указывают на структурный изъян: цель регуляризации вычисляется из самой модели. Если на первой задаче в карту просочилось внимание к фону, оно замораживается и становится эталоном для следующей. На каждом шаге ошибка копируется и усиливается. Исследователи называют это самореферентной петлёй дрейфа (self-referential drift loop).

Проблема тонкая. Точность не падает, а сломанное объяснение никак не проявляется. Для медицинской диагностики, промышленного контроля или любой системы, где важно, почему модель выдала ответ, это опасный сценарий.

Концепты вместо пикселей

C3L (Concept-Consistent Continual Learning) разрывает петлю тем, что берёт цели для регуляризации вне модели. Вместо собственных saliency-карт сети метод использует семантические концепты, согласованные для всего класса. Примеры из статьи: «изогнутый клюв» и «полосатый узор». Концепты находятся офлайн и не зависят от того, как менялась модель по ходу обучения. Это даёт два свойства:

• независимость цели от дрейфа модели: эталон не портится, сколько бы задач сеть ни прошла;
• семантическая согласованность между экземплярами: один и тот же концепт применяется ко всем объектам класса, а не к каждому по-своему.

Важная деталь: C3L не требует концептов, размеченных людьми. Поиск концептов и их пространственная привязка к областям изображения полностью автоматизированы. Это снимает главное практическое возражение против концептных методов, где словарь признаков обычно составляют вручную.

Эффект вытеснения

Авторы описывают побочный механизм, который сами считают одним из главных результатов. Метод сочетается с приближённым сохранением релевантности в LRP (layer-wise relevance propagation). Релевантность, приписанная конкретному предсказанию, в сумме ограничена. Области концептов и фон делят один и тот же «бюджет». Если заставить сеть сосредоточить высокую релевантность на областях концептов, на фон остаётся меньше. Ложные корреляции подавляются без отдельного штрафа за них, это и есть crowding-out effect.

Практический вывод: не нужно заранее знать, какие именно спуриозные признаки появятся. Достаточно задать правильную положительную цель.

Что измеряли

Авторы заявляют лучшие результаты (state-of-the-art) сразу по пяти осям:

• точность на задачах последовательного обучения;
• степень забывания;
• качество объяснений;
• ослабление спуриозных корреляций;
• устойчивость к данным вне распределения (out-of-distribution).

Сравнение шло на пяти бенчмарках с более чем 20 базовыми методами. Конкретные числовые приросты стоит смотреть в самой статье (arXiv 2610.33877), но набор метрик показывает намерение: сравнивать не только «сколько помнит», но и «по каким причинам решает».

Где это пригодится

Команды, которые дообучают визуальные модели на потоке новых данных, получают проверяемый приём. Например, это инспекция на производстве, медицинская визуализация и мониторинг. Простой тест: после очередного раунда дообучения сравнивать не только точность, но и распределение релевантности между областями объекта и фоном. Если фон набирает вес, это сигнал дрейфа объяснений, даже когда метрики стабильны.

Ограничения тоже очевидны. Подход опирается на качество автоматического поиска концептов и их привязки к изображению. Работа описана на задачах классификации изображений, и перенос на другие модальности придётся проверять отдельно. Но сама идея выносить опору регуляризации за пределы модели применима шире continual learning.