Катастрофическое забывание

Катастрофическое забывание — явление, при котором нейронная сеть, дообученная на новой задаче, резко теряет производительность на ранее освоенных задачах. Возникает потому, что обновление весов для новой задачи перезаписывает конфигурацию, критически важную для предыдущих.

Катастрофическое забывание (catastrophic forgetting, catastrophic interference) — явление, при котором нейронная сеть, последовательно обученная на нескольких задачах, резко утрачивает производительность на ранее освоенных задачах после обучения на новых. Термин введён МакКлоски и Коэном в 1989 году применительно к многослойным перцептронам и описывает фундаментальное ограничение нейронных сетей как хранилищ знаний.

Механизм явления связан с распределённым характером представлений в нейронных сетях: знания хранятся не в изолированных ячейках, а размазаны по всем весам одновременно. При обучении на новой задаче градиентный спуск обновляет те же самые веса, которые кодируют знания о предыдущих задачах, перезаписывая их. В отличие от памяти человека, предположительно использующего консолидацию во сне и распределение по разным областям мозга, стандартная нейросеть не имеет встроенного механизма защиты ранее выученного.

Катастрофическое забывание — ключевое препятствие для создания адаптивных AI-систем. На практике это означает, что тонкая настройка (fine-tuning) базовых моделей — GPT-4, Gemini, Claude — на узкоспециализированных данных способна деградировать их общие способности. Именно поэтому при RLHF-настройке используют тщательно подобранные смешанные датасеты и ограниченное число шагов обучения, чтобы сохранить широкие компетенции базовой модели.

К 2026 году предложен ряд методов смягчения катастрофического забывания: Elastic Weight Consolidation (EWC) замедляет изменение «важных» весов; прогрессивные нейронные сети добавляют новые колонки для каждой задачи, фиксируя старые; replay-методы воспроизводят сохранённые или синтетически сгенерированные примеры прошлых задач вместе с новыми; LoRA и другие параметрически-эффективные методы ограничивают обновление малым подпространством весов. Ни один из подходов не решает проблему полностью в общем случае.