Как дообучить ИИ на новых задачах без потери способностей

Учёные из Apple разработали метод DynaMiCS для дообучения ИИ-моделей на новых задачах без потери их базовых способностей, инструкций и знаний безопасности.

Почему существующие подходы не справляются?

Дообучение LLM на нескольких доменах одновременно — повседневная задача для любой лаборатории, выпускающей AI-продукты. Задача звучит просто: улучшить модель на целевых доменах (например, в медицине или юриспруденции), при этом сохранив так называемые «ограничивающие домены» — базовые способности, которые нельзя деградировать ни при каких условиях.

На практике это оказывается трудной задачей балансировки. Нынешние стратегии смешивания обучающих данных предлагают два неудовлетворительных решения. Первый вариант — фиксированные эвристики: заранее установленные пропорции данных по доменам, которые остаются постоянными на протяжении всего обучения и не реагируют на текущее состояние модели. Второй вариант — адаптивные правила: алгоритмы, которые корректируют веса по сигналам из метрик, но без явных формальных гарантий.

Ни один из подходов не может явно обеспечить сохранение ограничивающих доменов на заданном уровне. В итоге команды либо перебирают соотношения вручную, либо мирятся с непредсказуемыми потерями на ключевых бенчмарках безопасности и инструкций.

Как работает DynaMiCS

DynaMiCS переформулирует задачу дообучения как задачу оптимизации с ограничениями (constrained optimization). Вместо того чтобы задавать компромисс между доменами мягко — через совокупный лосс или ручные веса, — алгоритм явно разделяет цели и ограничения.

На каждом шаге обучения DynaMiCS работает в три этапа:

• Запускает короткие «зондирующие» прогоны (probing runs) по каждому домену, оценивая локальную динамику метрик.
• Строит матрицу наклонов (slope matrix) — оценку того, как изменение доли данных конкретного домена влияет на показатели всех остальных.
• Решает оптимизационную задачу: найти такое соотношение данных, которое максимально улучшает целевые домены при жёстком выполнении ограничений на ограничивающие домены.

Принципиальная новизна — в явных математических ограничениях, а не в мягкой регуляризации. Алгоритм не «старается» сохранить безопасность или инструкции — он гарантирует это формально в каждой итерации. Зондирующие прогоны выполняются быстро и не требуют полного цикла обучения, что делает метод практически применимым без существенного роста вычислительных затрат.

Где это применимо

Задача, которую решает DynaMiCS, возникает каждый раз, когда компания адаптирует базовую модель под конкретный продукт:

• Следование инструкциям — базовый навык, который нельзя деградировать даже при узкой специализации.
• Общие знания — ассистент должен корректно отвечать на вопросы вне своего специализированного домена.
• Безопасность — результаты safety evaluations необходимо сохранить при любом дообучении, особенно в регулируемых отраслях.

Для Apple, активно встраивающей языковые модели в Apple Intelligence — системный AI-слой iPhone, iPad и Mac, — подобный инструмент имеет прямое практическое значение. Модели должны специализироваться под задачи конкретных приложений и при этом сохранять универсальность и проходить внутренние проверки безопасности. DynaMiCS предлагает формальный способ обеспечить оба требования одновременно.

Подход актуален и за пределами Apple: любая компания, адаптирующая модели под enterprise-задачи с жёсткими требованиями к безопасности и инструкциям, сталкивается с той же проблемой балансировки.

Что это значит

DynaMiCS предлагает математически строгий подход к задаче, которую большинство ML-команд решало вручную или методом проб и ошибок. Публикация Apple ML Research показывает, что работа над базовой инфраструктурой дообучения продолжается и в крупных технологических компаниях с закрытыми моделями. Если метод воспроизводим и масштабируется на реальные размеры моделей, он может занять место в стандартных pipeline компаний, работающих с многодоменными LLM и строгими требованиями к качеству базовых способностей.

Что такое дообучение ИИ?

Это процесс обучения готовой языковой модели на новых данных для специализации под конкретные задачи и домены.

Как не потерять качество при дообучении?

Нужно правильно оптимизировать смесь данных, что позволяет сохранить базовые способности модели — именно это делает метод DynaMiCS.