Amazon SageMaker запустила полное дообучение LLM: 90% верных решений по коду
Amazon добавила в SageMaker AI полное дообучение (FFT): модель переобучается целиком, а не через маленькие LoRA-адаптеры, и GPU с кластерами настраивать не нужно. На Qwen3-4B и 110 тысячах пар «задача — решение» по коду FFT дал 90% верных решений по оценке модели-судьи Amazon Nova Pro. Если LoRA упёрлась в потолок на большом датасете, FFT можно проверить, поменяв в SDK одну строку. Но данные получены на одной задаче, а блог написан самой AWS.
AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Допустим, вы дообучаете небольшую модель писать код под свои проекты. Обычно для этого берут LoRA: она не трогает основные веса, а добавляет к ним маленькие обучаемые матрицы-адаптеры, поэтому требует мало видеопамяти. Но на сложных задачах и больших датасетах такой подход упирается в потолок качества. Amazon теперь предлагает выход: в сервисе SageMaker AI Serverless Model Customization появилось полное дообучение (Full Fine-Tuning, FFT), при котором обновляются все параметры модели. На датасете из 110 тысяч задач по программированию и при 100 тысячах и более обучающих примеров FFT получил 90% по метрике LLM-as-Judge, то есть 90% решений другая модель-судья сочла логически верными. Ни GPU, ни кластер, ни настройку распределённого обучения готовить не нужно.
Чем FFT отличается от LoRA
Дообучение нужно бизнесу по двум причинам. Во-первых, модель точнее решает узкую задачу. Во-вторых, маленькая специализированная модель может сравняться с крупной универсальной или превзойти её на вашей задаче, а стоить за токен намного меньше. При миллионах запросов эта разница накапливается.
LoRA замораживает веса предобученной модели и добавляет пары небольших матриц низкого ранга. Для простых адаптаций этого достаточно. Но, по данным AWS, когда задача усложняется, а примеров становится больше десятков тысяч, LoRA выходит на плато: увеличение ранга, то есть числа обучаемых параметров, не сокращает отставание от обычного дообучения. Авторы делают вывод, что дело не в количестве параметров, а в самой «ранговой недостаточности»: низкоранговое обновление не передаёт всей сложности изменений весов. FFT меняет матрицы весов целиком и без локальных искажений, характерных для низкоранговых методов.
Как проводили тест
AWS взяла базовую модель Qwen3-4B и датасет Magicoder-Evol-Instruct-110K: 110 тысяч пар «инструкция — ответ» по алгоритмам, отладке, структурам данных и системному программированию. Их разделили в пропорции 90/5/5: 99 тысяч записей на обучение, 5,5 тысячи на валидацию и ещё 5,5 тысячи как отложенную тестовую выборку. Обе методики получали одинаковые промпты, эталоны и код оценки.
Качество измеряли тремя встроенными способами:
- LLM-as-Judge: модель Amazon Nova Pro читает промпт и сгенерированный код и решает, верно ли решение;
- PRIMECODE: сравнение с эталонным кодом по метрикам BLEU, ROUGE-1/2/L и F1;
- MMLU: тест общих знаний по 57 предметам, который служит защитой от забывания. Дообучение на коде может перезаписать общие способности модели, и MMLU до и после показывает, чем пришлось пожертвовать.
На радарной диаграмме базовая модель стабильно слабая, LoRA заметно лучше, а FFT выходит дальше по всем осям, особенно по BLEU и ROUGE-2. По мнению авторов, это говорит не о преимуществе по одной метрике, а об общем эффекте полноранговой оптимизации.
Что с этим делать на практике
Сервис позволяет быстро перебирать варианты. За короткое время команда провела десятки экспериментов на моделях Qwen3-4B, DeepSeek-R1-1.5B, Nemotron-30B и Gemma-4-26B, меняя скорость обучения, размер батча, долю разогрева, число эпох и размер датасета. Каждый прогон от запуска до результатов занимал несколько часов, а готовые модели автоматически попадали в SageMaker Model Registry как версионные пакеты.
Переключение между методами в Python SDK требует одной правки: в SFTTrainer параметр TrainingType.FULL заменяется на TrainingType.LORA, остальной код остаётся прежним. В примере для FFT указаны скорость обучения 2e-5, глобальный батч 8, две эпохи и доля разогрева 0,1. Это стартовые значения, а не универсальный рецепт.
Скорость обучения в FFT особенно важна: она определяет, насколько сильно обновляется каждый вес. В отличие от LoRA, где меняются только небольшие адаптеры, слишком высокое значение при полном дообучении необратимо стирает предобученные знания. Поэтому, помимо целевой метрики, стоит смотреть на MMLU.
Для читателя вывод такой. Если данных немного или задача узкая, LoRA остаётся более дешёвым и безопасным стартом. Если у вас большой качественный датасет, сложная задача и LoRA упёрлась в потолок, FFT стоит проверить. Оговорка: блог написан самой AWS, а результаты получены на одной задаче, генерации кода. Для других доменов цифры придётся перепроверять.
- 20 нояб. 2026 г.Anthropic выручила на IPO $81,3 млрд и обошла рекорд SpaceX в $75 млрд
- 20 нояб. 2026 г.AWS разбила внедрение ответственного ИИ для агентов на 3 фазы за 12 недель
- 20 нояб. 2026 г.Anthropic собрала на IPO $104,8 млрд, но обязательства на инфраструктуру — $1 трлн
- 20 нояб. 2026 г.AWS запустила управляемый NVIDIA Dynamo для моделей, которые не влезают в один сервер
Вопросы и ответы по материалу
Что известно по теме: чем FFT отличается от LoRA?
Дообучение нужно бизнесу по двум причинам. Во-первых, модель точнее решает узкую задачу. Во-вторых, маленькая специализированная модель может сравняться с крупной универсальной или превзойти её на вашей задаче, а стоить за токен намного меньше. При миллионах запросов эта разница накапливается. LoRA замораживает веса предобученной модели и добавляет пары небольших матриц низкого ранга. Для простых адаптаций этого достаточно.
Что известно по теме: как проводили тест?
AWS взяла базовую модель Qwen3-4B и датасет Magicoder-Evol-Instruct-110K: 110 тысяч пар «инструкция — ответ» по алгоритмам, отладке, структурам данных и системному программированию. Их разделили в пропорции 90/5/5: 99 тысяч записей на обучение, 5,5 тысячи на валидацию и ещё 5,5 тысячи как отложенную тестовую выборку. Обе методики получали одинаковые промпты, эталоны и код оценки.
Что известно по теме: что с этим делать на практике?
Сервис позволяет быстро перебирать варианты. За короткое время команда провела десятки экспериментов на моделях Qwen3-4B, DeepSeek-R1-1.5B, Nemotron-30B и Gemma-4-26B, меняя скорость обучения, размер батча, долю разогрева, число эпох и размер датасета. Каждый прогон от запуска до результатов занимал несколько часов, а готовые модели автоматически попадали в SageMaker Model Registry как версионные пакеты.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.