Дообучение Gemma 4 с GPU на Cloud Run: от 89% до 94% в классификации животных

Gemma 4 — новое поколение открытых моделей от Google с улучшенными возможностями рассуждения и эффективностью архитектуры. Модель получила лицензию Apache 2.0 и обновленную архитектуру, требующую изменения логики загрузки и подготовки данных по сравнению с предыдущими версиями Gemma.

Архитектурные изменения Gemma 4

Основные улучшения:

• Нативная обработка изображений, видео и аудио • Встроенная поддержка вызова функций и структурированного JSON • Динамическое количество токенов для мультимодальных входов

Gemma 4 требует передачи изображения перед текстом с использованием плейсхолдера <image>, который указывает процессору место вставки токенов. Инструкции объединяются с пользовательским промптом в единую chat template. В отличие от Gemma 3, количество токенов изображения теперь динамическое, поэтому отдельная токенизация текста может привести к несовпадению длины. Решение — поиск токенов ответа в полном массиве с конца для точного определения границы маскирования.

Оптимизация памяти на Cloud Run

Инфраструктура использует NVIDIA RTX PRO 6000 с 96 ГБ видеопамяти. Gemma 4 31B в точности bfloat16 занимает около 62 ГБ VRAM. Применение 4-битного квантования QLoRA через библиотеку bitsandbytes снижает потребление до 18–20 ГБ, оставляя достаточный объем для обработки длинного контекста и мультимодальных данных.

Критически важно: при использовании QLoRA обычный LoRA может игнорировать обертку модели и привести к ошибкам. Решение — в параметрах PEFT указать target_modules="all-linear" для стабилизации процесса обучения.

Результаты и параметры обучения

Базовая точность Gemma 4 на тестовом наборе составила 89%. После дообучения на полном датасете Oxford-IIIT Pet точность поднялась до 94%. Использованная конфигурация: Rank 64, Alpha 64, скорость обучения 5e-5.

Для запуска в Google Cloud требуется проект с включенным биллингом, активированными API Cloud Run и Cloud Build, а также токен Hugging Face для доступа к весам модели. Рекомендуется сначала проверить скрипт на CPU с моделью 2B и минимальным датасетом перед полным запуском.

Веса модели загружаются в Google Cloud Storage в том же регионе, где работает Cloud Run, для ускорения. Образ собирается через Cloud Build с указанием региона, проекта и имени репозитория. Финальная задача Cloud Run создается с поддержкой NVIDIA RTX PRO 6000, монтированием GCS корзины как локального диска и аргументами для запуска процесса дообучения с путями к модели и выходной директории.