Fine-tuning de Gemma 4 avec GPU sur Cloud Run : de 89 % à 94 % en classification d'animaux

Gemma 4 est la nouvelle génération de modèles ouverts de Google, dotée de capacités de raisonnement améliorées et d'une architecture plus efficace. Le modèle est publié sous licence Apache 2.0 avec une architecture repensée, qui impose de revoir la logique de chargement et de préparation des données par rapport aux précédentes versions de Gemma.

Les changements d'architecture de Gemma 4

Les principales améliorations :

• Traitement natif des images, de la vidéo et de l'audio • Support intégré de l'appel de fonctions et du JSON structuré • Nombre dynamique de tokens pour les entrées multimodales

Gemma 4 exige que l'image soit transmise avant le texte, avec un placeholder <image> qui indique au processeur l'endroit où insérer les tokens. Les instructions sont fusionnées avec le prompt utilisateur dans un chat template unique. Contrairement à Gemma 3, le nombre de tokens d'image est désormais dynamique : une tokenisation séparée du texte peut donc provoquer un décalage de longueur. La solution consiste à rechercher les tokens de réponse dans le tableau complet en partant de la fin, afin de déterminer précisément la limite de masquage.

Optimisation de la mémoire sur Cloud Run

L'infrastructure repose sur une NVIDIA RTX PRO 6000 dotée de 96 Go de mémoire vidéo. Gemma 4 31B en précision bfloat16 occupe environ 62 Go de VRAM. L'application d'une quantification 4 bits via QLoRA, par le biais de la bibliothèque bitsandbytes, réduit cette consommation à 18–20 Go, laissant suffisamment de marge pour traiter un contexte long et des données multimodales.

Point critique : avec QLoRA, un LoRA classique peut ignorer l'encapsulation du modèle et provoquer des erreurs. La solution consiste à spécifier target_modules="all-linear" dans les paramètres PEFT pour stabiliser le processus d'entraînement.

Résultats et paramètres d'entraînement

La précision de base de Gemma 4 sur l'ensemble de test était de 89 %. Après fine-tuning sur l'intégralité du jeu de données Oxford-IIIT Pet, la précision atteint 94 %. La configuration utilisée : Rank 64, Alpha 64, taux d'apprentissage de 5e-5.

Pour lancer le processus sur Google Cloud, il faut un projet avec facturation activée, les API Cloud Run et Cloud Build activées, ainsi qu'un token Hugging Face pour accéder aux poids du modèle. Il est recommandé de tester d'abord le script sur CPU avec le modèle 2B et un jeu de données minimal avant le lancement complet.

Les poids du modèle sont chargés dans Google Cloud Storage, dans la même région que celle où tourne Cloud Run, pour accélérer les opérations. L'image est construite via Cloud Build, en précisant la région, le projet et le nom du repository. La tâche Cloud Run finale est créée avec le support de la NVIDIA RTX PRO 6000, le montage du bucket GCS comme disque local, et les arguments nécessaires pour lancer le processus de fine-tuning avec les chemins vers le modèle et le répertoire de sortie.