Fine-tuning de Gemma 4 con GPU en Cloud Run: del 89% al 94% en clasificación de animales

Gemma 4 es la nueva generación de modelos abiertos de Google, con mejores capacidades de razonamiento y una arquitectura más eficiente. El modelo cuenta con licencia Apache 2.0 y una arquitectura actualizada que exige modificar la lógica de carga y preparación de datos respecto a versiones anteriores de Gemma.

Cambios arquitectónicos en Gemma 4

Principales mejoras:

• Procesamiento nativo de imágenes, video y audio • Soporte integrado para llamadas a funciones y JSON estructurado • Cantidad dinámica de tokens para entradas multimodales

Gemma 4 exige que la imagen se pase antes del texto, usando un marcador de posición <image> que indica al procesador dónde insertar los tokens de imagen. Las instrucciones se combinan con el prompt del usuario en una sola plantilla de chat. A diferencia de Gemma 3, la cantidad de tokens de imagen ahora es dinámica, por lo que tokenizar el texto por separado puede provocar un desajuste en la longitud. La solución consiste en buscar los tokens de respuesta en el array completo desde el final, lo que permite determinar con precisión el límite del enmascaramiento.

Optimización de memoria en Cloud Run

La infraestructura utiliza una NVIDIA RTX PRO 6000 con 96 GB de memoria de video. Gemma 4 31B en precisión bfloat16 ocupa alrededor de 62 GB de VRAM. Aplicar la cuantización QLoRA de 4 bits mediante la librería bitsandbytes reduce el consumo a 18–20 GB, dejando suficiente margen para procesar contexto largo y datos multimodales.

Un detalle clave: al usar QLoRA, el LoRA convencional puede ignorar el wrapper del modelo y provocar errores. La solución es indicar en los parámetros de PEFT target_modules="all-linear" para estabilizar el proceso de entrenamiento.

Resultados y parámetros de entrenamiento

La precisión base de Gemma 4 en el conjunto de prueba fue del 89%. Tras el fine-tuning completo en el dataset Oxford-IIIT Pet, la precisión subió al 94%. La configuración utilizada fue: Rank 64, Alpha 64, tasa de aprendizaje 5e-5.

Para ejecutarlo en Google Cloud se necesita un proyecto con facturación habilitada, las APIs de Cloud Run y Cloud Build activadas, y un token de Hugging Face para acceder a los pesos del modelo. Se recomienda probar primero el script en CPU con el modelo de 2B y un dataset mínimo antes de lanzar la ejecución completa.

Los pesos del modelo se cargan en Google Cloud Storage en la misma región donde se ejecuta Cloud Run, para acelerar el proceso. La imagen se construye mediante Cloud Build indicando la región, el proyecto y el nombre del repositorio. El job final de Cloud Run se crea con soporte para NVIDIA RTX PRO 6000, montando el bucket de GCS como disco local, y con los argumentos necesarios para lanzar el proceso de fine-tuning con las rutas al modelo y al directorio de salida.