Fine-tuning do Gemma 4 com GPU no Cloud Run: de 89% a 94% na classificação de animais

O Gemma 4 é a nova geração de modelos abertos do Google, com capacidades de raciocínio aprimoradas e uma arquitetura mais eficiente. O modelo é distribuído sob a licença Apache 2.0 e traz uma arquitetura atualizada que exige mudanças na lógica de carregamento e preparação de dados em relação às versões anteriores do Gemma.

Mudanças arquitetônicas no Gemma 4

Principais melhorias:

• Processamento nativo de imagens, vídeo e áudio • Suporte integrado a chamadas de função e JSON estruturado • Quantidade dinâmica de tokens para entradas multimodais

O Gemma 4 exige que a imagem seja passada antes do texto, usando um placeholder <image> que indica ao processador onde inserir os tokens da imagem. As instruções são combinadas com o prompt do usuário em um único chat template. Diferente do Gemma 3, a quantidade de tokens de imagem agora é dinâmica, então tokenizar o texto separadamente pode causar incompatibilidade de tamanho. A solução é buscar os tokens de resposta no array completo a partir do final, o que permite determinar com precisão o limite do mascaramento.

Otimização de memória no Cloud Run

A infraestrutura utiliza uma NVIDIA RTX PRO 6000 com 96 GB de memória de vídeo. O Gemma 4 31B em precisão bfloat16 ocupa cerca de 62 GB de VRAM. Aplicar a quantização QLoRA de 4 bits via biblioteca bitsandbytes reduz esse consumo para 18–20 GB, deixando espaço suficiente para processar contexto longo e dados multimodais.

Um detalhe crítico: ao usar QLoRA, o LoRA convencional pode ignorar o wrapper do modelo e causar erros. A solução é definir nos parâmetros do PEFT target_modules="all-linear" para estabilizar o processo de treinamento.

Resultados e parâmetros de treinamento

A precisão base do Gemma 4 no conjunto de teste foi de 89%. Após o fine-tuning completo no dataset Oxford-IIIT Pet, a precisão subiu para 94%. A configuração utilizada foi: Rank 64, Alpha 64, taxa de aprendizado 5e-5.

Para executar no Google Cloud, é necessário um projeto com faturamento habilitado, as APIs do Cloud Run e Cloud Build ativadas, e um token do Hugging Face para acessar os pesos do modelo. Recomenda-se primeiro testar o script na CPU com o modelo de 2B e um dataset mínimo antes de rodar o processo completo.

Os pesos do modelo são carregados no Google Cloud Storage na mesma região onde o Cloud Run é executado, para acelerar o processo. A imagem é construída via Cloud Build, especificando a região, o projeto e o nome do repositório. O job final do Cloud Run é criado com suporte à NVIDIA RTX PRO 6000, montando o bucket do GCS como disco local, e com os argumentos necessários para iniciar o processo de fine-tuning com os caminhos do modelo e do diretório de saída.