UCSD treina modelo de imagens de 3 bilhões de parâmetros em 6600 GPU-horas de H100

Uma equipe da Universidade da Califórnia em San Diego propõe uma nova forma de treinar modelos que geram imagens a partir de texto. A geração é dividida em duas tarefas: entender o que deve aparecer na imagem e desenhar isso com detalhes. A primeira fica com um modelo autorregressivo, que prevê tokens um a um, como um modelo de linguagem.

A segunda fica com a difusão, ou seja, o processo de «revelar» gradualmente a imagem a partir de ruído. Com esse esquema, os pesquisadores treinaram um modelo de 3 bilhões de parâmetros em apenas 6600 GPU-horas de H100. Ele atingiu 86 no GenEval e 87 no DPG-Bench.

O GenEval avalia se o modelo reproduziu corretamente os objetos, a quantidade, as cores e a posição pedidos no prompt. O DPG-Bench faz o mesmo com descrições longas e detalhadas.

Um backbone aprende o significado, o outro desenha os pixels

Normalmente, modelos autorregressivos e difusão são tratados como concorrentes: qual gera a imagem melhor. Os autores consideram a comparação incorreta, porque os dois sistemas resolvem, ao mesmo tempo, duas tarefas diferentes. É preciso absorver o conhecimento visual: a aparência dos objetos e como eles se organizam no espaço. E é preciso transformar esse conhecimento em uma imagem detalhada.

O esquema segue a lógica dos modelos de linguagem, em que primeiro vem o pré-treinamento e depois o ajuste fino.

• Na primeira etapa, um tokenizador congelado converte a imagem em tokens discretos. Um modelo autorregressivo de texto aprende a prevê-los. As posições a prever são escolhidas em ordem aleatória, e o modelo recebe tokens especiais que indicam essas posições.

• Na segunda etapa, o backbone autorregressivo é congelado. A ele são acrescentados módulos de difusão treináveis, que usam suas camadas de atenção e suas representações internas. • A difusão opera diretamente nos pixels, sem espaço latente.

Ela é treinada com flow matching, isto é, aprende a prever como ir do ruído até a imagem limpa. • No treinamento, o renderizador recebe os tokens da imagem real. Na geração, eles são substituídos pelos tokens que o modelo autorregressivo produziu a partir do texto do prompt.

A melhor reconstrução não melhora a imagem

O primeiro experimento usou modelos que chegavam a 400M de parâmetros no total. As variantes de duas etapas combinavam um backbone de 250M e um renderizador de 150M. A autorregressão foi comparada à difusão latente (LDM) no papel de pré-treinamento.

• Autorregressão mais difusão chegou a 64,8 no GenEval já após 100 mil atualizações. A difusão pura em pixels, após 400 mil iterações, ficou em 61,2. • Com mais treinamento, o resultado subiu para 65,5 no GenEval e 71,1 no DPG-Bench. • A difusão latente direta marcou 57,3, e a combinação «difusão latente, depois em pixels» fez apenas 56,6. Dividir em duas etapas, por si só, não garante nada. O que faz diferença é a autorregressão.

Em seguida, os pesquisadores investigaram o que a etapa autorregressiva deve aprender. Compararam três tokenizadores. O primeiro, Recon, baseado no Emu3.5, preserva os detalhes necessários para reconstruir a imagem. O segundo, Semantic-Recon, quantiza as features do encoder congelado do Qwen2.5-VL e é treinado com reconstrução. O terceiro, Semantic-LM, é treinado apenas pela previsão do próximo token dentro do Qwen2.5-VL congelado, sem decodificador de imagem e sem função de perda de reconstrução.

O resultado foi inesperado. O Recon é o que melhor reconstrói imagens e o que melhor gera sozinho, mas tem o pior resultado final. O Semantic-Recon alcança 65,5 no GenEval contra 54,7 do Recon e, no DPG-Bench, 71,1 contra 63,0. No GenEval só com autorregressão (AR-only), o Recon fica na frente (57,49 contra 50,44), mas, depois da difusão, a ordem se inverte: 54,67 contra 65,51. O Semantic-LM, sem nenhuma reconstrução, marcou 64,8 no GenEval e 67,7 no DPG-Bench. A conclusão dos autores: a qualidade final é determinada pela semântica dos tokens, e não pela capacidade de restaurar os pixels com precisão.

Leis de escala e o orçamento de 6600 GPU-horas

Quando há duas tarefas, surge a pergunta de como dividir o poder computacional entre as etapas. Os autores derivaram leis de escala separadas para o pré-treinamento autorregressivo e para o ajuste fino por difusão. A lei autorregressiva foi ajustada com 18 modelos, de 55,71M a 2,43B de parâmetros. Para comparação, eles também treinaram uma difusão em pixels do zero, com hiperparâmetros calibrados separadamente.

Com o mesmo tamanho de modelo e o mesmo volume de dados, a difusão após o pré-treinamento autorregressivo apresenta perda menor e uma assíntota ajustada menor do que o modelo treinado do zero. O pré-treinamento não apenas acelera a convergência: ele eleva o teto de qualidade da renderização.

Com base nessas leis, os pesquisadores escolheram um modelo de cerca de 3B de parâmetros e distribuíram o orçamento entre as etapas. O resultado foi um modelo text-to-image com 86 no GenEval e 87 no DPG-Bench.

Para engenheiros, isso significa que o tokenizador de geração de imagens não precisa de decodificador. Basta uma semântica aprendida a partir do sinal de linguagem. Assim, a separação entre «conhecimento de um lado, renderização do outro» permite obter um modelo competitivo com um orçamento modesto. Para laboratórios sem grandes clusters, é uma redução significativa da barreira de entrada. A ressalva é que os resultados vêm de benchmarks específicos e de alguns tokenizadores, e a generalidade da abordagem ainda precisa ser verificada.