Halcyon supera LlamaGen e JiT-T2I com 18 a 275 vezes menos compute no pré-treino

Uma equipe de pesquisadores mostrou que um modelo text-to-image forte não exige pré-treino de linguagem em escala de internet. A família Halcyon foi treinada inteiramente do zero no GPIC, um dataset com 100 milhões de pares imagem–texto. A versão menor, Halcyon-0.52B, marcou 48,0 de gFD contra 63,3 do LlamaGen-XL/8 e gastou 18,2 vezes menos computação no pré-treino. A maior, Halcyon-1.6B, superou o JiT-T2I-XXL/8++ por 35,3 a 41,0, com compute 275 vezes menor. Nas duas comparações, menor é melhor.

O que exatamente foi testado

Os sistemas T2I atuais costumam partir de um modelo de linguagem pré-treinado em enormes corpora de texto. A premissa é que esse modelo entende melhor o prompt e, por isso, desenha com mais precisão. Os autores questionam essa tese e perguntam se o pré-treino de linguagem é mesmo necessário para gerar boas imagens.

O Halcyon foi construído como um modelo autorregressivo multimodal de early-fusion. Tokens de texto e de imagem são processados juntos desde o início, sem uma torre de linguagem pré-treinada separada. Todo o sinal de treinamento vem de 100 milhões de pares imagem–texto, um volume modesto para os padrões dos corpora de internet.

Números e experimentos controlados

O resultado principal se resume à relação entre qualidade e custo:

• Halcyon-0.52B: 48,0 de gFD contra 63,3 do LlamaGen-XL/8, com compute de pré-treino 18,2 vezes menor.
• Halcyon-1.6B: 35,3 de gFD contra 41,0 do JiT-T2I-XXL/8++, com compute de pré-treino 275 vezes menor.
• Dados de treinamento: GPIC, 100 milhões de pares imagem–texto.
• Arquitetura: autorregressão multimodal de early-fusion, treinada do zero.

A comparação com os concorrentes, por si só, não prova nada sobre as causas. Por isso, o ponto mais importante é outro: os autores realizaram experimentos controlados, e o pré-treino apenas em texto não melhorou a geração T2I. É uma observação empírica, não só um benchmark favorável. Ela indica que o conhecimento textual acumulado em corpora de linguagem contribui menos do que se costuma supor para a tarefa de "desenhar a partir de uma descrição". Há uma ressalva: a conclusão vale para uma configuração específica, com determinados tamanhos de modelo e um dataset específico. Não se deve extrapolá-la para qualquer escala sem verificação.

Legendas de imagens de graça

Outro detalhe diz respeito ao captioning. No treinamento T2I, parte das legendas normalmente é descartada de forma aleatória (caption dropout), para que o modelo aprenda tanto a geração condicional quanto a incondicional. No Halcyon, essa técnica foi substituída por supervisão I2T: em vez de uma condição vazia, o modelo recebe a tarefa de descrever a imagem. Com isso, ele aprende a legendar imagens e mantém uma qualidade T2I competitiva com o mesmo orçamento de pré-treino.

Um único modelo, em uma única rodada de treinamento, ganha duas capacidades. Para equipes que precisam tanto de geração quanto de anotação de imagens, isso abre a possibilidade de não manter dois pipelines separados.

Conclusões práticas

Para pesquisadores e equipes pequenas, o principal sinal é que entrar no treinamento de um modelo T2I próprio custa menos do que parecia. Um dataset de 100 milhões de pares é bem menor que os corpora típicos da web, e a diferença de compute de pré-treino é medida em dezenas e centenas de vezes. Se os resultados se reproduzirem em outros dados, laboratórios sem acesso a clusters gigantescos passam a ter um caminho viável.

É possível verificar isso por conta própria: código e modelos estão publicados na página do projeto, cs.stanford.edu/~keshik/halcyon. Vale rodar o Halcyon com seus próprios prompts e domínios, porque o gFD descreve uma distribuição, não a adequação a um produto específico. Também é útil comparar, com dados próprios, a variante com supervisão I2T e o esquema clássico com caption dropout.

Resta ainda a questão da escala. O trabalho apresenta resultados para modelos de 0,52 e 1,6 bilhão de parâmetros. Ainda não está claro se a vantagem se mantém em modelos uma ordem de grandeza maiores. A resposta virá na próxima rodada de experimentos.