Dois irmaos treinaram um modelo de texto para imagem por US$ 20 mil e publicaram os pesos sob a Apache 2.0

As conversas sobre criar um modelo generativo proprio geralmente terminam quando surge a palavra “orcamento”. Dois irmaos do laboratorio Linum decidiram descobrir quanto custa, de fato, um modelo decente de texto para imagem. A resposta: cerca de US$ 20 mil. Eles publicaram os pesos sob a Apache 2.0 e divulgaram a pesquisa em seu site.

O que eles fizeram

O padrao do setor e a difusao latente. Primeiro, um VAE comprime a imagem em um espaco latente compacto; depois, o modelo de difusao aprende a gerar nesse espaco. Isso resulta em duas etapas de treinamento, dois modelos e dois pontos nos quais algo pode dar errado.

O Linum eliminou o VAE. O modelo de difusao opera diretamente no espaco de pixels e aprende sozinho a representacao ideal para sua tarefa. A arquitetura se chama Pyramid-JiT. O modelo foi treinado por aproximadamente um mes como um experimento prolongado: ~$20K e 660 milhoes de amostras.

Por que isso e importante

Os autores apontam tres vantagens. Primeiro, a arquitetura e mais simples: nao e preciso treinar dois componentes em sequencia. Segundo, segundo os dados deles, a convergencia e 11 vezes mais rapida que a da alternativa latente. Terceiro, a inferencia e mais barata: o contexto de atencao pode ser reduzido 4 vezes de maneira mais agressiva sem queda perceptivel de qualidade.

Imagine uma startup que gera ilustracoes para marketing. Antes, ter um modelo proprio era um luxo: aluguel de um cluster, uma equipe de pesquisadores e meses de trabalho. Agora existe uma receita publica cujo custo cabe em uma pequena rodada de experimentos. Nao substitui o Midjourney, mas ja oferece uma base suficiente para um modelo especializado em um nicho especifico.

Ha tambem um objetivo mais ambicioso por tras desse trabalho. O Linum esta desenvolvendo modelos de video, e quase todos os modelos de video comecam como modelos de imagem. Os proprios autores brincam que os modelos aprendem primeiro os substantivos e depois os verbos. Se a geracao de imagens ficar barata, o video tambem ficara mais barato — e sao justamente a velocidade e o custo que hoje impedem o uso de video em fluxos criativos iterativos.

Limitacoes

Primeiro, algumas ressalvas. Este e um projeto do Show HN feito por uma equipe minuscula, e nao um benchmark independente. Os proprios autores falam em qualidade “decente” e dizem ter ficado surpresos com o resultado; a publicacao nao apresenta tabelas comparativas com os lideres do mercado. Os numeros de aceleracao de 11 vezes e reducao de tokens de 4 vezes se referem as comparacoes feitas por eles com sua propria variante latente, portanto nao devem ser generalizados para outras tarefas. O valor de $20K tambem inclui apenas a execucao final: a julgar pela descricao, os custos de experimentos anteriores e da selecao da arquitetura ficaram de fora.

A discussao no Hacker News ainda e modesta: cerca de 110 pontos e 11 comentarios. Nao ha um consenso forte, por isso e mais adequado tratar o projeto como um sinal interessante do que como um avanco comprovado.

O que fazer com isso

Se voce esta desenvolvendo um produto de geracao de imagens, baixe os pesos e teste-os com seus proprios prompts: a licenca Apache 2.0 permite o uso comercial sem restricoes. Se voce e pesquisador ou engenheiro de ML, leia o trabalho sobre o Pyramid-JiT e avalie se realmente precisa de um VAE em seu proximo projeto. E, se voce trabalha com produto, guarde a principal conclusao: a barreira de entrada para modelos generativos proprios caiu mais uma vez, e o argumento de que “e caro demais” esta cada vez mais fraco.