Por que os modelos de difusão deixam costuras em fotos de 40 megapixels e como dar memória aos blocos

A principal razão para os artefatos em fotos ultragigantes não é a falta de qualidade na junção e nem apenas a falta de memória de vídeo. O problema é mais profundo: modelos de difusão fotográfica não mantêm memória entre fragmentos de imagem vizinhos. Quando um quadro de 40–150 megapixels é dividido em dezenas ou centenas de tiles, o modelo toma decisões do zero a cada vez e não sabe qual tom de céu, tom de pele ou escala de textura já escolheu nas proximidades.

Daí surgem degraus em gradientes, cores flutuantes e costuras visíveis que são particularmente dolorosas em retoque profissional. O autor aborda o tema não teoricamente, mas a partir da prática: tem vinte anos de retoque e quatro anos tentando adaptar modelos de difusão à produção. Na fotografia de estúdio, publicidade e jornalismo, alta resolução não é luxo, mas um padrão de trabalho, e tais imagens raramente cabem em uma única passagem de geração ou edição.

Por isso a indústria repetidas vezes recorre à mesma técnica: divide a imagem em 100 ou mais fragmentos, processa cada um separadamente e depois os remonta. Em pequenos detalhes isso pode funcionar toleravelmente, mas em pele, tecido, fundo e transições de luz, artefatos são quase inevitáveis.

A raiz do problema é que o tiling padrão preserva o detalhe local mas quebra a coerência global. Cada tile vê apenas seu pedaço da cena e não entende o que está acontecendo à esquerda, direita, em cima e embaixo. Mesmo que áreas vizinhas se sobreponham, o modelo ainda é capaz de deslocar ligeiramente o balanço de cores, interpretar o grão de forma diferente, adicionar poros não coincidentes ou construir um ritmo diferente de textura. Blending e máscaras ocultam alguns defeitos, mas não eliminam a causa: o modelo fotográfico não tem mecanismo algum que vincule decisões entre vizinhos. É exatamente por isso que a junção perfeita em quadros muito grandes permanece mais exceção do que regra.

O artigo sugere olhar na direção da difusão de vídeo, onde o problema da coerência há muito tempo está no centro da arquitetura. Um modelo de vídeo deve se lembrar como o objeto parecia no quadro anterior para não perder a face, a luz, a textura e a posição dos detalhes durante o movimento. O autor decompõe oito classes de tal memória—de BCLA em SANA-Video e FramePack até SVD reshape, AnimateDiff e outras abordagens—e avalia o que pode ser transferido para tiles e o que não.

A questão-chave aqui não é o nome do método, mas o princípio: é possível forçar um modelo fotográfico a passar para o fragmento vizinho um contexto compacto, estado oculto ou estrutura cênica geral para que as decisões não sejam tomadas no vácuo?

Três grandes ideias para a prática decorrem disso. Primeira—troca de contexto entre tiles vizinhos, quando o modelo recebe não apenas o fragmento atual mas também informação comprimida sobre áreas já processadas. Segunda—memória compartilhada ao nível de latentes ou mecanismos de attention, que mantém uma única cor, iluminação e caráter de superfície em toda a imagem. Terceira—um esquema multi-passo onde primeiro se constrói uma representação global áspera de toda a cena, e então tiles locais apenas refinam detalhes sem quebrar a imagem geral.

Para impressão, publicidade exterior, retoque de beleza e fotografia comercial, isso é crítico: qualquer quebra de textura ou salto de tom fica imediatamente visível. A conclusão principal é simples: a limitação não está apenas no hardware e não apenas no tamanho da imagem, mas na própria arquitetura da difusão fotográfica. Enquanto o modelo não aprender a se lembrar do que já aconteceu nas proximidades, o processamento de imagens de 40-megapixels e maiores permanecerá um compromisso entre detalhe e integridade. Se a mecânica de memória do vídeo conseguir ser adaptada para tiles, modelos de difusão darão um passo notável do mundo das demos impressionantes em direção a uma ferramenta profissional completa para retoque e pós-produção.