Ruído adaptativo em sampler SDE no Flux 3 Klein melhorou a textura em apenas 1–2%

Geradores de imagens baseados em flow matching podem rodar com um sampler estocástico, que injeta ruído novo a cada passo. A intensidade desse ruído, o parâmetro eta, costuma ser ajustada à mão uma única vez e mantida constante. O autor de um estudo publicado no Habr quis verificar se o sampler consegue escolher o eta sozinho, passo a passo, usando dados que ele já tem. O resultado é, em grande parte, negativo: o esquema adaptativo quase não acrescentou nada, e o melhor efeito no Flux 3 Klein ficou em cerca de 1–2% do valor da métrica de textura.

A ideia: controlar o ruído com sinais gratuitos

Um solver multipasso já calcula dois números úteis a cada passo. O primeiro é a curvatura da trajetória, ou seja, o quão bruscamente ela se curva. O segundo é a divergência entre a predição e a correção, que serve como estimativa do erro local. Nenhuma das duas grandezas exige chamadas extras à rede, então o esquema não custa nada em termos computacionais: não há passagens adicionais pelo modelo nem aumento no tempo de geração.

A hipótese era lógica. Se o ruído prejudica onde o campo é "rígido" e ajuda onde ele é suave, um orçamento fixo de ruído distribuído conforme a curvatura deveria superar uma constante. Para testar, o autor escreveu um node para o ComfyUI e o executou em três modelos abertos: Anima, Flux 3 Klein e MOSS-Image. O número de passos variou de 6 a 15.

A principal decisão metodológica foi usar uma base de comparação justa. Cada execução adaptativa foi comparada com uma execução de eta constante e exatamente o mesmo orçamento total de ruído. Sem isso, como mostrou um trabalho anterior do autor, o resultado "adaptativo" costuma ser apenas "menos ruído", e não uma distribuição melhor.

O que funcionou e o que não funcionou

A curvatura não funcionou. Em nenhum dos modelos houve ganho estável, e o sinal do efeito muda conforme o número de passos. Na prática, isso significa que não vale a pena usar a curvatura para escolher o eta.

A estimativa de erro do solver produziu um sinal pequeno, mas reprodutível. Ao adicionar mais ruído onde o erro é baixo, o ganho no Flux 3 Klein é de cerca de 1–2% do valor da métrica de textura. O resultado foi confirmado em novos seeds, com critérios fixados antes da execução. No MOSS-Image, o efeito aparece em apenas um sentido; no Anima, o autor não o encontrou. No Krea 2, o resultado é inconclusivo por falta de poder estatístico.

A conclusão mais interessante diz respeito à própria adaptação. Um cronograma de ruído fixo, obtido pela média de execuções independentes e aplicado a todas as imagens, entrega o mesmo resultado que a escolha passo a passo. O ruído nas bordas da janela de ruído ajuda; no meio, importa menos. Em outras palavras, o que conta é a posição do ruído ao longo da trajetória, e não o que o sampler enxerga em cada momento. Nesse caso, a lógica adaptativa é dispensável: basta um cronograma calculado previamente, que não custa nada em tempo de execução e é mais simples de depurar.

As pessoas não notaram diferença

O autor fez uma enquete com 39 pessoas, que deviam escolher, entre duas imagens, a que parecia mais gerada por IA. Os participantes perceberam a grande diferença entre ruído fraco e ruído forte, mas não conseguiram distinguir a nova distribuição de ruído da convencional. Ou seja, mesmo um pequeno ganho mensurável no espaço latente não se traduz em melhoria visível.

Limitações e conclusão prática

O próprio autor lista os pontos fracos do trabalho. As métricas são calculadas no espaço latente, e não pela percepção visual. Por padrão, foram usados 16 pares de imagens para cada orçamento de ruído. No Anima, foi usada uma versão do ComfyUI diferente da dos demais modelos. A enquete é informal e foi feita sem seleção de participantes. Tudo isso impede estender as conclusões a outros modelos e modos sem uma nova verificação.

Para quem desenvolve pipelines, a conclusão prática é simples. Se você está ajustando um sampler SDE para um modelo de flow matching, não vale complicá-lo com regras adaptativas: primeiro encontre um cronograma de ruído fixo que leve em conta as bordas da janela e avalie o resultado com orçamento total igual. Caso contrário, há o risco de confundir uma simples redução de ruído com o sucesso do método.

O autor acredita que resultados negativos como este merecem ser divulgados e publicou o código, os números de cada imagem e a análise da enquete no repositório flow-sde-research, no GitHub. O preprint está disponível no Zenodo.