SWIM economiza computação: geração de áudio e vídeo ganha até 30,7% contra Best-of-N

Uma equipe de pesquisadores publicou no arXiv o SWIM (Spend Where It Matters), método que melhora a geração conjunta de áudio e vídeo sem retreinar o modelo e sem aumentar o orçamento computacional. No benchmark JavisBench-Mini, com custos próximos, o ganho relativo médio em sete métricas foi de 30,7% sobre o Best-of-N e de 14,1% sobre o EvoSearch no JavisDiT++. No LTX-2, os números são outros: 9,2% sobre o Best-of-N e 17,0% sobre o EvoSearch.

Por que o alinhamento na inferência sai caro

O reward-guided inference-time alignment é uma abordagem em que o modelo não é retreinado: durante a geração, escolhe-se o resultado que maximiza uma recompensa definida. Na geração conjunta de áudio e vídeo, normalmente há várias recompensas: qualidade da imagem, qualidade do som, sincronia entre os dois e assim por diante. Cada avaliação de candidato exige uma execução do modelo pesado, e por isso, com recursos limitados, os esquemas clássicos rapidamente esbarram no orçamento.

As abordagens existentes têm fraquezas opostas. A busca baseada em partículas explora bem o espaço de forma global, mas, com uma população finita, introduz erro de estimativa. O algoritmo Metropolis-Hastings (MH) consegue melhorar um candidato localmente, mas precisa de um bom ponto de partida. Os autores do SWIM combinaram as duas abordagens em um único esquema de duas etapas.

Como funciona o SWIM

O framework não exige treinamento e não depende de uma função de recompensa específica. Na primeira etapa, as partículas são distribuídas de forma adaptativa pelos pontos de controle do processo de denoising, com base em estimativas online de variância. A computação se concentra onde traz mais benefício, e a variância da estimativa é minimizada.

O resultado da primeira etapa é um candidato promissor. Na segunda etapa, o MH trabalha com as saídas já prontas: as propostas são geradas por meio de ruído local e novo denoising, e a aceitação dos passos é decidida pela recompensa. Como o ponto de partida é forte, o MH captura recompensa adicional sem aumentar o número de partículas e sem uma busca global cara. Segundo os autores, com computação equivalente, a combinação de busca e refinamento por MH supera cada uma das abordagens isoladamente.

O que mostraram os experimentos

• JavisDiT++ no JavisBench-Mini: +30,7% sobre o Best-of-N e +14,1% sobre o EvoSearch (melhoria relativa média em sete métricas).
• LTX-2 no JavisBench-Mini: +9,2% sobre o Best-of-N e +17,0% sobre o EvoSearch.
• SD1.5, geração de imagens: a distribuição adaptativa de partículas rendeu +2,2% em AestheticScore e +6,0% em ImageReward em relação à distribuição uniforme.
• A comparação foi feita com custos computacionais ajustados para ficarem próximos.

Vale notar que, no LTX-2, o SWIM supera o Best-of-N por uma margem menor do que no JavisDiT++, mas leva vantagem maior sobre o EvoSearch, que é evolutivo. O ganho depende do modelo-base, e não existe um coeficiente de melhoria universal. Os resultados no SD1.5 dizem respeito apenas à primeira etapa, ou seja, à alocação adaptativa, e o refinamento por MH não foi avaliado nesse experimento.

Onde isso pode ser útil

Para equipes que montam pipelines de geração de vídeo com som, a principal conclusão é prática: dado um limite de horas de GPU, compensa mais distribuir as partículas pelos passos de denoising de acordo com a variância do que fazê-lo de modo uniforme ou depender totalmente do Best-of-N. Se a recompensa não é diferenciável ou o modelo é fechado, o método continua aplicável, pois não acessa gradientes e não exige fine-tuning.

As limitações também são claras. A avaliação foi feita no JavisBench-Mini, versão reduzida do benchmark, e o conjunto de modelos se limita a JavisDiT++, LTX-2 e SD1.5. Antes de levar a abordagem para produção, convém testá-la com as suas próprias recompensas e com o conjunto completo de tarefas. Ainda assim, o princípio em si, gastar o orçamento onde ele de fato reduz o erro, é universal e se transfere com facilidade para outros pipelines de difusão.