SWIM ahorra cómputo: la generación de audio y video mejora hasta un 30,7% frente a Best-of-N

Un equipo de investigadores ha publicado en arXiv SWIM (Spend Where It Matters), un método que mejora la generación conjunta de audio y video sin reentrenar el modelo y sin aumentar el presupuesto de cómputo. En el benchmark JavisBench-Mini, con costes similares, la mejora relativa media en siete métricas fue del 30,7% sobre Best-of-N y del 14,1% sobre EvoSearch para JavisDiT++. Con LTX-2 las cifras son distintas: 9,2% sobre Best-of-N y 17,0% sobre EvoSearch.

Por qué es costoso alinear en inferencia

El reward-guided inference-time alignment es un enfoque en el que el modelo no se reentrena, sino que durante la generación se selecciona el resultado que maximiza una recompensa determinada. En la generación conjunta de audio y video suele haber varias recompensas: calidad de imagen, calidad de sonido, sincronización entre ambos, entre otras. Evaluar cada candidato exige ejecutar un modelo pesado, así que con recursos limitados los esquemas clásicos agotan el presupuesto con rapidez.

Los enfoques existentes tienen debilidades opuestas. La búsqueda basada en partículas explora bien el espacio de forma global, pero con una población finita introduce un error de estimación. El algoritmo Metropolis-Hastings (MH) sabe mejorar un candidato localmente, pero necesita un buen punto de partida. Los autores de SWIM unieron ambos enfoques en un esquema de dos etapas.

Cómo funciona SWIM

El framework no requiere entrenamiento ni depende de una función de recompensa concreta. En la primera etapa, las partículas se reparten de forma adaptativa entre los puntos de control del proceso de denoising, a partir de estimaciones de varianza en línea. El cómputo se concentra donde resulta más útil y la varianza de la estimación se minimiza.

El resultado de la primera etapa es un candidato prometedor. En la segunda etapa, MH trabaja ya con salidas completas: las propuestas se generan mediante ruido local y un nuevo denoising, y los pasos se aceptan según la recompensa. Como el punto de partida es sólido, MH obtiene recompensa adicional sin aumentar el número de partículas y sin una costosa búsqueda global. Según los autores, a igualdad de cómputo, la combinación de búsqueda y refinamiento con MH supera a cada uno de los enfoques por separado.

Qué mostraron los experimentos

• JavisDiT++ en JavisBench-Mini: +30,7% sobre Best-of-N y +14,1% sobre EvoSearch (mejora relativa media en siete métricas).
• LTX-2 en JavisBench-Mini: +9,2% sobre Best-of-N y +17,0% sobre EvoSearch.
• SD1.5, generación de imágenes: el reparto adaptativo de partículas aportó +2,2% en AestheticScore y +6,0% en ImageReward frente al reparto uniforme.
• La comparación se hizo con costes de cómputo ajustados para que fueran similares.

Conviene señalar que, con LTX-2, SWIM supera a Best-of-N por un margen menor que con JavisDiT++, pero supera con más holgura al EvoSearch evolutivo. La mejora depende del modelo base y no existe un coeficiente de mejora universal. Los resultados con SD1.5 se refieren solo a la primera etapa, es decir, a la asignación adaptativa, y el refinamiento con MH no se evaluó en ese experimento.

Dónde puede resultar útil

Para los equipos que construyen pipelines de generación de video con sonido, la conclusión práctica principal es esta: con un límite dado de horas de GPU, resulta más rentable repartir las partículas entre los pasos de denoising según la varianza que hacerlo de forma uniforme o confiar por completo en Best-of-N. Si la recompensa no es diferenciable o el modelo es cerrado, el método sigue siendo aplicable, ya que no accede a los gradientes y no requiere reentrenamiento.

Las limitaciones también están claras. La evaluación se hizo en JavisBench-Mini, una versión reducida del benchmark, y el conjunto de modelos se limita a JavisDiT++, LTX-2 y SD1.5. Antes de llevar el enfoque a producción, conviene probarlo con las recompensas propias y con el conjunto completo de tareas. Aun así, el principio de gastar el presupuesto donde realmente reduce el error es universal y se traslada con facilidad a otros pipelines de difusión.