SWIM économise du calcul : la génération audio-vidéo gagne jusqu'à 30,7% face à Best-of-N

Une équipe de chercheurs a publié sur arXiv SWIM (Spend Where It Matters), une méthode qui améliore la génération conjointe d'audio et de vidéo sans réentraîner le modèle et sans augmenter le budget de calcul. Sur le benchmark JavisBench-Mini, à coûts comparables, le gain relatif moyen sur sept métriques atteint 30,7% face à Best-of-N et 14,1% face à EvoSearch pour JavisDiT++. Pour LTX-2, les chiffres diffèrent : 9,2% face à Best-of-N et 17,0% face à EvoSearch.

Pourquoi l'alignement à l'inférence coûte cher

L'alignement à l'inférence guidé par récompense (reward-guided inference-time alignment) consiste à ne pas réentraîner le modèle, mais à sélectionner pendant la génération le résultat qui maximise une récompense donnée. Pour la génération conjointe d'audio et de vidéo, il y a généralement plusieurs récompenses : qualité de l'image, qualité du son, synchronisation entre les deux, etc. Chaque évaluation d'un candidat exige de faire tourner un modèle lourd. Avec des ressources limitées, les schémas classiques atteignent donc vite la limite du budget.

Les approches existantes ont des faiblesses opposées. La recherche par particules explore bien l'espace à l'échelle globale, mais introduit une erreur d'estimation lorsque la population est finie. L'algorithme Metropolis-Hastings (MH) sait améliorer un candidat localement, mais il a besoin d'un bon point de départ. Les auteurs de SWIM ont réuni les deux approches dans un schéma en deux étapes.

Comment fonctionne SWIM

Le framework ne nécessite aucun entraînement et ne dépend pas d'une fonction de récompense précise. Dans un premier temps, les particules sont réparties de façon adaptative entre les points de contrôle du processus de débruitage, à partir d'estimations de variance en ligne. Le calcul se concentre là où il est le plus utile, et la variance de l'estimation est minimisée.

Le résultat de la première étape est un candidat prometteur. Dans la seconde étape, MH travaille sur des sorties déjà produites : les propositions sont construites par bruitage local puis nouveau débruitage, et l'acceptation des pas repose sur la récompense. Comme le point de départ est solide, MH récupère de la récompense supplémentaire sans augmenter le nombre de particules et sans recourir à une recherche globale coûteuse. Selon les auteurs, à calcul égal, l'association de la recherche et de l'affinage par MH surpasse chacune des deux approches prise isolément.

Ce que montrent les expériences

• JavisDiT++ sur JavisBench-Mini : +30,7% face à Best-of-N et +14,1% face à EvoSearch (amélioration relative moyenne sur sept métriques).
• LTX-2 sur JavisBench-Mini : +9,2% face à Best-of-N et +17,0% face à EvoSearch.
• SD1.5, génération d'images : la répartition adaptative des particules a apporté +2,2% en AestheticScore et +6,0% en ImageReward par rapport à une répartition uniforme.
• La comparaison a été menée à coûts de calcul étroitement alignés.

On note par ailleurs que sur LTX-2, SWIM devance Best-of-N moins nettement que sur JavisDiT++, mais dépasse davantage l'approche évolutionnaire EvoSearch. Le gain dépend du modèle de base, et il n'existe pas ici de coefficient d'amélioration universel. Les résultats sur SD1.5 ne concernent que la première étape, c'est-à-dire l'allocation adaptative : l'affinage par MH n'a pas été évalué dans cette expérience.

À qui cela peut servir

Pour les équipes qui construisent des pipelines de génération de vidéo avec son, l'enseignement pratique est clair : pour une limite donnée d'heures de GPU, il vaut mieux répartir les particules entre les étapes de débruitage en fonction de la variance que de les répartir uniformément ou de s'en remettre entièrement à Best-of-N. Si la récompense n'est pas différentiable ou si le modèle est fermé, la méthode reste applicable, car elle n'utilise pas les gradients et ne nécessite pas de réentraînement.

Les limites sont également claires. L'évaluation a été menée sur JavisBench-Mini, une version réduite du benchmark, et l'éventail de modèles se limite à JavisDiT++, LTX-2 et SD1.5. Avant de transposer l'approche en production, il convient de la tester avec ses propres récompenses et sur l'ensemble complet des tâches. Mais le principe lui-même, qui consiste à dépenser le budget là où il réduit réellement l'erreur, est universel et se transpose facilement à d'autres pipelines de diffusion.