Pika Labs publie H3 Flex, un modèle vidéo ouvert : 6 étapes au lieu de 50

Pika Labs a lancé H3 Flex, un modèle ouvert de génération vidéo. Il est issu d'un affinage de MiniMax H3, qui a ramené le rendu de 50 étapes à 6. Une étape correspond ici à une passe d'un grand réseau de neurones (un transformeur de diffusion, DiT) qui transforme un bruit aléatoire en image en le retirant progressivement. Moins il y a de passes, plus le résultat est rapide et économique. Pika affirme que le débruitage d'une vidéo de 15 secondes en résolution 768p prend 7 secondes, et que le modèle dans son ensemble est 1,8 fois plus rapide et 80% moins cher que H3 Max.

Pourquoi 8 fois moins d'étapes, mais seulement 1,8 fois plus de vitesse

Les modèles vidéo coûtent cher précisément à cause du nombre d'étapes. Chaque passe traite des dizaines d'images à la fois, si bien que 50 itérations se traduisent par des factures de GPU conséquentes. Pika a repris MiniMax H3 et l'a affiné avec une méthode fondée sur les préférences. Le modèle reçoit des paires de résultats, dont l'un est meilleur que l'autre, et apprend à produire rapidement une bonne variante, sans s'appuyer sur une longue chaîne d'affinements. Cette technique est souvent utilisée pour réduire le nombre d'étapes sans perte de qualité manifeste.

À noter : le nombre d'étapes a été divisé par 8,3, tandis que l'accélération globale par rapport à H3 Max est de 1,8 fois. Le chiffre de 7 secondes ne concerne que le débruitage. Le cycle complet comprend d'autres phases : analyse de la requête et des références, décodage des images, son, upscale. Ce sont très probablement elles qui empêchent l'accélération de croître proportionnellement. Les chiffres de vitesse et de prix proviennent de Pika elle-même ; aucune mesure indépendante ne figure dans le matériel d'origine.

Un son en pistes séparées et 12 références

La principale différence pratique de H3 Flex tient moins à la vitesse qu'à ce qu'elle livre au monteur. Le modèle exporte cinq pistes audio indépendantes :

• dialogues ;
• bande originale ;
• effets spéciaux ;
• bruitages ;
• ambiance (le son de fond de l'environnement).

Le monteur n'a pas besoin d'extraire la voix d'un mélange confus : il peut retirer la musique, réécrire les répliques et conserver le bruit de la rue. Pour la publicité et les vidéos courtes, cela simplifie nettement la post-production.

En entrée, le modèle accepte jusqu'à 12 références, parmi lesquelles des croquis, des échantillons audio et des moodboards. Elles permettent de définir l'apparence d'un personnage, un style ou une sonorité, sans chercher à tout décrire dans une seule requête textuelle.

Le modèle propose aussi :

• la génération de brouillons, des versions d'essai rapides pour choisir une direction ;
• l'édition ciblée des personnages ou des mouvements de caméra, sans régénérer toute la vidéo ;
• l'upscale jusqu'en 4K.

Les brouillons se marient bien avec une inférence rapide et peu coûteuse : on peut multiplier les essais et ne lancer le rendu final, plus onéreux, que pour la version retenue.

Prix, poids ouverts et points à vérifier avant déploiement

Pika a publié en accès libre le code d'inférence et les poids du modèle (dépôt sur GitHub et page sur Hugging Face), et a lancé une API. La génération est facturée :

• dès 1 cent la seconde de vidéo en mode « texte vers vidéo » ;
• jusqu'à 3 cents la seconde si la vidéo est créée à partir de références.

D'après un calcul simple, une vidéo de 15 secondes coûtera environ 15 cents en génération à partir d'un texte, et jusqu'à 45 cents avec des références. Il s'agit d'un ordre de grandeur : la facture finale dépend de la résolution et des paramètres. Le modèle sera intégré à la plateforme Pika.art le 2 novembre.

Sur la qualité, H3 Flex occupe la huitième place du classement général des modèles vidéo de DesignArena. Ce n'est pas la première place, mais le résultat est notable pour un modèle ouvert, rapide et peu coûteux. Huit concurrents le devancent, et l'écart avec les leaders mérite d'être évalué sur vos propres tâches.

Ce que cela signifie pour les praticiens. Les studios et les développeurs de services vidéo disposent désormais d'un modèle ouvert, avec un son séparé et un prix raisonnable. Il peut être déployé sur ses propres GPU ou utilisé via l'API. Avant tout usage commercial, il faut lire la licence du dépôt et tester soi-même des scénarios types : une vitesse de 7 secondes pour le débruitage ne garantit pas le même délai pour l'ensemble de la chaîne. Pour le marché, c'est un signal de plus : la course aux modèles vidéo se déplace de la beauté de l'image vers le prix de la seconde et le confort de montage.