Pruna AI fait passer MiniMax-H3 de 143 à 20 Go et transforme le modèle vidéo en générateur d'images

Les grands modèles vidéo vivent généralement sur des clusters : les faire tourner chez soi ou dans un petit studio relève presque de l'impossible. Pruna AI montre le chemin inverse. L'entreprise a pris le modèle vidéo MiniMax-H3 (dans sa forme d'origine, ses poids occupent 143 Go), l'a converti en générateur d'images P-H3-Image et l'a publié avec des poids ouverts.

Le modèle pèse désormais environ 20 Go, génère une image en 8 étapes au lieu de 50 et, pour une image de 8 mégapixels (MP), il lui faut 21 Go de mémoire vidéo (VRAM). En clair, ce qui exigeait auparavant une baie de GPU peut maintenant se tester sur une seule carte du niveau d'une RTX 4090. Le modèle sait générer des images à partir de texte et retoucher des images existantes.

Pourquoi tirer des images d'un modèle vidéo

Pour produire une vidéo convaincante, un modèle doit comprendre l'aspect d'un objet sous différents angles et la manière dont la lumière se pose sur le verre, le tissu ou la peau. Ces connaissances servent aussi pour une image isolée : un modèle vidéo constitue donc une bonne base pour générer des images. Mais avec H3 elle-même, une image fixe paraît « savonneuse », et le modèle réclame beaucoup de matériel.

Pruna AI a retravaillé le modèle en plusieurs étapes :

• L'encodeur de texte, qui lit le prompt, a été réduit de 32B à 4B de paramètres. Son poids est passé de 67 à 9 Go.
• Le nombre d'étapes de génération a été ramené de 50 à 8 grâce à la distillation DMD, qui consiste à entraîner un modèle « rapide » à reproduire le résultat d'un modèle « lent ». Résultat : le CFG (guidage renforcé par le prompt) et le prompt négatif ne sont plus nécessaires.
• Le bloc de timestep, qui représentait 40 % du transformeur, a été remplacé par un équivalent compact.
• Le décodeur a été réentraîné : il travaillait auparavant sur de la vidéo, il traite désormais une seule image.

Selon les auteurs, sur la plupart des prompts, on ne distingue pas le résultat en 8 étapes de celui en 50.

Ce qu'il faut pour le faire tourner

Le minimum est de 21 Go de VRAM en mode w4a8 pour une image de 8 MP. Les RTX 4090 et 5090 passent, mais 24 Go suffisent tout juste. En int8, il faut 31 Go ; en bf16, 56 Go. Les noyaux int8 requièrent une carte NVIDIA de génération Ampere ou plus récente, ou une AMD RDNA3/4.

Le support dans ComfyUI est natif, sans nœuds personnalisés. Mais il n'existe pour l'instant que dans la dernière version issue de GitHub (nightly) : il n'y a pas de version stable.

Le modèle accepte jusqu'à huit images en entrée. La première est modifiée, les autres servent de références : on peut par exemple montrer un personnage ou un objet sous différents angles. La résolution prise en charge va de 2 à 16 MP, avec de meilleurs résultats à 8 MP. En dessous de 8 MP, les artefacts sont plus nombreux, et 4 MP constitue un compromis en matière de vitesse.

D'après la description des auteurs, le modèle excelle dans la photographie documentaire et éditoriale, les portraits avec une texture de peau vivante, les plans « façon cinéma », l'anime, la risographie et les visuels comportant de courtes inscriptions.

Les limites à connaître

Il vaut mieux tenir compte de ces points faibles avant tout déploiement :

• Les mains, les petites silhouettes à l'arrière-plan et les petits détails « flottent », surtout en dessous de 8 MP.
• Le texte dense n'est pas fiable. Les citations courtes entre guillemets s'affichent bien.
• Les ajouts habituels comme « 8k, masterpiece » produisent une image trop glossy et des zones surexposées. C'est pourquoi un upsampler de prompts basé sur Qwen3.5-9B, qui réécrit la requête, est activé par défaut.
• La quantification 4 bits peut dégrader la composition. Si la précision du cadrage compte, mieux vaut comparer les modes.

Que faire en pratique

Si vous disposez d'une seule carte grand public haut de gamme, vous pouvez tester le modèle sur des illustrations éditoriales, des concepts et de la retouche à partir de références, sans louer de cluster. Pour la production, mieux vaut attendre une version stable de ComfyUI ou figer une version nightly précise. Quant à la recette elle-même (compresser l'encodeur de texte, réduire les étapes et réentraîner le décodeur), elle montre bien comment tirer d'un modèle lourd un outil compact et opérationnel.

On peut l'essayer tout de suite : le projet propose une démo sur Hugging Face, le blog de Pruna AI, les poids et un paquet ComfyUI dédié.