Runpod publie son RoundUp : Llama-2 avec un contexte de 32k tokens et SDXL 1.0 en accès public

Le fournisseur de GPU cloud Runpod a publié le deuxième numéro de son digest hebdomadaire RoundUp. Deux entrées dominent : Llama-2 avec un contexte allant jusqu'à 32 000 tokens, et la sortie publique de SDXL 1.0. La Llama-2 de base de Meta est calibrée pour 4096 tokens ; la fenêtre a donc été multipliée par huit. Le troisième point, consacré à une nouveauté de Stability AI, est tronqué au mot Stable dans l'annonce accessible. Nous ne ferons donc pas de conjectures à son sujet.

Une réserve sur la source. Le digest lui-même est court et se compose presque entièrement de liens vers des sorties d'autres acteurs. Ces sorties datent de l'été 2023, alors que la date de publication affichée dans le flux est différente. Il s'agit très probablement d'une entrée réindexée. Pour le lecteur, cela n'a qu'une conséquence : on a sous les yeux un récapitulatif de sorties déjà passées, pas une actualité fraîche. Les deux entrées n'en montrent pas moins bien où se situent les vrais goulets d'étranglement pour les propriétaires de GPU.

Llama-2 à 32k : d'où vient la fenêtre longue

Meta a sorti Llama-2 en trois tailles : 7B, 13B et 70B paramètres. Le contexte des trois modèles était de 4096 tokens. Les versions 32k sont apparues plus tard, développées par des équipes tierces, notamment Together AI avec le modèle LLaMA-2-7B-32K. Elles reposent généralement sur l'interpolation de positions : on étire les embeddings positionnels sur une séquence plus longue, puis on réentraîne le modèle sur des textes longs. L'architecture reste la même ; seule change la manière dont le modèle distingue les distances entre les tokens.

L'intérêt pratique est évident. 32 000 tokens correspondent à environ 80–100 pages de texte : un long contrat, un gros module de code ou la transcription d'une réunion de plusieurs heures, le tout d'un seul bloc. Sans découpage en morceaux ni recherche séparée dans une base vectorielle.

Ce confort se paie en mémoire. Faisons le calcul pour Llama-2-7B en fp16 : 32 couches, dimension cachée de 4096. Le KV-cache occupe par token 2 × 32 × 4096 × 2 octets, soit 512 Ko. Sur 32 000 tokens, cela donne environ 16 Go, et ce pour une seule requête. Les poids du modèle pèsent eux-mêmes environ 14 Go. Au total, une seule session longue ne tient pas dans 24 Go de VRAM : il faut une carte de 40 ou 80 Go, ou de la quantification.

SDXL 1.0 : ce que gagnent les utilisateurs

SDXL 1.0 de Stability AI est devenue publiquement disponible fin juillet 2023. Le modèle fonctionne en tandem : le réseau de base génère l'image, puis un refiner affine les détails. La partie de base compte environ 3,5 milliards de paramètres, l'ensemble environ 6,6 milliards. C'est nettement plus que Stable Diffusion 1.5, et la résolution native passe à 1024×1024. Les poids sont publiés sous licence CreativeML Open RAIL++-M : on peut donc les exécuter et les affiner soi-même.

Pour des fournisseurs comme Runpod, c'est une demande directe de location. Les utilisateurs qui disposent chez eux d'une carte de 8 Go déplacent SDXL dans le cloud et paient à l'heure.

Chiffres clés

• Contexte de Llama-2 : 4096 → 32 000 tokens, soit une hausse d'environ 8 fois.
• Tailles de Llama-2 : 7B, 13B, 70B paramètres.
• KV-cache de Llama-2-7B en fp16 : environ 512 Ko par token, environ 16 Go pour 32k tokens.
• Poids de Llama-2-7B en fp16 : environ 14 Go.
• SDXL 1.0 : environ 3,5 milliards de paramètres pour le modèle de base, environ 6,6 milliards avec le refiner.
• Résolution native de SDXL : 1024×1024.

À vérifier en pratique

Si vous comptez exploiter un contexte long sur des GPU loués, calculez la mémoire à l'avance. Pour un modèle 7B avec une fenêtre de 32k, prévoyez au minimum 40 Go par session parallèle. Pour plusieurs requêtes simultanées, il faut une carte de 80 Go ou un moteur d'inférence doté d'une gestion paginée du KV-cache, comme vLLM. La quantification des poids en 8 ou 4 bits libérera de la mémoire, mais le cache devra être compressé séparément.

Avec SDXL, c'est plus simple. Une carte de 16–24 Go suffit pour générer en 1024×1024, et le refiner peut n'être activé que là où les détails comptent. Avant de louer du matériel pour une fenêtre longue, vérifiez qu'un RAG classique à 4k ne résout pas déjà votre problème. Il coûte moins cher, et sur de nombreux scénarios sa qualité n'est pas inférieure.