L'open source libère la puissance cachée de la RTX 4090 : des Tensor Core deux fois plus rapides

Une seule RTX 4090, aucun changement de matériel, et le débit de certaines opérations Tensor Core bondit de 165,6 à 331,6 TFLOPS. C'est exactement le double. Le projet open source, relayé par Jiqizhixin, exploite une réserve de puissance de calcul des GeForce que NVIDIA n'expose pas en fonctionnement normal. Le pilote, lui, reste officiel.

Pas seulement le haut de gamme

Le point clé de cette histoire : la RTX 4090 n'est que l'exemple le plus spectaculaire. La même approche a permis d'extraire des performances supplémentaires de cartes de plusieurs générations. Parmi les appareils testés :

• RTX 4090 (architecture Ada Lovelace) : de 165,6 à 331,6 TFLOPS sur certaines opérations Tensor Core ;
• RTX 4070 Ti SUPER (Ada Lovelace) : réserve de puissance constatée, sur le modèle inférieur de la même génération ;
• RTX 3090 Ti (Ampere) : réserve constatée, sur la génération précédente ;
• une carte graphique sortie en 2018, soit l'ère Turing : le potentiel se révèle même sur cette carte.

Que le résultat se reproduise sur trois architectures indique une cause systémique. Il ne s'agit pas d'un bug propre à une puce. Il est fort probable que tout vienne de la manière dont la pile logicielle standard accède aux unités tensorielles.

D'où vient la moitié « en trop »

Les chiffres officiels des cartes graphiques grand public de NVIDIA sont connus. Pour la RTX 4090, la valeur d'environ 165 TFLOPS correspond au mode de précision mixte avec accumulation en FP32. Les cartes professionnelles, bâties sur un silicium proche, annoncent davantage dans ce mode. C'est pourquoi les GeForce gaming sont depuis longtemps considérées comme volontairement bridées sur les opérations tensorielles. La méthode open source montre qu'une partie de cette limite peut être contournée au niveau du code utilisateur, et non du firmware ou d'un patch du pilote.

Il faut préciser que le gain concerne certaines opérations. Ce n'est pas un doublement magique de tout. Une charge réelle comme l'inférence de LLM dépend aussi de la bande passante mémoire, de la taille du cache et de l'ordonnancement des kernels. Le doublement du pic des Tensor Core accélérera les cas où le goulot d'étranglement était justement le calcul matriciel : grands batchs, prefill de longs prompts, entraînement et fine-tuning de petits modèles.

Que faire concrètement

Pour les propriétaires de cartes gaming, la nouvelle est bonne. Avec ses 24 Go de mémoire, la RTX 4090 reste la carte la plus populaire pour exécuter des modèles en local et expérimenter, et un gain gratuit sur les opérations matricielles accroît immédiatement sa valeur. Les startups, les équipes de recherche et les passionnés qui n'ont pas le budget pour des H100 ou B200 y gagnent.

Avant de réécrire un pipeline, trois vérifications s'imposent :

• comparer ses propres kernels et bibliothèques avec ce que fait le projet, et mesurer le débit réel sur sa charge de travail, pas seulement les TFLOPS crête ;
• s'assurer de la stabilité : la consommation électrique et la température à pleine charge des unités tensorielles sont supérieures à l'habitude ;
• suivre la réaction de NVIDIA, car l'entreprise peut fermer la brèche dans les prochaines versions du pilote ou de CUDA.

Pour l'industrie, l'histoire a aussi une portée plus large. L'écart entre accélérateurs grand public et accélérateurs de datacenter tient en grande partie au logiciel, et la communauté open source sait le réduire. Si la méthode s'impose dans les frameworks populaires, une partie des tâches qui partent aujourd'hui dans le cloud pourra être calculée sur sa propre carte. C'est une pression sur la politique tarifaire de NVIDIA et un argument en faveur de l'inférence locale.