Laboratoire AI à domicile pour 200 000 roubles

La carte graphique Tesla V100 coûtait huit mille dollars en 2017. Maintenant, elle se vend sur le marché secondaire pour environ mille cinq cents. Ce chiffre a cassé l'économie des GPU cloud. Sur Amazon ou Vast.ai, la location d'une V100 vous coûtera 0,40–0,80 dollars par heure, ou 300–600 par mois. Achetez deux V100, assemblez un serveur pour 200 mille roubles — il se remboursera en six mois. L'auteur du test a acheté exactement cela et a testé 128 réseaux de neurones différents : des petits LLM aux générateurs vidéo. Voici ce qui s'est passé.

Pourquoi la V100 est-elle si bon marché ?

Tesla V100 est une carte professionnelle pour les data centers, lancée en 2017. 32 gigaoctets de mémoire, 235 TFLOPS en half-precision, 125 watts TDP. Lancée en quantités énormes, puis la A100 est sortie. Les fermes cloud ont vendu les anciennes V100 pour des centimes. Les mineurs individuels et les startups ont acheté le reste. Maintenant, le marché secondaire est inondé de cartes, et le prix a chuté davantage. La puce est obsolète en termes d'ingénierie, mais pour l'inférence — elle est idéale.

Où la V100 bute-t-elle ?

Le tableau est honnête : V100 échoue sur TensorFlow (l'optimisation du calcul lié au CPU est faible). La génération vidéo prend cinq minutes sur Flux.1 — vous gèleriez en attendant. La génération de texte est correcte, mais pas rapide : Llama 2 70B produit 80 tokens par seconde en int4. En comparaison, A100 cloud donne 300+. Il y a des nuances avec la mémoire : 32 giga suffisent pour la plupart des modèles, mais exécuter deux modèles de 70 milliards simultanément — ne fonctionnera pas.

Benchmarks réels

• Mistral 7B : 200 tokens/sec (int4)
• Llama 2 70B : 80 tokens/sec (int4)
• Stable Diffusion 1.5 : 0,8 secondes par image
• Stable Diffusion XL : 2,5 secondes
• Whisper Large : 0,3 temps réel (audio de 60 minutes en 18 minutes)
• Flux.1 : 300 secondes pour 1024×1024

Économie : cloud ou métal ?

Les GPU cloud (Lambda, Vast.ai) coûtent 0,40–0,80 $/heure sur V100. Location mensuelle : 300–600 dollars. Notre serveur se rembourse en 4–6 mois de fonctionnement. Avantages du local : l'électricité est moins chère que le trafic cloud, contrôle total, pas de latence. Inconvénients : responsabilité du matériel, refroidissement, mises à jour — tout dépend de vous.

Qu'est-ce que cela signifie

Un serveur AI local n'est pas un remplacement au cloud, mais un complément. Si vous exécutez des modèles tous les jours, vous avez testé l'idée, vous savez quels réseaux de neurones vous avez besoin — un serveur de 200 mille roubles vous économise des dizaines de milliers par an et vous donne le contrôle final de votre infrastructure.