Домашняя ИИ-лаборатория за 200 тысяч рублей

Видеокарта Tesla V100 стоила восемь тысяч долларов в 2017-м. Сейчас её продают на вторичном рынке за полторы тысячи. Это число сломало экономику облачных GPU. На Amazon или Vast.ai аренда V100 обойдётся в 0,40—0,80 доллара в час, или 300—600 в месяц. Купи две V100, собери сервер за 200 тысяч рублей — окупится за полгода. Автор теста купил именно это и протестировал 128 разных нейросетей: от маленьких LLM до видеогенераторов. Вот что вышло.

Почему V100 такая дешевая?

Тесла V100 — профессиональная карта для data-центров, выпущена в 2017-м. 32 гигабайта памяти, 235 TFLOPS в half-precision, 125 ват TDP. Выпущена в огромных количествах, потом вышла A100. Облачные фермы распродали старые V100 за копейки. Индивидуальные майнеры и стартапы скупили остаток. Теперь вторичный рынок завален картами, цена упала ещё ниже. Чип по своему мастерству устаревший, но для inference'а — идеален.

Где V100 спотыкается?

Таблица честно: V100 ломается на TensorFlow (оптимизация CPU-bound вычислений слаба). Видеогенерация занимает пять минут на Flux.1 — ждать морозилось бы. Текст генерирует неплохо, но не быстро: Llama 2 70B выдаёт 80 токенов в секунду на int4. Для сравнения, облачный A100 даёт 300+. Есть нюансы с памятью: 32 гига хватает для большинства моделей, но одновременно запустить две 70-биллионные — не получится.

Реальные бенчмарки *

Mistral 7B: 200 токенов/сек (int4) Llama 2 70B: 80 токенов/сек (int4) Stable Diffusion 1.5: 0.8 секунды на картинку Stable Diffusion XL: 2.5 секунды Whisper Large: 0.3 реал-тайма (60-минутный аудио за 18 минут) * Flux.1: 300 секунд на 1024×1024 ## Экономика: облако или металл? Облачные GPU (Lambda, Vast.ai) стоят 0,40—0,80 $/час на V100. Месячная аренда: 300—600 долларов. Наш сервер окупается за 4—6 месяцев работы. Плюсы локального: электричество дешевле, чем трафик в облако, полный контроль, никакой задержки. Минусы: ответственность за железо, охлаждение, апгрейды — все на вас.

Что это значит Локальный AI-сервер — это не замена облаку, а комплимент.

Если вы запускаете модели каждый день, протестировали идею, знаете, какие нейросети вам нужны — сервер за 200 тыс. ₽ экономит десятки тысяч в год и дает финальный контроль над инфраструктурой.