Laboratório doméstico de AI por 200 mil rublos

A placa de vídeo Tesla V100 custava oito mil dólares em 2017. Agora ela é vendida no mercado secundário por cerca de mil e quinhentos. Este número quebrou a economia das GPUs em nuvem. Na Amazon ou Vast.ai, alugar uma V100 custará 0,40–0,80 dólares por hora, ou 300–600 por mês. Compre duas V100, monte um servidor por 200 mil rublos — se pagará em seis meses. O autor do teste comprou exatamente isto e testou 128 redes neurais diferentes: desde pequenos LLMs até geradores de vídeo. Aqui está o que aconteceu.

Por que a V100 é tão barata?

Tesla V100 é uma placa profissional para data centers, lançada em 2017. 32 gigabytes de memória, 235 TFLOPS em half-precision, 125 watts TDP. Lançada em quantidades enormes, depois veio a A100. As fazendas em nuvem venderam V100s antigas por centavos. Mineradores individuais e startups compraram o restante. Agora o mercado secundário está inundado de placas, e o preço caiu ainda mais. O chip é obsoleto em termos de sua engenhosidade, mas para inferência — é ideal.

Onde a V100 tropeça?

A tabela é honesta: V100 falha no TensorFlow (a otimização de computação vinculada à CPU é fraca). A geração de vídeo leva cinco minutos no Flux.1 — você congelaria esperando. A geração de texto é decente, mas não é rápida: Llama 2 70B produz 80 tokens por segundo em int4. Para comparação, A100 em nuvem oferece 300+. Existem nuances com a memória: 32 gigabytes é suficiente para a maioria dos modelos, mas executar dois modelos de 70 bilhões simultaneamente — não funcionará.

Benchmarks reais

• Mistral 7B: 200 tokens/seg (int4)
• Llama 2 70B: 80 tokens/seg (int4)
• Stable Diffusion 1.5: 0,8 segundos por imagem
• Stable Diffusion XL: 2,5 segundos
• Whisper Large: 0,3 tempo real (áudio de 60 minutos em 18 minutos)
• Flux.1: 300 segundos por 1024×1024

Economia: nuvem ou metal?

GPUs em nuvem (Lambda, Vast.ai) custam 0,40–0,80 $/hora em V100. Aluguel mensal: 300–600 dólares. Nosso servidor se paga em 4–6 meses de operação. Vantagens do local: eletricidade é mais barata do que tráfego em nuvem, controle total, sem latência. Desvantagens: responsabilidade pelo hardware, resfriamento, upgrades — tudo por sua conta.

O que isto significa

Um servidor AI local não é uma substituição para a nuvem, mas um complemento. Se você está executando modelos todos os dias, testou a ideia, sabe quais redes neurais você precisa — um servidor de 200 mil rublos economiza dezenas de milhares por ano e oferece controle final sobre sua infraestrutura.