Habr mostra como montar um servidor de IA doméstico por menos de 400 mil rublos

Um servidor de IA doméstico pronto custa cerca de 1,3 milhão de rublos, mas os autores no Habr mostraram como montar uma máquina de potência comparável por conta própria gastando menos de 400 mil.

Por que rodar redes neurais localmente

O interesse por modelos de linguagem locais cresce de forma constante. Os usuários se cansaram das limitações dos serviços em nuvem, das APIs pagas com cobrança por segundo e das dúvidas sobre confidencialidade: clientes corporativos, advogados, médicos e desenvolvedores querem processar informações sensíveis no próprio hardware, sem enviá-las a servidores de terceiros.

O problema é conhecido: hardware de IA de qualidade é caro. As estações de trabalho especializadas prontas começam em 1,3 milhão de rublos. Os autores do Habr se propuseram a provar que dá para gastar um terço desse valor sem perder potência de forma significativa.

Do que é feita a montagem econômica

O princípio central: o dinheiro vai para onde dá o maior ganho de desempenho em inferência.

• Placa de vídeo — o maior item de custo. A RTX 3090 com 24 GB de VRAM sai por 100–130 mil rublos e permite rodar modelos de até 70B parâmetros com quantização de 4 bits. A RTX 4090 é cerca de duas vezes mais rápida, mas custa 160–180 mil rublos.
• Memória RAM — no mínimo 64 GB de DDR5. Ao carregar modelos grandes, o sistema usa a RAM em conjunto com a VRAM, e a falta de memória vira gargalo. Custo: 20–30 mil rublos.
• Armazenamento — SSD NVMe rápido de 2–4 TB. Os modelos pesam de 5 a 40 GB, e a velocidade do disco influencia diretamente o tempo de carregamento. Cerca de 15–25 mil rublos.
• Processador — para inferência, a GPU pesa mais, então basta um AMD Ryzen 7 ou Intel Core i7 de faixa intermediária, por 20–35 mil rublos.
• Gabinete, placa-mãe e fonte — mais 35–50 mil rublos, com folga de potência (recomenda-se PSU a partir de 1000W).

No total, a montagem fica entre 300 e 380 mil rublos e, em vazão de processamento, se compara a sistemas prontos de nível corporativo de entrada que custam o triplo.

O que roda no servidor doméstico

Uma única RTX 3090 já é uma ferramenta séria. Nela rodam com conforto o Llama 3.1 70B em quantização Q4, o Qwen2.5-Coder 32B para tarefas de programação, o Mistral 22B como assistente universal rápido e modelos de geração de imagens, como FLUX.1 e Stable Diffusion XL, sem limite de requisições.

Na parte de software, os autores usam o Ollama (o mais simples para começar: um comando e o modelo já funciona), o LM Studio (interface gráfica para modelos GGUF do Hugging Face) ou o vLLM para cenários de produção com API compatível com a da OpenAI.

«Afinal, o que importa para nós é o processo», observam os autores com

ironia, reconhecendo que montar o próprio servidor também é o prazer de resolver um problema de engenharia.

O que isso significa

O servidor de IA doméstico deixa de ser privilégio de entusiastas ricos. Com uma montagem bem planejada, por 300–400 mil rublos você obtém uma infraestrutura local completa: sem mensalidades, sem entregar dados a terceiros e sem limite de tokens. Para uma pequena empresa ou um profissional que trabalha com dados confidenciais, é uma alternativa real à nuvem.