Ollama e Open WebUI em um VPS sem GPU: uma análise honesta das limitações

A experiência prática mostra que rodar um LLM local em um VPS sem GPU é possível, mas exige uma avaliação honesta das concessões.

O que dá para fazer

O Open WebUI é uma interface prática para modelos locais e funciona sem a nuvem. O Ollama cuida do download e da memória. Em um VPS simples (2-4 núcleos de CPU, 4-8 GB de RAM), dá para rodar modelos pequenos como Mistral 7B ou Phi 3, mas a velocidade de resposta está longe do que se está acostumado com o GPT.

Limitações reais

Na CPU, o modelo pensa mais devagar: um único token pode levar de um segundo e meio a dois segundos para ser gerado, contra dezenas de milissegundos em uma GPU. Para experimentos serve, mas para um chat em produção é preciso escolher entre velocidade e custo. RAM e CPU ficarão no limite, e tarefas concorrentes vão desacelerar.

Stack mínima

• VPS com no mínimo 4-6 núcleos, de preferência 8 GB de RAM (16 é melhor)
• Docker e docker-compose para isolamento
• Ollama (baixa e mantém os modelos em cache)
• Open WebUI (o frontend do Ollama)
• Firewall e proxy reverso (Nginx) com Basic Auth são obrigatórios

Local ou nuvem?

Se você roda o Ollama localmente, paga pelo hardware uma vez e depois só pela eletricidade. Se chama uma API (como OpenAI ou Claude), paga por cada requisição, mas escala sem dor de cabeça. Para um protótipo ou experimentos, o local é mais econômico. Para um sistema em produção, geralmente sai mais caro por causa da CPU ociosa.

O que isso significa

Os LLMs locais estão ficando mais acessíveis, mas "é só rodar o Ollama" só é realista se você estiver preparado para as limitações de velocidade. Para equipes pequenas que querem controlar seus dados e não pagar por cada requisição, funciona.