Ollama et Open WebUI sur un VPS sans GPU : bilan honnête des limites

L'expérience pratique montre qu'il est réaliste de faire tourner un LLM local sur un VPS sans GPU, mais il faut évaluer honnêtement les compromis.

Ce que l'on obtient

Open WebUI est une interface pratique pour les modèles locaux et fonctionne sans le cloud. Ollama gère le chargement et la mémoire. Sur un VPS modeste (2-4 cœurs de CPU, 4-8 Go de RAM), on peut exécuter de petits modèles comme Mistral 7B ou Phi 3, mais la vitesse de réponse n'a rien à voir avec ce à quoi GPT nous a habitués.

Limites réelles

Sur CPU, le modèle réfléchit plus lentement : générer un seul token peut prendre une seconde et demie à deux secondes, contre quelques dizaines de millisecondes sur un GPU. Pour des expériences, cela suffit, mais pour un chat en production, il faut arbitrer entre vitesse et coût. La RAM et le CPU seront saturés, et les tâches concurrentes ralentiront.

Stack minimale

• Un VPS d'au moins 4-6 cœurs, idéalement 8 Go de RAM (16 Go, c'est mieux)
• Docker et docker-compose pour l'isolation
• Ollama (télécharge et met en cache les modèles)
• Open WebUI (le frontend d'Ollama)
• Un pare-feu et un reverse proxy (Nginx) avec Basic Auth sont indispensables

Local ou cloud ?

Si vous faites tourner Ollama en local, vous payez le matériel une fois, puis seulement l'électricité. Si vous appelez une API (comme OpenAI ou Claude), vous payez chaque requête, mais la montée en charge se fait sans douleur. Pour un prototype ou des expériences, le local revient moins cher. Pour un système en production, cela coûte généralement plus cher à cause du CPU inactif.

Ce que cela signifie

Les LLM locaux deviennent plus accessibles, mais « il suffit de lancer Ollama » n'est réaliste que si l'on est prêt à accepter les limites de vitesse. Pour les petites équipes qui veulent garder la maîtrise de leurs données et ne pas payer à chaque requête, cela fonctionne.