Ollama y Open WebUI en un VPS sin GPU: un análisis honesto de sus límites

La experiencia práctica demuestra que ejecutar un LLM local en un VPS sin GPU es factible, pero exige evaluar con honestidad las concesiones.

Qué se consigue

Open WebUI es una interfaz cómoda para modelos locales y funciona sin la nube. Ollama gestiona la descarga y la memoria. En un VPS básico (2-4 núcleos de CPU, 4-8 GB de RAM) se pueden ejecutar modelos pequeños como Mistral 7B o Phi 3, pero la velocidad de respuesta no se parece a la que se espera de GPT.

Limitaciones reales

En CPU el modelo piensa más despacio: generar un solo token puede llevar entre uno y medio y dos segundos, frente a decenas de milisegundos en una GPU. Para experimentos basta, pero para un chat en producción hay que elegir entre velocidad y coste. La RAM y la CPU quedarán al límite y las tareas concurrentes se ralentizarán.

Pila mínima

• VPS con un mínimo de 4-6 núcleos, preferiblemente 8 GB de RAM (16 es mejor)
• Docker y docker-compose para el aislamiento
• Ollama (descarga y almacena en caché los modelos)
• Open WebUI (el frontend de Ollama)
• Firewall y proxy inverso (Nginx) con Basic Auth, imprescindibles

¿Local o nube?

Si ejecutas Ollama en local, pagas el hardware una vez y después solo la electricidad. Si llamas a una API (como OpenAI o Claude), pagas por cada solicitud, pero escala sin dolor. Para un prototipo o experimentos, lo local resulta más económico. Para un sistema en producción, suele salir más caro por la CPU ociosa.

Qué significa esto

Los LLM locales son cada vez más accesibles, pero «basta con lanzar Ollama» solo es realista si aceptas las limitaciones de velocidad. Para equipos pequeños que quieren controlar sus datos y no pagar por cada solicitud, funciona.