Local AI elige un modelo según el hardware y despliega Ollama desde un archivo de 42 MB

Los modelos locales en Windows dejaron de ser algo exótico hace tiempo, pero instalarlos todavía se parece a una pequeña misión de administración de sistemas. Hay que encontrar Ollama, elegir la etiqueta correcta del modelo, estimar el consumo de VRAM, esperar la descarga de varios gigabytes y escoger una interfaz. Para un desarrollador experimentado, es una tarde de configuración. Para alguien que solo quiere un chat privado en su propio ordenador, supone varios puntos en los que resulta fácil rendirse.

El desarrollador conocido como OlegChe77 ha reunido estos pasos en Local AI, una utilidad de código abierto para Windows 10 y 11. Un único archivo de unos 42 MB detecta la configuración del ordenador, recomienda un modelo adecuado del catálogo, instala Ollama y abre un chat. Las conversaciones se dirigen a la dirección local 127.0.0.1; se necesita internet para descargar componentes y comprobar actualizaciones.

Como es la instalacion en la practica

Supongamos que el ordenador tiene una RTX 3070 con 8 GB de VRAM y 32 GB de RAM. Local AI obtiene las características de la tarjeta gráfica mediante nvidia-smi, consulta la cantidad de RAM a través de la API de Windows y comprueba el espacio libre específicamente en la unidad que contendrá la futura carpeta de modelos. A continuación, el programa estima el consumo total de memoria: multiplica el tamaño del archivo del modelo por 1,2 y añade un margen de 0,6 GB para el contexto y los búferes.

Si el resultado cabe en el 95% de la VRAM, el modelo se considera adecuado para la GPU. Si no ocupa más del 70% de la RAM, se permite el modo mixto o la ejecución en la CPU. Entre las opciones principales, el programa recomienda el modelo más grande que quepa por completo en la VRAM. Sin una tarjeta gráfica dedicada, la selección se limita a modelos de hasta 5 GB.

Es una protección útil frente a un error evidente: el usuario no descargará un modelo pesado que claramente no cabe ni en la memoria ni en el disco. Pero se trata precisamente de una heurística, no de una medición del rendimiento real. La velocidad depende de la cuantización, la longitud del contexto, la versión de Ollama, los controladores y la parte del modelo que el motor coloque realmente en la GPU.

Los detalles de ingenieria importan mas que el boton

El proyecto resulta interesante por cómo aborda problemas habituales de las aplicaciones de escritorio. El instalador de Ollama ocupa unos 1,6 GB, por lo que la descarga admite reanudación mediante HTTP Range. Antes de ejecutarlo, Local AI verifica la firma digital del archivo y espera que el firmante válido sea Ollama. El modelo se descarga mediante la API del motor y el progreso se muestra en la interfaz.

La interfaz está escrita en HTML, CSS y JavaScript, mientras que el backend está desarrollado en Python. La ventana se abre mediante pywebview y WebView2; si esto falla, se utiliza Edge o Chrome en modo aplicación. La API local está protegida con un token de sesión aleatorio y la validación de la cabecera Host, de modo que una página web corriente no debería obtener acceso libre a las funciones del sistema de la aplicación.

El autor también incorporó la migración del almacenamiento de modelos entre unidades, la reversión en caso de error, la finalización de procesos de Ollama mediante WinAPI y el almacenamiento de chats en localStorage. El código fuente está publicado bajo la licencia MIT y existe un modo de demostración que no requiere descargar Ollama ni modelos.

Donde sigue siendo necesaria la cautela

El ejecutable precompilado no está firmado, por lo que Windows SmartScreen muestra una advertencia y el antivirus puede desconfiar del empaquetado con PyInstaller. El código fuente es abierto, pero eso no sustituye la auditoría de una compilación concreta. Para un ordenador de trabajo, resulta más sensato examinar el repositorio y compilar la aplicación por cuenta propia.

Hay además una salvedad más seria: el autor no ha ejecutado una eliminación real de Ollama junto con modelos reales. Este escenario se comprobó en el modo de demostración y en una copia de la aplicación con directorios sustituidos. Tampoco se han probado en condiciones reales la reinstalación de Ollama en otra carpeta ni la actualización del motor real. Por ello, de momento conviene considerar experimental la función "eliminar todo" y guardar previamente los modelos y chats necesarios.

La conclusión práctica es sencilla: Local AI ya sirve como una interfaz cómoda para ejecutar Ollama en casa y como una buena colección de patrones para desarrolladores de aplicaciones de Windows. Sin embargo, la recomendación automática de modelos debe tomarse como punto de partida, y las operaciones de migración, actualización y eliminación deben probarse en una máquina de pruebas. El proyecto acorta el camino hasta el primer chat local, pero no elimina la prudencia habitual de la ingeniería.