Local AI choisit le modèle adapté à votre machine et déploie Ollama à partir d'un fichier de 42 Mo

Les modèles locaux sous Windows ne sont plus depuis longtemps une curiosité, mais leur installation ressemble encore à une petite quête système. Il faut trouver Ollama, choisir le bon tag de modèle, estimer la consommation de mémoire vidéo, attendre le téléchargement de plusieurs gigaoctets et trouver une interface. Pour un développeur aguerri, c'est une soirée de configuration. Pour quelqu'un qui veut simplement un chat privé sur son ordinateur, ce sont autant d'occasions d'abandonner.

Le développeur connu sous le pseudo OlegChe77 a réuni ces étapes dans Local AI, un utilitaire ouvert pour Windows 10 et 11. Un seul fichier d'environ 42 Mo détecte la configuration de l'ordinateur, propose un modèle adapté dans son catalogue, installe Ollama et ouvre un chat. Les conversations passent par l'adresse locale 127.0.0.1 ; Internet n'est nécessaire que pour télécharger les composants et vérifier les mises à jour.

À quoi ressemble l'installation en pratique

Prenons un ordinateur équipé d'une RTX 3070 avec 8 Go de mémoire vidéo et de 32 Go de RAM. Local AI récupère les caractéristiques de la carte graphique via nvidia-smi, la quantité de RAM via l'API Windows, et vérifie l'espace libre précisément sur le disque du futur dossier des modèles. Le programme estime ensuite la consommation totale de mémoire : la taille du fichier du modèle est multipliée par 1,2, puis une marge de 0,6 Go est ajoutée pour le contexte et les tampons.

Si le résultat tient dans 95 % de la mémoire vidéo, le modèle est jugé adapté au GPU. S'il occupe au plus 70 % de la RAM, un mode mixte ou un fonctionnement sur processeur est autorisé. Parmi les options principales, le programme recommande le plus grand modèle qui tient entièrement dans la mémoire vidéo. Sans carte graphique dédiée, le choix se limite aux modèles allant jusqu'à 5 Go.

C'est une protection utile contre une erreur évidente : l'utilisateur ne téléchargera pas un modèle lourd qui ne tiendra manifestement ni en mémoire ni sur le disque. Mais il s'agit bien d'une heuristique, et non d'une mesure des performances réelles. La vitesse dépend de la quantification, de la longueur du contexte, de la version d'Ollama, des pilotes et de la part du modèle que le moteur place réellement sur le GPU.

Les détails d'ingénierie valent plus que le bouton

Le projet est intéressant par son traitement des problèmes typiques d'une application de bureau. L'installateur d'Ollama pèse environ 1,6 Go ; le téléchargement prend donc en charge la reprise via HTTP Range. Avant le lancement, Local AI vérifie la signature numérique du fichier et attend un signataire Ollama valide. Le modèle est téléchargé via l'API du moteur, et la progression s'affiche dans l'interface.

L'interface est écrite en HTML, CSS et JavaScript, la partie serveur en Python. La fenêtre s'ouvre via pywebview et WebView2 ; en cas d'échec, Edge ou Chrome est utilisé en mode application. L'API locale est protégée par un jeton de session aléatoire et par la vérification de l'en-tête Host : une page web ordinaire ne doit pas obtenir un accès libre aux fonctions système du programme.

L'auteur a aussi prévu le déplacement du stockage des modèles entre disques, un retour arrière en cas d'erreur, l'arrêt des processus Ollama via WinAPI et l'enregistrement des chats dans localStorage. Le code source est publié sous licence MIT, et un mode démonstration permet de tester sans télécharger Ollama ni les modèles.

Où rester prudent

L'exe prêt à l'emploi n'est pas signé : Windows SmartScreen affiche donc un avertissement, et l'antivirus peut se montrer méfiant à cause de l'empaquetage PyInstaller. Le code source est ouvert, mais cela ne remplace pas l'audit d'une build précise. Pour un poste de travail, il est plus raisonnable d'étudier le dépôt et de compiler l'application soi-même.

Une réserve plus sérieuse s'ajoute : l'auteur n'a pas lancé la véritable désinstallation d'Ollama avec les vrais modèles. Ce scénario a été testé en mode démonstration et sur une copie de l'application avec des répertoires substitués. La réinstallation d'Ollama dans un autre dossier et la mise à jour du moteur réel n'ont pas non plus été vérifiées en conditions réelles. Il vaut donc mieux considérer pour l'instant la fonction « tout supprimer » comme expérimentale et sauvegarder au préalable les modèles et les chats utiles.

La conclusion pratique est simple : Local AI est déjà utilisable comme interface pratique pour lancer Ollama à domicile, et comme bon recueil de recettes pour les développeurs d'applications Windows. Mais la recommandation automatique de modèle doit être prise comme un point de départ, et les opérations de déplacement, de mise à jour et de suppression doivent être testées sur une machine d'essai. Le projet raccourcit le chemin jusqu'au premier chat local, sans dispenser de la prudence habituelle en ingénierie.