Local AI подбирает модель под железо и разворачивает Ollama из 42-МБ файла

Локальные модели на Windows давно перестали быть экзотикой, но их установка всё ещё напоминает мелкий системный квест. Нужно найти Ollama, выбрать правильный тег модели, прикинуть расход видеопамяти, дождаться загрузки нескольких гигабайт и подобрать интерфейс. Для знакомого разработчика это вечерняя настройка. Для человека, который просто хочет приватный чат на своём компьютере, — несколько точек, где легко сдаться.

Разработчик под ником OlegChe77 собрал эти шаги в Local AI — открытую утилиту для Windows 10 и 11. Один файл размером около 42 МБ определяет конфигурацию компьютера, предлагает подходящую модель из каталога, устанавливает Ollama и открывает чат. Диалоги идут на локальный адрес 127.0.0.1; интернет требуется для загрузки компонентов и проверки обновлений.

Как выглядит установка на практике

Допустим, в компьютере стоят RTX 3070 с 8 ГБ видеопамяти и 32 ГБ оперативной памяти. Local AI получает характеристики видеокарты через nvidia-smi, объём ОЗУ — через Windows API, а свободное место проверяет именно на диске будущей папки моделей. Затем программа оценивает полный расход памяти: размер файла модели умножается на 1,2, после чего добавляется запас 0,6 ГБ на контекст и буферы.

Если результат помещается в 95% видеопамяти, модель считается подходящей для GPU. Если она занимает не более 70% оперативной памяти, допускается смешанный режим или работа на процессоре. Из основных вариантов программа рекомендует самую крупную модель, которая целиком помещается в видеопамять. Без дискретной видеокарты выбор ограничивается моделями размером до 5 ГБ.

Это полезная защита от очевидной ошибки: пользователь не скачает тяжёлую модель, которая заведомо не помещается ни в память, ни на диск. Но это именно эвристика, а не измерение реальной производительности. Скорость зависит от квантования, длины контекста, версии Ollama, драйверов и того, какую часть модели движок действительно разместит на GPU.

Инженерные детали ценнее кнопки

Проект интересен разбором типичных проблем настольного приложения. Установщик Ollama весит около 1,6 ГБ, поэтому загрузка поддерживает продолжение через HTTP Range. Перед запуском Local AI проверяет цифровую подпись файла и ожидает валидного подписанта Ollama. Модель загружается через API движка, а прогресс выводится в интерфейсе.

Сам интерфейс написан на HTML, CSS и JavaScript, серверная часть — на Python. Окно открывается через pywebview и WebView2, а при сбое используется Edge или Chrome в режиме приложения. Локальный API защищён случайным токеном сессии и проверкой заголовка Host: обычная веб-страница не должна получить свободный доступ к системным функциям программы.

Автор также предусмотрел перенос хранилища моделей между дисками, откат при ошибке, остановку процессов Ollama через WinAPI и сохранение чатов в localStorage. Исходники опубликованы под лицензией MIT, есть демонстрационный режим без загрузки Ollama и моделей.

Где пока нужна осторожность

Готовый exe не подписан, поэтому Windows SmartScreen показывает предупреждение, а антивирус может насторожиться из-за упаковки PyInstaller. Исходный код открыт, но это не заменяет аудит конкретной сборки. Для рабочего компьютера разумнее изучить репозиторий и собрать приложение самостоятельно.

Есть и более серьёзная оговорка: настоящее удаление Ollama вместе с реальными моделями автор не запускал. Этот сценарий проверялся в демонстрационном режиме и на копии приложения с подменёнными каталогами. Не проверены вживую также переустановка Ollama в другую папку и обновление реального движка. Поэтому функцию «удалить всё» пока лучше считать экспериментальной и заранее сохранять нужные модели и чаты.

Практический вывод простой: Local AI уже годится как удобная оболочка для домашнего запуска Ollama и как хороший набор рецептов для разработчиков Windows-приложений. Но автоматическую рекомендацию модели стоит воспринимать как отправную точку, а операции переноса, обновления и удаления — проверять на тестовой машине. Проект сокращает путь до первого локального чата, но не отменяет обычную инженерную осторожность.