Hugging Face и llama.cpp выпустили Llama for Windows весом 1 МБ: ИИ без терминала
Запуск нейросети на своём ноутбуке обычно требует терминала и ручного подбора настроек. Hugging Face и llama.cpp выпустили Llama for Windows — утилиту для трея Windows 11 весом 1 МБ, которая запускает модель в один клик. Она сама выбирает квантование (степень сжатия весов) и контекст под вашу память. Кодинг-агент или IDE можно переключить на неё без облачных ключей.
AI-обработка оригинала TG: @cgevent (Метаверсище и ИИще); редакция Hamidun News
Запустить языковую модель у себя на компьютере всё ещё квест: нужно выбрать сборку, понять, какое квантование (степень сжатия весов модели) влезет в видеопамять, подобрать размер контекста, поднять сервер и только потом подключить к нему редактор кода. Hugging Face вместе с командой llama.cpp (популярного движка для запуска моделей на обычном железе) убирают этот квест.
На конференции Microsoft .NET Conf, в рамках кейнота, показали Llama for Windows — утилиту для системного трея Windows 11 весом всего 1 МБ. Представьте, что ваш кодинг-агент обычно ходит в облачную модель по платному ключу, а теперь вы меняете один адрес в настройках и он работает с моделью на вашем же ноутбуке.
Если вы разработчик или делаете продукты вокруг агентов, это самый короткий путь к такой проверке.
Что это такое и как запускается
Приложение живёт в трее рядом с часами. Вы выбираете модель, нажимаете кнопку, и на машине начинает работать локальный сервер инференса, то есть программа, которая отвечает на запросы к модели. Терминал и ручная настройка окружения не нужны. Для тех, кто привык к командной строке, есть установка одной командой в PowerShell. В ближайшее время утилита должна появиться и в официальном магазине Microsoft Store. Это удобно и для обычных пользователей, и для корпоративных ПК, где ставить программы из случайных источников не принято.
Для общения с моделью есть классический веб-интерфейс чата. Но главная часть, судя по анонсу, именно сервер.
Сервер, который притворяется облаком
Утилита поднимает локальный сервер на порту localhost:9931. Он полностью совместим с API OpenAI и Anthropic. На практике это значит, что любой инструмент, умеющий ходить в облачные модели по этим интерфейсам, можно переключить на локальный адрес. Кодинг-агенты, IDE и расширения не заметят подмены, а облачные API-ключи не понадобятся. Код и запросы остаются на вашей машине. Для тех, кто работает с закрытым репозиторием или не хочет платить за каждый токен в долгих сессиях агента, это серьёзный аргумент.
Самое любопытное здесь автоматическая подстройка. Движок сканирует конфигурацию ПК и сам выбирает уровень квантования весов, лимит контекста, пакетный размер и режим декодирования. Ориентиром служит объём оперативной и видеопамяти. Квантование можно представить как сжатие фотографии: чем сильнее сжали, тем меньше места занимает и тем быстрее грузится, но тем больше теряется качества. Раньше этот баланс приходилось подбирать вручную, перебирая файлы с обозначениями вроде Q4 или Q8. Теперь выбор берёт на себя программа. Автор исходного поста в шутку назвал её бухгалтером-аудитором токенов: она считает, сколько ресурсов есть, и раскладывает их по модели.
Экономия памяти и места на диске
Два решения нужны, чтобы утилита не мешала обычной работе за компьютером. Во-первых, все веса хранятся в единственном экземпляре в глобальном кэше Hugging Face и используются совместно с другими инструментами. Если вы уже скачивали модель через них, второй раз качать несколько гигабайт не придётся. Во-вторых, если сервер простаивает больше 5 минут, модель автоматически выгружается из памяти. Видеопамять освобождается для игр, рендера или другой нейросети, а при следующем запросе модель загрузится снова.
Что это значит на практике
Для разработчика это быстрый способ проверить, как агент или плагин ведёт себя с локальной моделью, без отдельной инфраструктуры. Для продакта это способ проверить гипотезу «а если данные не уходят в облако» на обычном рабочем ноутбуке. Для основателя это знак: локальный инференс из хобби энтузиастов становится частью экосистемы Windows, причём Microsoft сам стал площадкой анонса.
Пока известно не всё. В описании нет замеров скорости, списка поддерживаемых моделей и требований к железу. Качество ответов зависит от того, какую модель и в каком квантовании вы запустите: локальная модель на обычном ноутбуке не сравнится с большими облачными. Насколько утилита позволяет опытным пользователям вручную менять автоподобранные настройки, из анонса не видно. Релиз в Microsoft Store только ожидается, а детали известны из пересказа анонса, так что перед внедрением стоит проверить документацию.
Направление при этом понятное. Если локальный сервер с привычным API ставится за минуту и весит 1 МБ, порог входа в локальные модели заметно снижается.
- 20 нояб. 2026 г.74% покупателей верят советам ИИ-агентов, но 73% не доверят им оплату
- 20 нояб. 2026 г.Google сделала агента Gemini Spark бесплатным и назвала его Tasks
- 20 нояб. 2026 г.Abundant гоняет 2 млн песочниц в месяц и платит за средний расход, а не за пик
- 20 нояб. 2026 г.Локальный GLM 5.3 ускорил ИИ на ESP32-S3 на 100%, Qwen 3.8 27B — на 30%
Вопросы и ответы по материалу
Что известно по теме: что это такое и как запускается?
Приложение живёт в трее рядом с часами. Вы выбираете модель, нажимаете кнопку, и на машине начинает работать локальный сервер инференса, то есть программа, которая отвечает на запросы к модели. Терминал и ручная настройка окружения не нужны. Для тех, кто привык к командной строке, есть установка одной командой в PowerShell. В ближайшее время утилита должна появиться и в официальном магазине Microsoft Store.
Что известно по теме: сервер, который притворяется облаком?
Утилита поднимает локальный сервер на порту localhost:9931. Он полностью совместим с API OpenAI и Anthropic. На практике это значит, что любой инструмент, умеющий ходить в облачные модели по этим интерфейсам, можно переключить на локальный адрес. Кодинг-агенты, IDE и расширения не заметят подмены, а облачные API-ключи не понадобятся. Код и запросы остаются на вашей машине. Для тех, кто работает с закрытым репозиторием или не хочет платить за каждый токен в долгих сессиях агента, это серьёзный аргумент.
Что известно по теме: экономия памяти и места на диске?
Два решения нужны, чтобы утилита не мешала обычной работе за компьютером. Во-первых, все веса хранятся в единственном экземпляре в глобальном кэше Hugging Face и используются совместно с другими инструментами. Если вы уже скачивали модель через них, второй раз качать несколько гигабайт не придётся. Во-вторых, если сервер простаивает больше 5 минут, модель автоматически выгружается из памяти. Видеопамять освобождается для игр, рендера или другой нейросети, а при следующем запросе модель загрузится снова.
Соберите рабочего ИИ-агента или сервис своими руками без ручного кода
В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.