Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизОткрытые веса · В работуTG: @cgevent (Метаверсище и ИИще)→ оригинал

Hugging Face и llama.cpp выпустили Llama for Windows весом 1 МБ: ИИ без терминала

Запуск нейросети на своём ноутбуке обычно требует терминала и ручного подбора настроек. Hugging Face и llama.cpp выпустили Llama for Windows — утилиту для трея Windows 11 весом 1 МБ, которая запускает модель в один клик. Она сама выбирает квантование (степень сжатия весов) и контекст под вашу память. Кодинг-агент или IDE можно переключить на неё без облачных ключей.

AI-обработка оригинала TG: @cgevent (Метаверсище и ИИще); редакция Hamidun News
Hugging Face и llama.cpp выпустили Llama for Windows весом 1 МБ: ИИ без терминала
Источник: TG: @cgevent (Метаверсище и ИИще). Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникTG: @cgevent (Метаверсище и ИИще) ↗
Главный редактор
Сервер на localhost9931 совместим с API OpenAI и Anthropic
Ключевой факт #2Через 5 минут простоя модель выгружается из памяти
Ключевой факт #3Веса хранятся в одном экземпляре в кэше Hugging Face

Запустить языковую модель у себя на компьютере всё ещё квест: нужно выбрать сборку, понять, какое квантование (степень сжатия весов модели) влезет в видеопамять, подобрать размер контекста, поднять сервер и только потом подключить к нему редактор кода. Hugging Face вместе с командой llama.cpp (популярного движка для запуска моделей на обычном железе) убирают этот квест.

На конференции Microsoft .NET Conf, в рамках кейнота, показали Llama for Windows — утилиту для системного трея Windows 11 весом всего 1 МБ. Представьте, что ваш кодинг-агент обычно ходит в облачную модель по платному ключу, а теперь вы меняете один адрес в настройках и он работает с моделью на вашем же ноутбуке.

Если вы разработчик или делаете продукты вокруг агентов, это самый короткий путь к такой проверке.

Что это такое и как запускается

Приложение живёт в трее рядом с часами. Вы выбираете модель, нажимаете кнопку, и на машине начинает работать локальный сервер инференса, то есть программа, которая отвечает на запросы к модели. Терминал и ручная настройка окружения не нужны. Для тех, кто привык к командной строке, есть установка одной командой в PowerShell. В ближайшее время утилита должна появиться и в официальном магазине Microsoft Store. Это удобно и для обычных пользователей, и для корпоративных ПК, где ставить программы из случайных источников не принято.

Для общения с моделью есть классический веб-интерфейс чата. Но главная часть, судя по анонсу, именно сервер.

Сервер, который притворяется облаком

Утилита поднимает локальный сервер на порту localhost:9931. Он полностью совместим с API OpenAI и Anthropic. На практике это значит, что любой инструмент, умеющий ходить в облачные модели по этим интерфейсам, можно переключить на локальный адрес. Кодинг-агенты, IDE и расширения не заметят подмены, а облачные API-ключи не понадобятся. Код и запросы остаются на вашей машине. Для тех, кто работает с закрытым репозиторием или не хочет платить за каждый токен в долгих сессиях агента, это серьёзный аргумент.

Самое любопытное здесь автоматическая подстройка. Движок сканирует конфигурацию ПК и сам выбирает уровень квантования весов, лимит контекста, пакетный размер и режим декодирования. Ориентиром служит объём оперативной и видеопамяти. Квантование можно представить как сжатие фотографии: чем сильнее сжали, тем меньше места занимает и тем быстрее грузится, но тем больше теряется качества. Раньше этот баланс приходилось подбирать вручную, перебирая файлы с обозначениями вроде Q4 или Q8. Теперь выбор берёт на себя программа. Автор исходного поста в шутку назвал её бухгалтером-аудитором токенов: она считает, сколько ресурсов есть, и раскладывает их по модели.

Экономия памяти и места на диске

Два решения нужны, чтобы утилита не мешала обычной работе за компьютером. Во-первых, все веса хранятся в единственном экземпляре в глобальном кэше Hugging Face и используются совместно с другими инструментами. Если вы уже скачивали модель через них, второй раз качать несколько гигабайт не придётся. Во-вторых, если сервер простаивает больше 5 минут, модель автоматически выгружается из памяти. Видеопамять освобождается для игр, рендера или другой нейросети, а при следующем запросе модель загрузится снова.

Что это значит на практике

Для разработчика это быстрый способ проверить, как агент или плагин ведёт себя с локальной моделью, без отдельной инфраструктуры. Для продакта это способ проверить гипотезу «а если данные не уходят в облако» на обычном рабочем ноутбуке. Для основателя это знак: локальный инференс из хобби энтузиастов становится частью экосистемы Windows, причём Microsoft сам стал площадкой анонса.

Пока известно не всё. В описании нет замеров скорости, списка поддерживаемых моделей и требований к железу. Качество ответов зависит от того, какую модель и в каком квантовании вы запустите: локальная модель на обычном ноутбуке не сравнится с большими облачными. Насколько утилита позволяет опытным пользователям вручную менять автоподобранные настройки, из анонса не видно. Релиз в Microsoft Store только ожидается, а детали известны из пересказа анонса, так что перед внедрением стоит проверить документацию.

Направление при этом понятное. Если локальный сервер с привычным API ставится за минуту и весит 1 МБ, порог входа в локальные модели заметно снижается.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что это такое и как запускается?

Приложение живёт в трее рядом с часами. Вы выбираете модель, нажимаете кнопку, и на машине начинает работать локальный сервер инференса, то есть программа, которая отвечает на запросы к модели. Терминал и ручная настройка окружения не нужны. Для тех, кто привык к командной строке, есть установка одной командой в PowerShell. В ближайшее время утилита должна появиться и в официальном магазине Microsoft Store.

Что известно по теме: сервер, который притворяется облаком?

Утилита поднимает локальный сервер на порту localhost:9931. Он полностью совместим с API OpenAI и Anthropic. На практике это значит, что любой инструмент, умеющий ходить в облачные модели по этим интерфейсам, можно переключить на локальный адрес. Кодинг-агенты, IDE и расширения не заметят подмены, а облачные API-ключи не понадобятся. Код и запросы остаются на вашей машине. Для тех, кто работает с закрытым репозиторием или не хочет платить за каждый токен в долгих сессиях агента, это серьёзный аргумент.

Что известно по теме: экономия памяти и места на диске?

Два решения нужны, чтобы утилита не мешала обычной работе за компьютером. Во-первых, все веса хранятся в единственном экземпляре в глобальном кэше Hugging Face и используются совместно с другими инструментами. Если вы уже скачивали модель через них, второй раз качать несколько гигабайт не придётся. Во-вторых, если сервер простаивает больше 5 минут, модель автоматически выгружается из памяти. Видеопамять освобождается для игр, рендера или другой нейросети, а при следующем запросе модель загрузится снова.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…