Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарHabr AI→ оригинал

Инженер запустил 125-миллиардную модель на домашнем ПК и получил 22–25 токенов в секунду

Банки и госкорпорации не пускают код и задачи в облачные ИИ-сервисы, поэтому автор поставил под стол модель на 125 млрд параметров: видеокарта 16 ГБ и 128 ГБ обычной памяти. Это MoE: на каждый токен (кусочек слова) работают лишь ~6 млрд параметров. Движок Strata выдаёт 22–25 токенов в секунду, а сжатая версия совпадает с 8-битным эталоном в 93,1% случаев. Для массовых агентных задач с закрытыми данными локальный контур уже рабочий.

AI-обработка оригинала Habr AI; редакция Hamidun News
Инженер запустил 125-миллиардную модель на домашнем ПК и получил 22–25 токенов в секунду
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1Обновление движка дало +79% к скорости генерации ответа
Больший pagefile на Windowsс 15,1 до 22,3 токена/с (+48%)
Ключевой факт #3Второй параллельный слот режет скорость на запрос примерно вдвое

Представьте: ваши ИИ-агенты пишут код, разбирают инциденты по логам и ведут бэклог, а служба безопасности заказчика спрашивает, куда уходят постановки задач, куски кода и данные. Если ответ «на чужие серверы в облаке», разговор часто заканчивается. Автор разбора работает с госкорпорациями, банками и промышленными холдингами и решил проблему радикально: поставил под рабочий стол модель на 125 млрд параметров (так измеряют размер нейросети; «125B» в заголовке — именно это). Она работает на видеокарте с 16 ГБ памяти и выдаёт 22–25 токенов в секунду. Токен — это кусочек слова, так что цифра означает скорость, с которой модель «печатает» ответ. Ни один байт данных при этом не покидает периметр компании.

Почему облако и маскирование не закрывают вопрос

В облачный API при работе агентов уходит больше, чем кажется: названия проектов, контрагенты, суммы, URL внутренних систем, схемы баз данных, иногда ключи доступа. Добавьте метаданные: кто, когда и сколько спрашивал. К этому прибавляются требования 152-ФЗ, политики хранения запросов, которые меняются одним анонсом, лимиты на параллельных субагентов и счета: один агент-расследователь за вечер может съесть миллионы входных токенов.

Маскирование (замена имён, ИНН и сумм на плейсхолдеры) помогает, но решает задачу лишь частично. Контракт и заказчика можно угадать по структуре JSON и идентификаторам задач. Если заменить отрасль на ORG_1, а продукт на PRODUCT_2, модель теряет отраслевой смысл и начинает путаться. Код и конфиги регэкспом не очистить, метаданные остаются, а сам конвейер маскировки приходится поддерживать. Вывод автора: задачи с кодом и внутренними данными должны решаться только локально.

Как 125B помещается в 16 ГБ видеопамяти

Модели класса 30–35B автор пробовал: для длинного контекста, строгого формата ответа и вызова инструментов их не хватило. Обычная («плотная») модель на 125B на домашнем железе дала бы единицы токенов в минуту, ведь на каждый токен пришлось бы пройти все 65 ГБ весов даже в 4-битном виде. Выручила архитектура MoE, «смесь экспертов»: на каждый токен работают лишь около 6 млрд параметров, остальные эксперты лежат в оперативной памяти и подгружаются по необходимости. Ещё около 51 млрд параметров приходится на таблицы n-грамм, которые читаются из RAM построчно. В видеопамяти остаются слой внимания, общие слои и «горячие» эксперты.

Железо обычное: RTX 5060 Ti на 16 ГБ, старый Xeon E5-2640 v3 на 8 ядер, 128 ГиБ DDR4. Главный тормоз — скорость памяти: около 25 ГБ/с на случайных чтениях экспертов. Старт был слабым: в LM Studio около 3 токенов в секунду, после ручного тюнинга llama.cpp — 9,2. Движок Strata (лицензия MIT), написанный именно под эту архитектуру, после калибровки под железо дал около 437 токенов/с на разборе промпта и 25–28 токенов/с на генерации с квантом IQ3_S. Это примерно втрое быстрее лучшего результата llama.cpp. Итоговые 22–25 токенов/с получились на более точном кванте с нативным контекстом 262 144 токена.

Что дало прирост, а что нет

  • Версия движка. Обновление Strata вместе со спекулятивным декодером (он «угадывает» несколько токенов вперёд) дало +79% к скорости генерации. После каждого обновления автор советует перекалибровывать параметры.
  • Квант. Выбор определяет не качество, а раскладка видеопамяти. Основной вариант совпадает с 8-битным эталоном в 93,1% случаев.
  • Pagefile на Windows. Ограничителем оказалась не физическая память, а commit limit (RAM плюс файл подкачки). После увеличения pagefile генерация выросла с 15,1 до 22,3 токена/с (+48%).
  • Контекст и слоты. Длинный контекст почти бесплатен, а параллельные слоты дороги: второй слот отъедает видеопамять у кеша экспертов и режет скорость на запрос примерно вдвое.

Ограничения и практический вывод

Это личный опыт на конкретном железе, а не независимый бенчмарк. Цифры зависят от скорости памяти, версии движка и длины промпта, поэтому автор сравнивает конфигурации только на одинаковых промптах около 10 тысяч токенов. Одновременная работа нескольких агентов на такой станции ограничена.

Практический итог для команд. Если у вас чувствительные данные или жёсткие требования ИБ, не начинайте с маскирования: оцените локальный контур с MoE-моделью. Закладывайте время на калибровку и не экономьте на объёме оперативной памяти. Результат зависит и от подготовки: скиллы с отлаженными процессами, заранее собранные факт-базы и проверяемый результат (тесты, гейты, e2e) важнее скорости генерации. Локальный контур заодно служит резервным каналом на случай пропавших подписок или интернета. Прогноз автора: гибрид, где облако отвечает за дизайн и сложные решения, а локальная модель берёт массовые волны задач и всё чувствительное, станет нормой для команд разработки в ближайшие один-два года.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: почему облако и маскирование не закрывают вопрос?

В облачный API при работе агентов уходит больше, чем кажется: названия проектов, контрагенты, суммы, URL внутренних систем, схемы баз данных, иногда ключи доступа. Добавьте метаданные: кто, когда и сколько спрашивал. К этому прибавляются требования 152-ФЗ, политики хранения запросов, которые меняются одним анонсом, лимиты на параллельных субагентов и счета: один агент-расследователь за вечер может съесть миллионы входных токенов.

Что известно по теме: как 125B помещается в 16 ГБ видеопамяти?

Модели класса 30–35B автор пробовал: для длинного контекста, строгого формата ответа и вызова инструментов их не хватило. Обычная («плотная») модель на 125B на домашнем железе дала бы единицы токенов в минуту, ведь на каждый токен пришлось бы пройти все 65 ГБ весов даже в 4-битном виде. Выручила архитектура MoE, «смесь экспертов»: на каждый токен работают лишь около 6 млрд параметров, остальные эксперты лежат в оперативной памяти и подгружаются по необходимости.

Что известно по теме: что дало прирост, а что нет?

Версия движка. Обновление Strata вместе со спекулятивным декодером (он «угадывает» несколько токенов вперёд) дало +79% к скорости генерации. После каждого обновления автор советует перекалибровывать параметры. Квант. Выбор определяет не качество, а раскладка видеопамяти. Основной вариант совпадает с 8-битным эталоном в 93,1% случаев. Pagefile на Windows. Ограничителем оказалась не физическая память, а commit limit (RAM плюс файл подкачки). После увеличения pagefile генерация выросла с 15,1 до 22,3 токена/с (+48%).

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…