Инженер запустил 125-миллиардную модель на домашнем ПК и получил 22–25 токенов в секунду
Банки и госкорпорации не пускают код и задачи в облачные ИИ-сервисы, поэтому автор поставил под стол модель на 125 млрд параметров: видеокарта 16 ГБ и 128 ГБ обычной памяти. Это MoE: на каждый токен (кусочек слова) работают лишь ~6 млрд параметров. Движок Strata выдаёт 22–25 токенов в секунду, а сжатая версия совпадает с 8-битным эталоном в 93,1% случаев. Для массовых агентных задач с закрытыми данными локальный контур уже рабочий.
AI-обработка оригинала Habr AI; редакция Hamidun News
Представьте: ваши ИИ-агенты пишут код, разбирают инциденты по логам и ведут бэклог, а служба безопасности заказчика спрашивает, куда уходят постановки задач, куски кода и данные. Если ответ «на чужие серверы в облаке», разговор часто заканчивается. Автор разбора работает с госкорпорациями, банками и промышленными холдингами и решил проблему радикально: поставил под рабочий стол модель на 125 млрд параметров (так измеряют размер нейросети; «125B» в заголовке — именно это). Она работает на видеокарте с 16 ГБ памяти и выдаёт 22–25 токенов в секунду. Токен — это кусочек слова, так что цифра означает скорость, с которой модель «печатает» ответ. Ни один байт данных при этом не покидает периметр компании.
Почему облако и маскирование не закрывают вопрос
В облачный API при работе агентов уходит больше, чем кажется: названия проектов, контрагенты, суммы, URL внутренних систем, схемы баз данных, иногда ключи доступа. Добавьте метаданные: кто, когда и сколько спрашивал. К этому прибавляются требования 152-ФЗ, политики хранения запросов, которые меняются одним анонсом, лимиты на параллельных субагентов и счета: один агент-расследователь за вечер может съесть миллионы входных токенов.
Маскирование (замена имён, ИНН и сумм на плейсхолдеры) помогает, но решает задачу лишь частично. Контракт и заказчика можно угадать по структуре JSON и идентификаторам задач. Если заменить отрасль на ORG_1, а продукт на PRODUCT_2, модель теряет отраслевой смысл и начинает путаться. Код и конфиги регэкспом не очистить, метаданные остаются, а сам конвейер маскировки приходится поддерживать. Вывод автора: задачи с кодом и внутренними данными должны решаться только локально.
Как 125B помещается в 16 ГБ видеопамяти
Модели класса 30–35B автор пробовал: для длинного контекста, строгого формата ответа и вызова инструментов их не хватило. Обычная («плотная») модель на 125B на домашнем железе дала бы единицы токенов в минуту, ведь на каждый токен пришлось бы пройти все 65 ГБ весов даже в 4-битном виде. Выручила архитектура MoE, «смесь экспертов»: на каждый токен работают лишь около 6 млрд параметров, остальные эксперты лежат в оперативной памяти и подгружаются по необходимости. Ещё около 51 млрд параметров приходится на таблицы n-грамм, которые читаются из RAM построчно. В видеопамяти остаются слой внимания, общие слои и «горячие» эксперты.
Железо обычное: RTX 5060 Ti на 16 ГБ, старый Xeon E5-2640 v3 на 8 ядер, 128 ГиБ DDR4. Главный тормоз — скорость памяти: около 25 ГБ/с на случайных чтениях экспертов. Старт был слабым: в LM Studio около 3 токенов в секунду, после ручного тюнинга llama.cpp — 9,2. Движок Strata (лицензия MIT), написанный именно под эту архитектуру, после калибровки под железо дал около 437 токенов/с на разборе промпта и 25–28 токенов/с на генерации с квантом IQ3_S. Это примерно втрое быстрее лучшего результата llama.cpp. Итоговые 22–25 токенов/с получились на более точном кванте с нативным контекстом 262 144 токена.
Что дало прирост, а что нет
- Версия движка. Обновление Strata вместе со спекулятивным декодером (он «угадывает» несколько токенов вперёд) дало +79% к скорости генерации. После каждого обновления автор советует перекалибровывать параметры.
- Квант. Выбор определяет не качество, а раскладка видеопамяти. Основной вариант совпадает с 8-битным эталоном в 93,1% случаев.
- Pagefile на Windows. Ограничителем оказалась не физическая память, а commit limit (RAM плюс файл подкачки). После увеличения pagefile генерация выросла с 15,1 до 22,3 токена/с (+48%).
- Контекст и слоты. Длинный контекст почти бесплатен, а параллельные слоты дороги: второй слот отъедает видеопамять у кеша экспертов и режет скорость на запрос примерно вдвое.
Ограничения и практический вывод
Это личный опыт на конкретном железе, а не независимый бенчмарк. Цифры зависят от скорости памяти, версии движка и длины промпта, поэтому автор сравнивает конфигурации только на одинаковых промптах около 10 тысяч токенов. Одновременная работа нескольких агентов на такой станции ограничена.
Практический итог для команд. Если у вас чувствительные данные или жёсткие требования ИБ, не начинайте с маскирования: оцените локальный контур с MoE-моделью. Закладывайте время на калибровку и не экономьте на объёме оперативной памяти. Результат зависит и от подготовки: скиллы с отлаженными процессами, заранее собранные факт-базы и проверяемый результат (тесты, гейты, e2e) важнее скорости генерации. Локальный контур заодно служит резервным каналом на случай пропавших подписок или интернета. Прогноз автора: гибрид, где облако отвечает за дизайн и сложные решения, а локальная модель берёт массовые волны задач и всё чувствительное, станет нормой для команд разработки в ближайшие один-два года.
- 21 нояб. 2026 г.Apple готовит ИИ-агента и усложнила доступ чужим: разрешение теперь в 14 шагов, а не в 4
- 21 нояб. 2026 г.Программист перестал быть диспетчером ИИ-агентов: рутину передач взял Multica
- 21 нояб. 2026 г.Разработчик обошёлся без Pinecone: поиск по 72 450 фрагментам кода за 50 мс
- 21 нояб. 2026 г.Восемь open-source инструментов для ИИ-агентов: Browser Use лидирует со 121 тысячей звёзд
Вопросы и ответы по материалу
Что известно по теме: почему облако и маскирование не закрывают вопрос?
В облачный API при работе агентов уходит больше, чем кажется: названия проектов, контрагенты, суммы, URL внутренних систем, схемы баз данных, иногда ключи доступа. Добавьте метаданные: кто, когда и сколько спрашивал. К этому прибавляются требования 152-ФЗ, политики хранения запросов, которые меняются одним анонсом, лимиты на параллельных субагентов и счета: один агент-расследователь за вечер может съесть миллионы входных токенов.
Что известно по теме: как 125B помещается в 16 ГБ видеопамяти?
Модели класса 30–35B автор пробовал: для длинного контекста, строгого формата ответа и вызова инструментов их не хватило. Обычная («плотная») модель на 125B на домашнем железе дала бы единицы токенов в минуту, ведь на каждый токен пришлось бы пройти все 65 ГБ весов даже в 4-битном виде. Выручила архитектура MoE, «смесь экспертов»: на каждый токен работают лишь около 6 млрд параметров, остальные эксперты лежат в оперативной памяти и подгружаются по необходимости.
Что известно по теме: что дало прирост, а что нет?
Версия движка. Обновление Strata вместе со спекулятивным декодером (он «угадывает» несколько токенов вперёд) дало +79% к скорости генерации. После каждого обновления автор советует перекалибровывать параметры. Квант. Выбор определяет не качество, а раскладка видеопамяти. Основной вариант совпадает с 8-битным эталоном в 93,1% случаев. Pagefile на Windows. Ограничителем оказалась не физическая память, а commit limit (RAM плюс файл подкачки). После увеличения pagefile генерация выросла с 15,1 до 22,3 токена/с (+48%).
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.