Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РелизРазбор · На радарHabr AI→ оригинал

LLM на VPS без видеокарты: 4B-модели сортируют обращения с точностью 90% за 3–5 с

Автор Habr проверил, хватит ли VPS с 8 ГБ памяти без видеокарты для рутины вроде сортировки обращений в поддержку. Лучшие модели на 2–4 млрд параметров определяли тему обращения за 3–5 секунд с точностью около 90%, а ответ по базе знаний занимал 0,5–2,5 минуты. Для фоновых задач этого хватает, для живого чата — нет. Берите модель на 2–4B и ставьте общую инструкцию в начало промпта.

AI-обработка оригинала Habr AI; редакция Hamidun News
LLM на VPS без видеокарты: 4B-модели сортируют обращения с точностью 90% за 3–5 с
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Кэш инструкцииQVikhr-3-4B отвечала за 3,8 с вместо 12,4 с без него
Ключевой факт #2На 326 обращениях 9 из 10 моделей дали точность 87–92%
Ключевой факт #3d1-2B при пороге 0,9 сама закрыла 69% обращений с точностью 97%

Представьте интернет-магазин, в поддержку которого каждый день приходят сотни писем: «где мой заказ», «хочу вернуть товар», «не работает промокод». Их нужно разложить по категориям, и делать это хочется на собственном недорогом сервере, а не в облачном API: данные клиентов остаются у вас, а счёт не растёт вместе с числом запросов. Видеокарта в аренду при этом стоит дорого.

Автор Habr выпустил вторую часть теста лёгких языковых моделей на обычном VPS без видеокарты и учёл критику из комментариев к первой. Главный итог: на сервере с 8 ГБ оперативной памяти лучшие модели размером 2–4 млрд параметров (2–4B) относили обращение к нужной категории за 3–5 секунд, и примерно 9 из 10 раз выбор был верным (точность около 90%). Ответы по базе знаний и краткие резюме документов занимали от 0,5 до 2,5 минуты: для фоновой обработки это нормально, для чата с клиентом — слишком долго.

Стенд и что исправили после критики

Тестировали на VPS у JustHost: 5 vCPU Intel Xeon Gold 6148, 8 ГБ RAM, swap 4 ГБ, Ubuntu 24.04, Ollama 0.35.0 в Docker. Модели брали в квантизации Q4_K_M. К лидерам первой части (QVikhr-3-4B, qwen3.5:2b и 4b, gemma3:4b, granite4:micro-h) добавили пять моделей покрупнее: GigaChat 3.1 Lightning, T-lite-it-2.1, YandexGPT-5-Lite-8B, Qwen3-8B и GLM-4-9B. Для классификации подключили ещё и d1-2B от Liquid AI.

Читатели ругали первую часть за отсутствие повторов, замеров без кэша и крошечные выборки. Теперь у всех моделей одинаковый промпт, температура 0, seed 42, а классификацию на 326 обращениях прогнали дважды: все 10 моделей дали те же ответы во всех случаях. Показатель steal (насколько соседи по хосту отнимают процессор) за 41 час нагрузки в среднем составил 0,2%, так что шум от виртуализации был минимальным.

Память важнее процессора, а кэш важнее модели

Переход с 4 на 8 ГБ убрал падения по нехватке памяти на длинных текстах и почти весь обмен со swap. Например, QVikhr-3-4B отвечала по базе знаний за 73 секунды вместо 94, а обмен со swap упал с 9,1 ГБ до 43 МБ. gemma3:4b на 4 ГБ на этом сценарии падала, а на 8 ГБ верно ответила на 14 вопросов из 15. Пятый vCPU добавил лишь 20–25% к скорости чтения промпта и около 10% к генерации — лишняя память полезнее лишнего ядра.

Сильнее всего на скорость влияет структура промпта. Если все запросы начинаются с одной и той же инструкции, модель запоминает её и читает только изменяемую часть — текст обращения. Если инструкцию приходится читать заново, время растёт в 2–3 раза: QVikhr-3-4B с кэшем классифицировала обращение за 3,8 секунды, без него — за 12,4. Практическое правило: общая инструкция в начале, текст клиента в конце. У гибридных qwen3.5 кэш вёл себя непредсказуемо: qwen3.5:2b начала брать промпт из кэша лишь после 116 запросов, а qwen3.5:4b в нагрузочном тесте так этого и не сделала.

Точность, размер модели и нагрузка

В первом тесте на 20 обращениях семь моделей показали 100%, но на 326 обращениях 9 из 10 моделей получили 87–92%. Разница между лидерами в 2–3 пункта — в пределах статистической погрешности, поэтому выбирать стоит по скорости и памяти, а проверять модель — на сотнях своих примеров. Эталонную разметку для 326 обращений сделали модели; автор вслепую разметил 50 случайных обращений, и с эталоном совпали 45.

Модели на 8–10B не обогнали лучшие 4B и работали медленнее. Исключение по скорости — GigaChat 3.1 Lightning: у неё 10B параметров, но благодаря архитектуре MoE на каждый токен работает лишь 1,8B. Если нужна российская модель, берите её.

Ollama обрабатывает запросы по очереди, поэтому при четырёх клиентах каждый ждёт примерно вчетверо дольше, а число запросов в час не растёт. С общим промптом QVikhr и GigaChat обрабатывали 750–1000 коротких запросов в час, без кэша — около 300. На длинных запросах (около 2500 токенов на входе) лучшей была qwen3.5:2b — 104 запроса в час против 48 у QVikhr-3-4B.

Отдельно стоит d1-2B: она не генерирует текст, а за один проход выдаёт вероятность каждой категории. По точности она на уровне генеративных моделей, но при пороге 0,9 сама взяла бы на себя 69% обращений с точностью 97%, а остальные передала бы человеку. Для поддержки, где ошибка дороже лишней ручной проверки, это удобный вариант. Ей понадобилась отдельная Ollama 0.40.15 и параметр num_batch 2048, иначе обращение в 946 токенов возвращало ошибку.

Ещё одна практическая деталь: на сервере с 8 ГБ кэш промптов в Ollama по умолчанию может занять всю память, и у qwen3.5:4b это приводило к сбоям. Помогло добавление LLAMA_ARG_CACHE_RAM=1024 в настройки. Датасеты, скрипты и сырые ответы лежат в репозитории github.com/alvec7/llm-cpu-bench.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: стенд и что исправили после критики?

Тестировали на VPS у JustHost: 5 vCPU Intel Xeon Gold 6148, 8 ГБ RAM, swap 4 ГБ, Ubuntu 24.04, Ollama 0.35.0 в Docker. Модели брали в квантизации Q4_K_M. К лидерам первой части (QVikhr-3-4B, qwen3.5:2b и 4b, gemma3:4b, granite4:micro-h) добавили пять моделей покрупнее: GigaChat 3.1 Lightning, T-lite-it-2.1, YandexGPT-5-Lite-8B, Qwen3-8B и GLM-4-9B. Для классификации подключили ещё и d1-2B от Liquid AI. Читатели ругали первую часть за отсутствие повторов, замеров без кэша и крошечные выборки.

Что известно по теме: память важнее процессора, а кэш важнее модели?

Переход с 4 на 8 ГБ убрал падения по нехватке памяти на длинных текстах и почти весь обмен со swap. Например, QVikhr-3-4B отвечала по базе знаний за 73 секунды вместо 94, а обмен со swap упал с 9,1 ГБ до 43 МБ. gemma3:4b на 4 ГБ на этом сценарии падала, а на 8 ГБ верно ответила на 14 вопросов из 15. Пятый vCPU добавил лишь 20–25% к скорости чтения промпта и около 10% к генерации — лишняя память полезнее лишнего ядра. Сильнее всего на скорость влияет структура промпта.

Что известно по теме: точность, размер модели и нагрузка?

В первом тесте на 20 обращениях семь моделей показали 100%, но на 326 обращениях 9 из 10 моделей получили 87–92%. Разница между лидерами в 2–3 пункта — в пределах статистической погрешности, поэтому выбирать стоит по скорости и памяти, а проверять модель — на сотнях своих примеров. Эталонную разметку для 326 обращений сделали модели; автор вслепую разметил 50 случайных обращений, и с эталоном совпали 45. Модели на 8–10B не обогнали лучшие 4B и работали медленнее.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…