QVikhr-3-4B на VPS за 1,5 тыс. ₽ без GPU верно разметила 20 обращений из 20

Многие рабочие задачи с текстом — разобрать обращение в поддержку, достать телефон и бюджет из письма, понять, доволен ли автор отзыва, — не требуют дорогой фронтирной модели, это как забивать гвозди микроскопом. Но запускать большую открытую модель у себя сложно: нужны GPU, которые ещё надо найти, а отдавать данные клиентов в облачный API хочется не всем, да и законы о персональных данных подталкивают к локальному запуску. Автор статьи на Habr проверил самый бюджетный вариант: VPS у Justhost.

ru с шаблоном Ollama за 1,5 тыс. ₽ в месяц (4 vCPU Intel Xeon Gold 6148, 4 ГБ RAM, без видеокарты). На нём он прогнал девять лёгких моделей на семи бизнес-задачах и нагрузочном тесте.

Итог: лучшая из них, QVikhr-3-4B, правильно определила категорию у всех 20 обращений из 20 (100%), тратя по 3,5 сек на каждое. Практический смысл: короткую текстовую рутину можно отдать такому серверу, но ответы модели стоит проверять кодом, а длинные тексты оставлять для фоновой обработки.

Что за сервер и какие модели участвовали

В тест попали llama3.2:1b (она предустановлена в шаблоне), gemma3:1b и gemma3:4b от Google, qwen3.5:2b и qwen3.5:4b от Alibaba, гибрид granite4:micro-h от IBM, две модели Liquid AI (LFM2.5-1.2B-Instruct и LFM2.5-2.6B) и дообученная на русском QVikhr-3-4B-Instruction. Для поиска по базе знаний (RAG) добавили эмбеддинги bge-m3. Российские GigaChat 3.1 Lightning, T-lite и YandexGPT-5-Lite в 4 ГБ не поместились.

Шаблон оказался заточен под одну маленькую модель и чат. Open WebUI занимает около гигабайта — четверть всей памяти, поэтому для 4B-моделей его пришлось остановить. Кроме того, понадобился swap на 4 ГБ: без него ядро убивало модели на длинных текстах. Предустановленная llama3.2:1b оказалась худшей из девяти: ошиблась в 7 обращениях из 20, а на три вопроса, ответов на которые нет в базе знаний, сочинила свои.

Что работает

Классификация обращений: QVikhr-3-4B, обе qwen3.5 и gemma3:4b не ошиблись ни разу. При этом QVikhr втрое быстрее qwen3.5:4b (около 1000 обращений в час против 312): она переиспользует уже прочитанный системный промпт, а гибриды qwen3.5, granite и gemma3 каждый раз читают его заново. На CPU это главный фактор скорости.

Тональность отзывов: QVikhr и qwen3.5:4b верно оценили 22 из 24, причём QVikhr вдвое быстрее. Сарказм почти никто не распознал, поэтому отзывы с позитивным текстом, но низкой оценкой в звёздах лучше отправлять человеку.

Извлечение данных из заявок: qwen3.5:4b дала 59 полей из 60 и ничего не выдумала. Но фразу «до пятницы» в письме от вторника 20.10 ни одна модель не превратила в 23.10, поэтому даты надо считать кодом. Правки промпта помогли qwen, а gemma3:4b стала хуже (с 57 до 54 полей), так что правила проверяют на каждой модели отдельно.

RAG: QVikhr, обе qwen3.5 и granite ответили верно на 14 вопросов из 15 и честно писали «в базе нет информации». Ответ занимает 40–95 секунд — годится для внутреннего помощника, но не для клиентского чата. Объявления для Яндекс Директа: только qwen3.5:4b уложилась в лимиты длины во всех 30 объявлениях, но около половины требовали правок фактов, так что это генератор черновиков. Нормализация CRM: у 4 моделей из 9 ответы съезжали на одну строку, и данные доставались чужим клиентам, поэтому в ответе нужен id строки, а код должен его проверять. Суммаризацию длинных документов без искажений выдала только qwen3.5:4b, причём с активным swap.

Нагрузка и выводы

Сервер обрабатывает запросы по очереди. На 1, 2 и 4 потоках пропускная способность почти одинакова (qwen3.5:4b: 272, 279 и 274 запроса в час), растёт лишь ожидание. Параллельные слоты Ollama не помогли, а flash attention на этом процессоре замедлил чтение промпта с 27 до 12 токенов в секунду. Лучше всего сработали стандартные настройки.

Итог: модели от 2B годятся для рутины, модели на 1B — нет. Короткие задачи с проверкой кодом можно отдавать на VPS за 1,5 тыс. ₽, длинные оставлять для фона. Узкое место — память, поэтому автор советует брать минимум 8 ГБ RAM. Ограничения: данные синтетические, выборки маленькие, а крупные российские модели на таком сервере не проверялись.