Автор с Habr запустил Qwen 2.5 14B на домашнем ПК и поселил её на сайт INFERNUM

Локальная языковая модель на 14,7 млрд параметров, которая в 4-битном квантовании помещается примерно в 9–10 ГБ видеопамяти, теперь служит «хозяйкой» целого сайта. Автор публикации на Habr поднял Qwen 2.5 14B на домашнем ПК и подключил её к интерактивному проекту INFERNUM. Нейросеть получила характер, роль и набор полномочий внутри страницы. Сам автор называет это цифровым аквариумом, в котором заперта персонаж-владелица проекта.

Что известно о проекте

Анонс на Habr короткий, технические подробности спрятаны под катом. Из открытой части видно главное. Автору было мало поднять модель и получить обычную «отвечалку». Он хотел нечто осязаемое: нейросеть живёт на сайте, ведёт себя в рамках образа и может действовать в границах площадки. Стилистика отсылает к адской Обители, отсюда и название INFERNUM.

Мотивацию автор формулирует без пафоса: «потому что могу». Для хобби-проекта этого достаточно. Конфигурация железа, способ запуска, объём контекста и скорость генерации в анонсе не названы, поэтому оценивать производительность этой конкретной сборки пока нельзя.

Почему выбрана именно Qwen 2.5 14B

Модель вышла от Alibaba в сентябре 2024 года и к осени 2026-го уже не новинка. Для домашнего эксперимента она остаётся удобной по соотношению размера и качества. Версия на 14B распространяется под лицензией Apache 2.0, поэтому её можно использовать в проектах без отдельных согласований. Она заметно лучше следует инструкциям и ролевым промптам, чем модели класса 7B.

Общие характеристики модели:

• около 14,7 млрд параметров, 48 слоёв;
• контекстное окно до 128 тыс. токенов, генерация до 8 тыс. токенов за раз;
• обучение на корпусе порядка 18 трлн токенов;
• мультиязычность, включая русский;
• в FP16 нужно около 28–30 ГБ памяти, в 4-битном квантовании около 9–10 ГБ плюс запас под KV-кэш.

Последние две строки важнее остальных. Квантованная версия помещается на одну видеокарту с 12–16 ГБ, а это уровень обычного игрового ПК. Именно это сделало подобные «аквариумы» массовым хобби.

Как выглядит такая архитектура

Типичная схема для сайта с локальной моделью устроена просто. Веб-страница отправляет реплику посетителя на бэкенд. Бэкенд собирает промпт из системной инструкции с описанием персонажа, истории диалога и, возможно, состояния сайта. Затем он обращается к локальному серверу инференса, например Ollama, llama.cpp или vLLM, и возвращает ответ на страницу. Слово «полномочия» в описании автора, скорее всего, означает вызов функций: модель возвращает структурированную команду, а бэкенд её исполняет. Конкретную реализацию автора мы не знаем, это общий паттерн.

Такая схема даёт полный контроль над данными и не требует платы за токены. Взамен появляются типичные для домашнего хостинга проблемы: один GPU обслуживает ограниченное число одновременных диалогов, а канал и электричество оплачивает автор.

Что учесть, если хочется повторить

Начинать стоит с квантованной модели в формате GGUF и локального сервера с OpenAI-совместимым API. Так проще менять модель без переписывания сайта. Дальше нужны несколько защитных мер.

• Ограничьте действия модели белым списком команд и проверяйте каждую на бэкенде. Нельзя исполнять текст модели напрямую.
• Считайте любое сообщение посетителя потенциальной промпт-инъекцией. Персонаж «с полномочиями» легко уговорить выйти из роли.
• Поставьте лимиты на длину ответа и частоту запросов с одного адреса, а запросы к GPU пустите через очередь.
• Не размещайте инференс-сервер в открытой сети. Наружу должен смотреть только прокси.
• Следите за размером контекста: длинная история диалога растит KV-кэш и может вытеснить модель из видеопамяти.

За деталями реализации стоит идти в оригинальную статью на Habr. Анонс показывает идею, а работает она или нет, определяется выбранным железом и тем, насколько строго автор отделил модель от исполняемых действий.