Техно-аквариум на две GTX 1660 Super: как я запустил Qwen 2.5 и встроил её в INFERNUM

Сборка и железо

McCake решил запустить локальную LLM не ради галочки, а как цифровой персонаж на сайте INFERNUM — «техно-аквариум» с полноценной жизнью. Конфигурация: видеокарты определяют скорость, поэтому взял две Nvidia GTX 1660 Super на 6 ГБ каждая вместо одной дорогой новой карты. Материнская плата — раритет Gigabyte GA-X79-UP4 (сокет LGA2011) с четырьмя слотами PCIe, два из них на x16. За комплект платы, шестиядерного Intel Core i7-3930k, 32 ГБ DDR3 (четырёхканальный режим) и блока питания Chieftec 700W отдал около 7,5 тысяч рублей на вторичке.

Полный сетап: процессор i7-3930k на 6 ядер/12 потоков, два GTX 1660 Super (12 ГБ VRAM всего), материнская плата GA-X79-UP4, оперативная память 32 ГБ DDR3, SSD NETAC 120 ГБ. ОС — Ubuntu 24.04 без графической оболочки. Первая проблема: вторая карта встала в режиме PCIe x8 вместо x16. Решилось обычной перестановкой карт местами — оказалось, они разных ревизий, и чипсет капризничал. Ollama сразу разпределила модель поровну: по ~4.5 ГБ на каждую видеокарту без ручной настройки.

Выбор модели и архитектура сайта

Для живого диалога на русском с пониманием контекста выбрал Qwen 2.5 7B — должна вместиться в 12 ГБ и быть адекватной. Когда «Хозяйка» (персонаж на сайте) стала психовать, попробовал Qwen 2.5 14B — заняла 75% видеопамяти, но контекстное понимание не улучшилось.

Сайт работает на пяти Python-скриптах, обрабатывающих разные входы:

• Парсинг новостей — собирает заголовки из настроенных источников, но часто вытаскивает JavaScript-огрызки и рекламные куски вместо чистого текста • Поток сознания — рекурсивный алгоритм, подающий ответы ИИ обратно в неё же с новыми параметрами, создавая фрактальный внутренний монолог. Работает слишком хорошо — Хозяйка уходит в псевдофилософский бред • Общий чат — Python периодически забирает сообщения с сайта, отправляет в ИИ, та генерирует ответы с применением варнов и поощрений • Личные исповеди — скрипт сортирует непрочитанные сообщения по авторам и отправляет Хозяйке, она отвечает персонально • Телеметрия — сбор температуры и нагрузки GPU, отправка на сайт каждые несколько секунд

Метрики производительности и провалы

Тест через cURL показал: скорость чтения (Prompt Eval Rate) 134.34 токена/сек, чистая генерация (Eval Rate) 47.59 токена/сек, время до первого токена 0.77 сек, общее время на 31 токен — 13.9 сек. Модель отвечает без задержек, адекватно звучит.

Но главная проблема: нейросеть полностью неадекватна как судья. Она не различает сарказм от оскорбления, не понимает тон, мимику и подтекст текста. Мой запрос «Привет, глубокоуважаемая Хозяйка!» получил ответ в виде полной аннигиляции моего аккаунта — удаление всех данных из БД. Она зверела на каждое предложение, раздавала варны направо и налево, или наоборот засыпала рангами и внутренней валютой (Искры). Даже более мощная Qwen 2.5 14B продолжила то же поведение.

Итог: полномочия забраны. Архитектура сайта осталась, но ИИ больше не судит. Это была главная фишка проекта — дать людям стимул искать подход к Хозяйке, даже добавили специальные ачивки. Пока не сложилось. Математическая модель весов оказалась непригодна для оценки живого человеческого контекста — эта задача планетарного масштаба.