Ollama 0.1.5: Qwen3-Coder-Next и радости локального запуска

Вышло обновление Ollama до версии 0.15.5, которое принесло с собой поддержку новых моделей, среди которых особенно выделяется Qwen3-Coder-Next. Эта модель, ориентированная на генерацию кода, обещает стать мощным инструментом для разработчиков, но, как это часто бывает, за высокой производительностью скрываются высокие требования к ресурсам.

Qwen3-Coder-Next – это модель с 80 миллиардами параметров, большая часть которых была натренирована на коде. Это позволяет ей демонстрировать впечатляющие результаты в задачах, связанных с программированием. Однако, для запуска этой модели локально потребуется серьезное железо. В частности, для Ollama доступны только квантизированные версии модели (q4_K_M размером 52Гб и q8_0 размером 85Гб), что уже намекает на её «прожорливость».

Для комфортной работы с Qwen3-Coder-Next потребуется не менее 80 ГБ видеопамяти, если вы хотите добиться высокой скорости инференса. Конечно, модель можно запустить и на CPU, имея от 128 ГБ DDR5 RAM, но в этом случае скорость работы будет значительно ниже. Это делает Qwen3-Coder-Next не самым доступным решением для рядового пользователя, что, как отмечает автор оригинальной статьи, часто вызывает негативную реакцию.

Интересно, что автор предлагает бесплатный доступ к своему серверу, на котором уже загружены 10 различных моделей, включая Qwen3-Coder-Next. Это отличная возможность для тех, кто не имеет возможности запустить модель локально, но хочет протестировать её возможности. Однако, стоит учитывать, что доступ к серверу не вечный и будет закрыт после завершения настройки RAG (Retrieval-Augmented Generation) системы. Также автор предупреждает, что будет отключать пользователей, которые попытаются перегрузить сервер.

В целом, появление Qwen3-Coder-Next в Ollama – это важный шаг вперед в развитии локальных LLM. Это позволяет разработчикам получить доступ к мощной модели для генерации кода без необходимости полагаться на облачные сервисы. Однако, высокие требования к ресурсам остаются серьезным препятствием для широкого распространения подобных моделей. Предложение автора о бесплатном доступе к серверу – это отличная возможность для тех, кто хочет протестировать Qwen3-Coder-Next, но не имеет необходимого оборудования. Это также подчеркивает растущую тенденцию к созданию локальных, самодостаточных AI-решений, которые дают пользователям больше контроля над своими данными и вычислительными ресурсами.

Таким образом, Ollama продолжает развиваться, предлагая пользователям доступ к передовым моделям, но важно помнить о растущих требованиях к аппаратному обеспечению. Возможность протестировать Qwen3-Coder-Next на сервере автора – это ценный шанс оценить потенциал подобных моделей и понять, готовы ли вы к переходу на более мощное железо.