Ollama 0.1.5: Qwen3-Coder-Next et les joies de l'exécution locale

Ollama a publié une mise à jour vers la version 0.15.5, qui a apporté le support de nouveaux modèles, avec Qwen3-Coder-Next se démarquant particulièrement. Ce modèle, orienté vers la génération de code, promet de devenir un outil puissant pour les développeurs, mais, comme c'est souvent le cas, les hautes performances s'accompagnent de besoins en ressources élevés.

Qwen3-Coder-Next est un modèle avec 80 milliards de paramètres, dont la plupart ont été entraînés sur du code. Cela lui permet de démontrer des résultats impressionnants dans les tâches liées à la programmation. Cependant, exécuter ce modèle localement nécessitera du matériel sérieux. En particulier, pour Ollama, seules des versions quantifiées du modèle sont disponibles (q4_K_M de 52 GB et q8_0 de 85 GB), ce qui suggère déjà son "avidité".

Pour travailler confortablement avec Qwen3-Coder-Next, vous aurez besoin d'au moins 80 GB de VRAM si vous voulez atteindre une vitesse d'inférence élevée. Bien sûr, le modèle peut être exécuté sur CPU avec 128 GB de RAM DDR5, mais dans ce cas la vitesse sera considérablement inférieure. Cela rend Qwen3-Coder-Next pas la solution la plus accessible pour un utilisateur moyen, ce qui, comme le note l'auteur de l'article original, provoque souvent des réactions négatives.

Intéressamment, l'auteur offre un accès gratuit à son serveur, qui a déjà 10 modèles différents chargés, y compris Qwen3-Coder-Next. C'est une excellente opportunité pour ceux qui n'ont pas la capacité d'exécuter le modèle localement, mais veulent tester ses capacités. Cependant, il faut noter que l'accès au serveur n'est pas permanent et sera fermé après la configuration du système RAG (Retrieval-Augmented Generation). L'auteur avertit également qu'il déconnectera les utilisateurs qui tentent de surcharger le serveur.

Globalement, l'apparition de Qwen3-Coder-Next dans Ollama est une étape importante dans le développement des LLMs locaux. Cela permet aux développeurs d'accéder à un modèle puissant pour la génération de code sans avoir besoin de compter sur les services cloud. Cependant, les besoins en ressources élevés restent un obstacle sérieux à l'adoption généralisée de tels modèles. L'offre de l'auteur d'accès gratuit au serveur est une excellente opportunité pour ceux qui veulent tester Qwen3-Coder-Next mais n'ont pas l'équipement nécessaire. Cela souligne également une tendance croissante vers la création de solutions d'IA locales et autosuffisantes qui donnent aux utilisateurs plus de contrôle sur leurs données et leurs ressources informatiques.

Ainsi, Ollama continue d'évoluer, offrant aux utilisateurs l'accès à des modèles de pointe, mais il est important de se souvenir des besoins en matériel croissants. La capacité de tester Qwen3-Coder-Next sur le serveur de l'auteur est une chance précieuse d'évaluer le potentiel de tels modèles et de comprendre si vous êtes prêt à mettre à niveau vers un matériel plus puissant.