Ollama 0.1.5: Qwen3-Coder-Next e as alegrias da execução local

O Ollama lançou uma atualização para a versão 0.15.5, que trouxe suporte para novos modelos, com Qwen3-Coder-Next se destacando particularmente. Este modelo, orientado para geração de código, promete se tornar uma ferramenta poderosa para desenvolvedores, mas, como costuma acontecer, alto desempenho vem com altos requisitos de recursos.

Qwen3-Coder-Next é um modelo com 80 bilhões de parâmetros, a maioria dos quais foi treinada em código. Isso permite que ele demonstre resultados impressionantes em tarefas relacionadas à programação. No entanto, executar este modelo localmente exigirá hardware sério. Em particular, para Ollama apenas versões quantizadas do modelo estão disponíveis (q4_K_M com 52GB e q8_0 com 85GB), o que já sugere sua "ganância".

Para trabalhar confortavelmente com Qwen3-Coder-Next, você precisará de pelo menos 80 GB de VRAM se quiser alcançar alta velocidade de inferência. É claro que o modelo pode ser executado em CPU com 128 GB de RAM DDR5, mas neste caso a velocidade será significativamente menor. Isso torna Qwen3-Coder-Next não a solução mais acessível para um usuário médio, o que, como observado pelo autor do artigo original, muitas vezes causa reações negativas.

Interessantemente, o autor oferece acesso gratuito ao seu servidor, que já tem 10 modelos diferentes carregados, incluindo Qwen3-Coder-Next. Esta é uma ótima oportunidade para quem não tem a capacidade de executar o modelo localmente, mas quer testar suas capacidades. No entanto, deve-se notar que o acesso ao servidor não é permanente e será fechado após a configuração do sistema RAG (Retrieval-Augmented Generation). O autor também avisa que desconectará usuários que tentarem sobrecarregar o servidor.

Em geral, o aparecimento de Qwen3-Coder-Next no Ollama é um passo importante no desenvolvimento de LLMs locais. Isso permite que os desenvolvedores tenham acesso a um poderoso modelo para geração de código sem precisar confiar em serviços em nuvem. No entanto, altos requisitos de recursos continuam sendo um obstáculo sério para a adoção generalizada de tais modelos. A oferta do autor de acesso gratuito ao servidor é uma excelente oportunidade para quem quer testar Qwen3-Coder-Next mas não tem o equipamento necessário. Isso também destaca uma tendência crescente de criar soluções de IA locais e autossuficientes que dão aos usuários mais controle sobre seus dados e recursos computacionais.

Assim, Ollama continua evoluindo, oferecendo aos usuários acesso a modelos de ponta, mas é importante lembrar os crescentes requisitos de hardware. A capacidade de testar Qwen3-Coder-Next no servidor do autor é uma chance valiosa para avaliar o potencial de tais modelos e entender se você está pronto para atualizar para hardware mais poderoso.