Ollama 0.1.5: Qwen3-Coder-Next y las alegrías de ejecutar localmente

Se ha lanzado una actualización de Ollama a la versión 0.15.5, que ha traído soporte para nuevos modelos, destacando particularmente Qwen3-Coder-Next. Este modelo, orientado hacia la generación de código, promete ser una herramienta poderosa para los desarrolladores, pero, como suele suceder, el alto rendimiento viene acompañado de altos requisitos de recursos.

Qwen3-Coder-Next es un modelo con 80 mil millones de parámetros, la mayoría de los cuales fueron entrenados en código. Esto le permite demostrar resultados impresionantes en tareas relacionadas con la programación. Sin embargo, ejecutar este modelo localmente requerirá hardware serio. En particular, para Ollama solo están disponibles versiones cuantificadas del modelo (q4_K_M de 52GB y q8_0 de 85GB), lo que ya insinúa su "voracidad".

Para trabajar cómodamente con Qwen3-Coder-Next, necesitarás al menos 80 GB de VRAM si quieres lograr alta velocidad de inferencia. Por supuesto, el modelo se puede ejecutar en CPU con 128 GB de RAM DDR5, pero en este caso la velocidad será significativamente menor. Esto hace que Qwen3-Coder-Next no sea la solución más accesible para un usuario promedio, lo que, como señala el autor del artículo original, a menudo provoca reacciones negativas.

Curiosamente, el autor ofrece acceso gratuito a su servidor, que ya tiene 10 modelos diferentes cargados, incluido Qwen3-Coder-Next. Esta es una gran oportunidad para aquellos que no tienen la capacidad de ejecutar el modelo localmente, pero quieren probar sus capacidades. Sin embargo, cabe señalar que el acceso al servidor no es permanente y se cerrará después de configurar el sistema RAG (Retrieval-Augmented Generation). El autor también advierte que desconectará a los usuarios que intenten sobrecargar el servidor.

En general, la aparición de Qwen3-Coder-Next en Ollama es un paso importante en el desarrollo de LLMs locales. Esto permite a los desarrolladores acceder a un modelo poderoso para generación de código sin necesidad de depender de servicios en la nube. Sin embargo, los altos requisitos de recursos siguen siendo un obstáculo serio para la adopción generalizada de tales modelos. La oferta del autor de acceso gratuito al servidor es una excelente oportunidad para aquellos que desean probar Qwen3-Coder-Next pero no tienen el equipo necesario. Esto también destaca una tendencia creciente hacia la creación de soluciones de IA locales y autosuficientes que dan a los usuarios más control sobre sus datos y recursos computacionales.

Por lo tanto, Ollama continúa evolucionando, ofreciendo a los usuarios acceso a modelos de vanguardia, pero es importante recordar los crecientes requisitos de hardware. La capacidad de probar Qwen3-Coder-Next en el servidor del autor es una oportunidad valiosa para evaluar el potencial de tales modelos y entender si estás listo para actualizar a hardware más potente.