Gemma 4 y Qwen Coder contra la nube: LLM locales en producción

Los modelos locales como Gemma 4 y Qwen Coder están en una posición extraña: por un lado, no se los toma en serio, por otro lado, pocas personas han probado sus capacidades en trabajo real, no en benchmarks sintéticos.

El Problema de las Pruebas de YouTube YouTube está lleno de pruebas de LLMs locales.

Pero todas son similares: toman un modelo grande, lo ejecutan de cualquier forma y piden que escriba ordenamiento de burbujas. Por supuesto, lo hará. Nadie queda impresionado por esto. La pregunta real es diferente: ¿puede un modelo local escribir código funcionando, refactorizar archivos con bugs y extraer datos de HTML — como en proyectos reales? La mayoría de las pruebas ignoran los parámetros. Y frecuentemente son los parámetros los que lo deciden todo. Temperatura incorrecta, ventana de contexto, esquema de cuantización — y el resultado se desmorona. Obtener un mal resultado con un modelo local es fácil. Obtener uno bueno requiere tiempo.

Gemma 4 y

Qwen: qué modelos, qué condiciones Vyacheslav probó varios modelos, eligiendo aquellos que realmente caben en 16 GB de VRAM de una tarjeta gráfica común: Gemma 4 (Google) — modelo universal con buen equilibrio Qwen 3.6 (Alibaba) — rendimiento y velocidad equilibrados Qwen Coder — especializado en generación y análisis de código Ejecución a través de llama.cpp con parámetros optimizados * Optimización de GPU y selección correcta de cuantización para memoria La primera parte del problema es simplemente poner la API llama.cpp en marcha. La segunda es elegir los parámetros correctos. ¿Qué capa de cuantización? ¿Qué temperatura? ¿Cuántos tokens para expandir el contexto? Estas cosas necesitan ser ajustadas para la tarea específica, no adivinadas.

Resultados en un entorno de agentes

El autor probó los modelos no en ejemplos aislados, sino en un entorno real de agentes — con cadenas de acciones, donde un error en un paso rompe todo lo demás.

• Escritura de código funcionando en el primer intento Refactorización de una base de código con lógica y bugs existentes Extracción de datos estructurados de HTML Seguimiento de instrucciones complejas en el contexto de una tarea Adaptación cuando los requisitos cambian dentro de una sesión Los resultados mostraron: si los parámetros se eligen correctamente, los modelos locales funcionan al nivel de soluciones en la nube para tareas típicas sin retrasos de red.

Por qué necesitamos LLMs locales Puede parecer una pregunta académica.

Pero hay escenarios donde las APIs en la nube no son una opción: datos sensibles, circuitos cerrados, requisitos regulatorios, costos de API a escala. Los modelos locales le dan control. Sabe dónde ocurre la computación. Sin sorpresas con el registro de datos. Esto es importante cuando se trabaja con información confidencial o en un entorno donde las APIs en la nube están prohibidas.

Lo que significa Local LLMs han salido de la etapa experimental.

Están listos para trabajo en producción — si está dispuesto a dedicar tiempo a ajustar parámetros. Para el negocio, esto significa: una inversión en una tarjeta gráfica puede reemplazar las APIs en la nube para toda una clase de problemas, desde codificación hasta procesamiento de información sensible.