Gemma 4 y Qwen Coder frente a la nube: LLM locales en trabajo real

Los modelos locales como Gemma 4 y Qwen Coder están en una posición extraña. Por un lado, no se los toma en serio. Por otro, pocos han comprobado de qué son capaces en trabajo real y no en benchmarks sintéticos.

El problema de las pruebas en YouTube

YouTube está lleno de pruebas de LLM locales. Pero todas se parecen: toman un modelo grande, lo ejecutan de cualquier manera y le piden que escriba un ordenamiento de burbuja. Por supuesto, lo consigue. Eso no impresiona a nadie.

La pregunta de verdad es otra: ¿puede un modelo local escribir código que funcione, refactorizar archivos con bugs y extraer datos de HTML, como ocurre en proyectos reales?

La mayoría de las pruebas ignoran los parámetros. Y a menudo son precisamente ellos los que lo deciden todo. Una temperature incorrecta, una mala ventana de contexto o un sistema de cuantización inadecuado, y el resultado se desploma. Obtener un mal resultado con un modelo local es fácil. Obtener uno bueno requiere tiempo.

Gemma 4 y Qwen: qué modelos y en qué condiciones

Viacheslav probó varios modelos y eligió los que realmente caben en los 16 GB de memoria de vídeo de una tarjeta gráfica convencional:

• Gemma 4 (Google): un modelo de propósito general con un buen equilibrio
• Qwen 3.6 (Alibaba): rendimiento y velocidad equilibrados
• Qwen Coder: especializado en generación y análisis de código
• Ejecución mediante llama.cpp con parámetros optimizados
• GPU optimization y elección adecuada de la quantization según la memoria

La primera parte del problema es, simplemente, levantar la API de llama.cpp. La segunda, elegir los parámetros correctos. ¿Qué nivel de cuantización? ¿Qué temperature? ¿Hasta cuántos tokens ampliar el contexto? Estas cosas hay que ajustarlas a cada tarea concreta, no adivinarlas.

Resultados en un entorno agéntico

El autor no probó los modelos con ejemplos aislados, sino en un entorno agéntico real, con cadenas de acciones en las que un error en un paso rompe todo lo demás.

• Escribir código funcional al primer intento
• Refactorizar una base de código con lógica y bugs existentes
• Extraer datos estructurados de HTML
• Seguir instrucciones complejas dentro del contexto de la tarea
• Adaptarse a cambios de requisitos dentro de la sesión

Los resultados mostraron que, si los parámetros están bien ajustados, los modelos locales rinden al nivel de las soluciones en la nube en tareas habituales, sin latencia de red.

Para qué sirven los LLM locales

Puede parecer una cuestión académica. Pero hay escenarios en los que una API en la nube no es una opción: datos sensibles, entornos aislados, requisitos regulatorios o el coste de la API al escalar.

Los modelos locales dan control. Sabes dónde se ejecuta el cómputo. Sin sorpresas con el registro de datos. Esto importa cuando trabajas con información confidencial o en entornos donde las API en la nube están prohibidas.

Qué significa esto

Los LLM locales han dejado atrás la fase experimental. Están listos para el trabajo real, siempre que estés dispuesto a dedicar tiempo a ajustar los parámetros. Para las empresas, esto significa que invertir en una tarjeta gráfica puede sustituir a las API en la nube en toda una categoría de problemas, desde la programación hasta el procesamiento de información sensible.