Gemma 4 et Qwen Coder contre le cloud : les LLM locaux en production

Les modèles locaux comme Gemma 4 et Qwen Coder sont dans une position étrange : d'un côté, ils ne sont pas pris au sérieux, de l'autre, peu de gens ont testé leurs capacités dans le travail réel, pas sur des benchmarks synthétiques.

Le Problème des Tests YouTube YouTube est rempli de tests d'LLMs locales.

Mais ils sont tous similaires : on prend un grand modèle, on le lance n'importe comment et on lui demande d'écrire un tri à bulles. Bien sûr, il y arrivera. Personne n'en est impressionné. La vraie question est différente : un modèle local peut-il écrire du code fonctionnel, refactoriser des fichiers avec des bugs et extraire des données de HTML — comme dans les vrais projets ? La plupart des tests ignorent les paramètres. Et ce sont souvent les paramètres qui décident de tout. Une mauvaise température, une fenêtre de contexte, un schéma de quantification — et le résultat s'effondre. Obtenir un mauvais résultat avec un modèle local est facile. Obtenir un bon résultat demande du temps.

Gemma 4 et

Qwen : quels modèles, quelles conditions Vyacheslav a testé plusieurs modèles, en choisissant ceux qui tiennent réellement dans 16 Go de VRAM d'une carte graphique ordinaire : Gemma 4 (Google) — un modèle universel avec un bon équilibre Qwen 3.6 (Alibaba) — performance et vitesse équilibrées Qwen Coder — spécialisée pour la génération et l'analyse de code Exécution via llama.cpp avec des paramètres optimisés * Optimisation GPU et choix correct de la quantification pour la mémoire La première partie du problème est simplement de mettre en place l'API llama.

cpp. La deuxième est de choisir les bons paramètres. Quelle couche de quantification ?

Quelle température ? Combien de tokens pour étendre le contexte ? Ces choses doivent être ajustées pour la tâche spécifique, pas devinées.

Résultats dans un environnement d'agents L'auteur a testé les modèles

non sur des exemples isolés, mais dans un véritable environnement d'agents — avec des chaînes d'actions, où une erreur à une étape casse tout le reste.

• Écriture de code fonctionnel à la première tentative Refactorisation d'une base de code avec une logique et des bugs existants Extraction de données structurées de HTML Suivi d'instructions complexes dans le contexte d'une tâche Adaptation lorsque les exigences changent au cours d'une session Les résultats ont montré : si les paramètres sont bien choisis, les modèles locaux fonctionnent au niveau des solutions cloud pour les tâches typiques sans délais réseau.

Pourquoi nous avons besoin d'LLMs locales Cela peut sembler une question académique.

Mais il y a des scénarios où les API cloud ne sont pas une option : données sensibles, circuits fermés, exigences réglementaires, coûts d'API à l'échelle. Les modèles locaux vous donnent le contrôle. Vous savez où s'effectue le calcul. Pas de surprises avec la journalisation des données. C'est important quand on travaille avec des informations confidentielles ou dans un environnement où les API cloud sont interdites.

Ce que cela signifie Les LLMs locales sont sorties du stade expérimental.

Elles sont prêtes pour le travail en production — si vous êtes prêt à consacrer du temps à l'ajustement des paramètres. Pour les entreprises, cela signifie : un investissement dans une carte graphique peut remplacer les API cloud pour toute une classe de problèmes, de la codification au traitement des informations sensibles.