Un modèle de 0,8 milliard de paramètres devance Qwen 9B pour la génération de commandes Bash : 79 % contre 63 %

Tous ceux qui travaillent dans un terminal connaissent cette sensation : vous savez parfaitement qu'il faut trouver les gros fichiers, mais vous ne vous rappelez plus les options de find ni comment trier correctement la sortie. D'ordinaire, on va sur un moteur de recherche ou on ouvre un chat avec un grand modèle. La première option est lente ; la seconde exige une connexion internet, une clé d'API et l'envoi de données vers l'extérieur. L'auteur du projet dale a choisi une autre voie : créer un petit modèle qui vit directement sur la machine et ne fait qu'une seule chose.

Qu'est-ce que dale

Le modèle dale-0.8b-GGUF est apparu sur Hugging Face : un modèle spécialisé de 0,8 milliard de paramètres. Vous écrivez une requête en langage courant, par exemple « Trouve tous les gros fichiers dans le répertoire courant ». En retour, le modèle renvoie une seule commande Bash dans un JSON structuré, accompagnée d'une courte explication de ce que fait cette commande.

Deux points le distinguent d'un « simple générateur de commandes ». D'abord, le modèle sait refuser : si la requête ne convient pas, il répond refuse. Ensuite, si la requête est trop vague, il ne devine pas mais renvoie unsure. Pour un outil susceptible d'exécuter des commandes sur votre système, c'est plus important que quelques points de précision supplémentaires : un honnête « je ne suis pas sûr » vaut mieux qu'une commande assurée mais destructrice.

Les chiffres et ce qu'ils révèlent

L'auteur a évalué les modèles sur un ensemble de 471 tâches. Voici les résultats :

• dale-0.8B — 79,4 % ;
• Qwen3.5-9B — 62,8 % ;
• Gemma 4 E4B — 62,8 % ;
• Qwen3.5-4B — 54,6 % ;
• Qwen3.5-0.8B — 14,9 %.

La dernière ligne est la plus parlante. Un modèle généraliste de même taille échoue presque complètement, alors que le modèle spécialisé dépasse des modèles 5 à 10 fois plus gros. C'est une nouvelle confirmation d'une idée bien connue : sur une tâche étroite, clairement délimitée et avec un format de réponse strict, un petit modèle affiné peut l'emporter sur les généralistes. Il n'a pas besoin de tout savoir, il lui suffit de bien connaître Bash et le format de sortie.

Côté matériel, tout reste modeste : quantification Q4_K_M, fichier d'environ 529 Mo, exécution sur CPU via llama.cpp. La latence médiane est de 1,72 seconde sur un ordinateur portable de 2020. Pas besoin de carte graphique, ni de réseau. La licence est Apache 2.0, ce qui permet aussi une utilisation dans des projets commerciaux.

Un outil en ligne de commande, dale, a été construit sur ce modèle. Il propose une commande, demande confirmation avant l'exécution et classe les opérations dangereuses. Cette couche de protection est raisonnable : un modèle de 0,8 milliard de paramètres se trompe quand même environ une fois sur cinq.

Limites

La réserve principale : tous les chiffres sont déclarés par l'auteur lui-même. On ignore dans quelle mesure l'ensemble de test ressemble aux données d'entraînement et comment il a été constitué. Il est possible que les tâches aient été choisies pour mettre en valeur les points forts du modèle. Il n'existe pas encore de mesures indépendantes, et 79,4 % ne signifie pas « presque toujours correct ». De plus, le test couvre Bash sous Linux : on ne sait rien des particularités de macOS, de PowerShell ou des utilitaires exotiques.

Que faire de tout cela

Les développeurs ont intérêt à télécharger le modèle et à le tester sur leurs propres requêtes réelles : votre échantillon en dira plus que les 471 tâches d'un tiers. Pour les équipes qui créent des outils internes, le modèle de conception lui-même sera utile : un petit modèle local, un JSON structuré, des branches explicites refuse et unsure, et une confirmation humaine avant l'exécution. Pour ceux qui tiennent à la confidentialité ou travaillent sans internet, c'est une base prête à l'emploi, sans connexion à une API cloud.