Modelo de 0,8 bilhão de parâmetros supera o Qwen 9B na geração de comandos Bash: 79% contra 63%

Quem trabalha no terminal conhece a sensação: você sabe exatamente que precisa encontrar arquivos grandes, mas não lembra quais flags o find aceita nem como ordenar corretamente a saída. Normalmente a pessoa recorre a um buscador ou abre um chat com um modelo grande. O primeiro é demorado; o segundo exige internet, uma chave de API e o envio de dados para fora. O autor do projeto dale resolveu a questão de outra forma: criou um modelo pequeno que vive na própria máquina e faz apenas uma coisa.

O que é o dale

No Hugging Face apareceu o dale-0.8b-GGUF, um modelo especializado de 0,8 bilhão de parâmetros. Você escreve um pedido em linguagem natural, por exemplo, «Encontre todos os arquivos grandes no diretório atual». Em resposta, o modelo devolve um único comando Bash em JSON estruturado e uma breve explicação do que esse comando faz.

Duas características o distinguem de um «simples gerador de comandos». Primeiro, o modelo sabe recusar: se o pedido não é adequado, ele responde refuse. Segundo, se o pedido é vago demais, ele não adivinha, mas devolve unsure. Para uma ferramenta que potencialmente executa comandos no seu sistema, isso importa mais do que alguns pontos percentuais extras de precisão: um honesto «não tenho certeza» é melhor do que um comando confiante, porém destrutivo.

Os números e o que há por trás deles

O autor testou os modelos em um conjunto de 471 tarefas. Os resultados são estes:

• dale-0.8B — 79,4%;
• Qwen3.5-9B — 62,8%;
• Gemma 4 E4B — 62,8%;
• Qwen3.5-4B — 54,6%;
• Qwen3.5-0.8B — 14,9%.

O mais revelador é a última linha. Um modelo de uso geral do mesmo porte mal consegue lidar com a tarefa, enquanto o especializado supera modelos de 5 a 10 vezes maiores. É mais uma confirmação de uma ideia já conhecida: em uma tarefa restrita e bem delimitada, com formato de resposta rígido, um modelo pequeno e ajustado pode vencer os generalistas. Ele não precisa saber tudo sobre o mundo; basta conhecer bem o Bash e o formato de saída.

Em termos de hardware, tudo é modesto: quantização Q4_K_M, arquivo de cerca de 529 MB e execução em CPU via llama.cpp. A latência mediana é de 1,72 segundo em um notebook de 2020. Não é preciso placa de vídeo, nem rede. A licença é Apache 2.0, ou seja, o modelo pode ser usado também em projetos comerciais.

Sobre ele foi construída a ferramenta de linha de comando dale. Ela sugere um comando, pede confirmação antes de executá-lo e classifica operações perigosas. Essa camada de proteção é sensata: um modelo de 0,8 bilhão de parâmetros ainda erra em aproximadamente um caso a cada cinco.

Limitações

A principal ressalva: todos os números são declarados pelo próprio autor. Não sabemos o quanto o conjunto de teste se parece com os dados de treinamento nem como ele foi montado. É possível que as tarefas tenham sido escolhidas para favorecer os pontos fortes do modelo. Ainda não há medições independentes, e 79,4% não significa «quase sempre correto». Além disso, o teste cobre Bash no Linux: nada se sabe sobre particularidades do macOS, PowerShell ou utilitários exóticos.

O que fazer com isso

Os desenvolvedores devem baixar o modelo e testá-lo com seus próprios pedidos reais: a sua amostra dirá mais do que as 471 tarefas de outra pessoa. Para equipes que criam ferramentas internas, o próprio padrão será útil: um pequeno modelo local, JSON estruturado, ramificações explícitas refuse e unsure e confirmação humana antes da execução. Para quem valoriza a privacidade ou trabalha sem internet, é uma base pronta que não precisa ser conectada a uma API na nuvem.