Un modelo de 0,8 mil millones de parámetros supera a Qwen 9B en la generación de comandos Bash: 79 % frente a 63 %

Quien trabaja en la terminal conoce esa sensación: sabes perfectamente que necesitas encontrar archivos grandes, pero no recuerdas qué banderas tiene find ni cómo ordenar correctamente la salida. Normalmente se acude a un buscador o se abre un chat con un modelo grande. Lo primero es lento; lo segundo requiere internet, una clave de API y enviar datos al exterior. El autor del proyecto dale resolvió el problema de otra manera: creó un modelo pequeño que vive en tu propia máquina y hace una sola cosa.

Qué es dale

En Hugging Face ha aparecido dale-0.8b-GGUF, un modelo especializado de 0,8 mil millones de parámetros. Escribes una petición en lenguaje natural, por ejemplo, «Busca todos los archivos grandes en el directorio actual». Como respuesta, el modelo devuelve un único comando Bash en JSON estructurado y una breve explicación de lo que hace ese comando.

Hay dos rasgos que lo distinguen de un «simple generador de comandos». Primero, el modelo sabe negarse: si la petición no es adecuada, responde refuse. Segundo, si la petición es demasiado vaga, no adivina, sino que devuelve unsure. Para una herramienta que potencialmente ejecuta comandos en tu sistema, esto importa más que unos puntos extra de precisión: un honesto «no estoy seguro» es mejor que un comando seguro de sí mismo pero destructivo.

Las cifras y lo que hay detrás

El autor probó los modelos con un conjunto de 471 tareas. Los resultados son estos:

• dale-0.8B — 79,4 %;
• Qwen3.5-9B — 62,8 %;
• Gemma 4 E4B — 62,8 %;
• Qwen3.5-4B — 54,6 %;
• Qwen3.5-0.8B — 14,9 %.

Lo más revelador es la última línea. Un modelo generalista del mismo tamaño apenas puede con la tarea, mientras que el especializado supera a modelos de 5 a 10 veces mayores. Es otra confirmación de una idea ya conocida: en una tarea acotada y bien definida, con un formato de respuesta estricto, un modelo pequeño ajustado puede ganar a los generalistas. No necesita saberlo todo; le basta con conocer bien Bash y el formato de salida.

En cuanto al hardware, todo es modesto: cuantización Q4_K_M, un archivo de unos 529 MB y ejecución en CPU mediante llama.cpp. La latencia mediana es de 1,72 segundos en un portátil de 2020. No hace falta tarjeta gráfica, ni tampoco red. La licencia es Apache 2.0, es decir, el modelo puede usarse también en proyectos comerciales.

Sobre él se ha construido la herramienta CLI dale. Propone un comando, pide confirmación antes de ejecutarlo y clasifica las operaciones peligrosas. Esta capa de protección es sensata: un modelo de 0,8 mil millones de parámetros sigue fallando aproximadamente en uno de cada cinco casos.

Limitaciones

La principal salvedad: todas las cifras las declara el propio autor. No sabemos cuánto se parece el conjunto de prueba a los datos de entrenamiento ni cómo se ha elaborado. Es posible que las tareas se hayan elegido para favorecer los puntos fuertes del modelo. Todavía no hay mediciones independientes, y un 79,4 % no equivale a «casi siempre correcto». Además, la prueba cubre Bash en Linux: no se sabe nada sobre las particularidades de macOS, PowerShell o utilidades exóticas.

Qué hacer con esto

Los desarrolladores deberían descargar el modelo y probarlo con sus propias peticiones reales: su propia muestra dirá más que las 471 tareas de otro. A los equipos que crean herramientas internas les resultará útil el patrón en sí: un modelo local pequeño, JSON estructurado, ramas explícitas refuse y unsure, y confirmación humana antes de la ejecución. Para quienes valoran la privacidad o trabajan sin internet, es una base lista para usar que no hace falta conectar a una API en la nube.