Модель на 0,8 млрд параметров обошла Qwen 9B в генерации Bash-команд: 79% против 63%

Каждый, кто работает в терминале, знает это чувство: вы точно помните, что нужно найти большие файлы, но не помните, какие флаги у find и как правильно отсортировать вывод. Обычно человек идёт в поисковик или открывает чат с большой моделью. Первое долго, второе требует интернета, API-ключа и отправки данных наружу. Автор проекта dale решил эту задачу иначе: сделал маленькую модель, которая живёт прямо на машине и делает только одно дело.

Что такое dale

На Hugging Face появилась dale-0.8b-GGUF — специализированная модель на 0,8 млрд параметров. Вы пишете запрос обычным языком, например «Найди все большие файлы в текущей директории». В ответ модель возвращает одну Bash-команду в структурированном JSON и короткое объяснение, что эта команда делает.

Два момента отличают её от «просто генератора команд». Во-первых, модель умеет отказываться: если запрос не подходит, она отвечает refuse. Во-вторых, если запрос слишком расплывчатый, она не угадывает, а возвращает unsure. Для инструмента, который потенциально запускает команды на вашей системе, это важнее лишних процентов точности: честное «не уверен» лучше уверенной, но разрушительной команды.

Цифры и что за ними стоит

Автор проверил модели на наборе из 471 задачи. Результаты такие:

• dale-0.8B — 79,4%;
• Qwen3.5-9B — 62,8%;
• Gemma 4 E4B — 62,8%;
• Qwen3.5-4B — 54,6%;
• Qwen3.5-0.8B — 14,9%.

Самое показательное — последняя строка. Универсальная модель того же масштаба почти не справляется с задачей, а специализированная обгоняет модели в 5–10 раз больше. Это ещё одно подтверждение давно знакомой идеи: на узкой, чётко очерченной задаче с жёстким форматом ответа небольшая дообученная модель может выигрывать у универсалов. Ей не нужно знать всё на свете, достаточно хорошо знать Bash и формат вывода.

По железу всё скромно: квантование Q4_K_M, файл около 529 МБ, запуск на CPU через llama.cpp. Медианная задержка — 1,72 секунды на ноутбуке 2020 года. Видеокарта не нужна, сеть тоже. Лицензия Apache 2.0, то есть модель можно использовать и в коммерческих проектах.

На её основе сделан CLI-инструмент dale. Он предлагает команду, запрашивает подтверждение перед выполнением и классифицирует опасные операции. Такой слой защиты разумен: модель на 0,8 млрд параметров всё равно ошибается примерно в одном случае из пяти.

Ограничения

Главная оговорка: все цифры заявлены самим автором. Мы не знаем, насколько тестовый набор похож на обучающие данные и как он составлен. Возможно, задачи подобраны под сильные стороны модели. Независимых замеров пока нет, а 79,4% — это всё же не «почти всегда правильно». Кроме того, тест покрывает Bash под Linux: про macOS-особенности, PowerShell или экзотические утилиты ничего не известно.

Что с этим делать

Разработчикам стоит скачать модель и прогнать на собственных реальных запросах: именно ваша выборка скажет больше, чем чужие 471 задача. Командам, которые делают внутренние инструменты, пригодится сам паттерн: маленькая локальная модель, структурированный JSON, явные ветки refuse и unsure и подтверждение человеком перед запуском. Тем, кому важна приватность или кто работает без интернета, это готовая основа, которую не нужно подключать к облачному API.