Unsloth превращает Qwen3.5-4B в классификатор 10 намерений на одной T4

Большой языковой модели не всегда нужно разговаривать. Во многих продуктах от неё ждут более приземлённого результата: определить намерение клиента, выбрать следующий инструмент или решить, пропускать ли сообщение дальше. Обычная LLM может сгенерировать объяснение, хотя системе нужен один короткий ответ — например, «проверка баланса» с оценкой уверенности.

Machine Learning Mastery показал, как собрать такой классификатор на базе открытой Qwen3.5-4B. В связке используются Unsloth, 4-битная LoRA и набор CLINC150. Демонстрация запускается в Google Colab на Tesla T4 с 14,6 ГБ видеопамяти и ограничивает задачу десятью намерениями. Это не готовая промышленная модель, а понятная отправная точка для разработчика, которому нужно заменить цепочку промптов на отдельный механизм выбора.

Модель выбирает, а не сочиняет

Представим сообщение: «Покажи остаток на моём сберегательном счёте». Генеративная модель способна написать инструкцию, уточнить банк или начать рассуждать. Классификатор должен сделать другое: выбрать намерение balance из заранее заданного набора и вернуть уверенность.

В Unsloth за это отвечает FastDecisionModel. К базовой языковой модели добавляется специализированная голова, которая оценивает допустимые варианты. Вместо последовательной генерации токенов система сравнивает фиксированные решения. Поддерживаются выбор одного варианта, ответ «да или нет» и оценка по упорядоченной шкале.

Такой формат подходит для маршрутизации обращений, модерации, определения тональности и агентных сценариев. Например, перед основной LLM можно поставить небольшую модель, которая решит, куда направить запрос: в поиск, базу знаний, платёжный сервис или к человеку. Выход ограничен схемой, поэтому его проще проверять и передавать следующему компоненту.

Как устроено обучение

Автор загружает Qwen3.5-4B в четырёхбитном режиме и подключает LoRA ранга 16. Большая часть исходных параметров остаётся замороженной, а обучение меняет компактные адаптеры и голову принятия решений. Контрольные точки градиентов дополнительно сокращают расход памяти.

Данные тоже приходится перестроить. Каждая запись содержит три части: текст пользователя, описание доступных решений и правильный вариант. В примере из CLINC150 случайно выбираются 10 из 150 намерений — среди них дата, время, маршрут, замена ингредиента и запуск автомобиля от внешнего аккумулятора. Затем остаются только относящиеся к ним примеры.

Именно список вариантов делает задачу управляемой: разработчик заранее определяет, какие действия разрешены системе. Но здесь же появляется цена. Чем больше вариантов, тем длиннее вход и тяжелее обучение. Десять классов на T4 ещё не доказывают, что та же конфигурация без изменений справится со всеми 150 категориями или с реальными сообщениями клиентов.

Где заканчивается демонстрация

В доступном фрагменте нет итоговой точности, матрицы ошибок и сравнения с обычным классификатором. Поэтому утверждать, что Qwen3.5-4B уже превосходит более дешёвые модели, нельзя. Не показано и качество распознавания запросов вне поддерживаемого набора, хотя CLINC150 содержит отдельные примеры таких обращений.

Для продакшена одной уверенности модели недостаточно. Её нужно откалибровать на отложенной выборке, выбрать порог отказа и проверить ошибки на похожих намерениях. Если два действия отличаются только одной деталью — например, «заморозить карту» и «закрыть карту», — цена неверного решения может оказаться выше, чем задержка от дополнительного уточнения.

Практический вывод простой: FastDecisionModel интересен как способ превратить открытую LLM в строго ограниченный маршрутизатор. Начинать стоит с небольшого набора хорошо различимых действий, обязательного класса «не знаю» и журнала ошибок. А уже затем сравнивать решение с компактным BERT-классификатором, правилами и вызовом более крупной модели. Здесь важна не эффектность архитектуры, а доля верных решений при приемлемой задержке и стоимости.