Карликовые модели: как компании экономят на ИИ, дообучая крошечные LLM

Дообучение малых LLM под узкую задачу вытесняет облачные API. Вместо ежемесячных счётов на 7000–12000 долларов Checkr платит примерно 1400, PayPal достиг на 8-миллиардной модели того же качества, что GPT-4, но за 0,013 доллара за вызов вместо 0,025–0,055. При объёме в 100000 запросов в месяц разница в бюджете превращается в полноценную статью доходов.

Карликовые модели и способы их сжатия

Чёткого определения границы нет, но NVIDIA пригодилось: малая языковая модель — та, что помещается на потребительское устройство и обслуживает запросы с приемлемой задержкой. На 2025 год это модели до 10 млрд параметров. Актуальные варианты включают:

• Gemma 4 (Google) • Phi-4 (Microsoft) • Qwen3 (Alibaba) • SmolLM3 (HuggingFace) • Granite 4.1 (IBM) • Nemotron 3 Nano (NVIDIA)

Две техники позволяют сжать LLM под задачу. LoRA замораживает базовые веса и обучает только небольшие дополнительные матрицы — это даёт в 10 000 раз меньше обучаемых параметров, чем полное дообучение. Дистилляция переносит поведение большой модели-учителя в малую: исследование Google (ACL Findings 2023) показало, что T5 на 770 млн параметров обошла few-shot PaLM на 540 млрд на тесте ANLI, если учить её не только правильным ответам, но и «рассуждениям» большой модели.

Зачем это нужно компаниям

Стоимость и задержка. При миллионах повторяющихся запросов разница в цене за вызов становится бюджетной статьёй. Checkr заявляет о пятикратной экономии, PayPal достиг снижения стоимости с 0,025–0,055 доллара до 0,013 доллара за оценку. По скорости: Predibase заявляет о 30-кратном ускорении, Computerworld приводит 15 секунд у GPT-4 против 0,15 секунды у дообученной модели.

Приватность и независимость. Малую модель можно запустить на собственных серверах. Данные не уходят во внешний сервис, и система не зависит от одного поставщика. Блокировка аккаунта не останавливает процесс.

Предсказуемый формат. Дообученная модель всегда отвечает одинаково — это критично для автоматизации. PayPal достиг 100% валидного JSON на всех проверках расшифровок разговоров.

Пятишаговая схема внедрения

Шаг 1. Прототип на флагманской модели. Зафиксируйте задачу, формат ответа и типичные ошибки. Выясните, хватит ли промпта и RAG. Каждый исправленный вручную ответ — потенциальный обучающий пример.

Шаг 2. Размеченные примеры из реальных данных. Используйте настоящие запросы и подтверждённые экспертом ответы. Отдельно собирайте трудные случаи: PayPal добавил всего 20 негативных примеров и поднял точность на проблемном поле до 100%.

Шаг 3. Дообучение с остановкой по валидации. Останавливайте обучение по метрике на отложенных данных, не по числу эпох. PayPal при обучении на 188 примерах зафиксировал переобучение на шаге 60.

Шаг 4. Жёсткие проверки. Добавьте слой правил для формата, допустимых значений, обязательных полей. Правила на регулярных выражениях хрупки, но однозначное правило лучше, чем доверие только модели.

Шаг 5. Слепая проверка на новых данных. Модель не должна встречать эти данные при обучении. Результат оценивает человек-эксперт, не другая модель. PayPal использовал 53 независимых расшифровки разговоров.

Что мониторить после запуска

Налаживание — не финал, а начало жизни модели в продакшене. Узкая модель хрупка вне обучающих данных, поэтому нужен постоянный присмотр: доля запросов, непохожих на обучающие данные; доля ручных исправлений (сигнал деградации раньше любых метрик); регрессионный набор замороженных проверочных случаев при каждом изменении; состояние жёстких правил и журнал сомнительных случаев для следующего раунда обучения.