Разработчик дообучил модель на 4 млрд параметров и получил 84,5% точности за вечер

Небольшая открытая модель на 4 млрд параметров, дообученная за один вечер на арендованной видеокарте, закрывает заметную часть бизнес-рутины. Автор разбора на Habr потратил на обучение несколько сотен рублей и получил 84,5% точности на собственных русскоязычных задачах. Почти две трети потока модель обрабатывает сама при 95% правильных решений. На чужих задачах, которых она не видела, результат скромнее: верхняя группа, но не первое место.

Задача, а не чат-бот

Автор исходит из простого наблюдения. Значительная доля задач, где в компаниях применяют ИИ, сводится к выбору варианта ответа. Куда направить обращение. Кто должен согласовать заявку. Срочная ли это жалоба. Для такого не нужна большая генеративная модель с длинными рассуждениями. Нужен быстрый классификатор с понятной ценой ошибки, и его можно запустить на собственной инфраструктуре.

Именно здесь небольшая модель с дообучением может конкурировать с облачными гигантами. Она дешевле в эксплуатации, а данные не покидают периметр компании.

Что показали замеры

Модель сравнили с YandexGPT, GigaChat и открытыми аналогами. Параметры эксперимента из анонса:

• размер модели: 4 млрд параметров, открытые веса;
• стоимость обучения: несколько сотен рублей аренды GPU, около одного вечера;
• точность на собственных задачах: 84,5%;
• автоматизация: почти две трети потока при 95% правильных решений;
• на незнакомых задачах: верхняя группа, лидерство не заявлено;
• модель и код опубликованы.

Разрыв между 84,5% и 95% логично объясняется порогом уверенности. Уверенные ответы уходят в автоматику, сомнительные достаются человеку. Это моя интерпретация, а не цитата из анонса. Такая схема ближе к реальной эксплуатации, чем единая цифра точности по всей выборке.

Отдельно стоит отметить проверку на задачах, которых не видела ни одна модель. Дообученные модели легко выглядят сильными на данных, близких к обучающим. Честный замер на чужом материале показывает, где заканчивается специализация. Результат «верхняя группа, но не лидер» выглядит правдоподобнее победных реляций.

Ограничения

Я видел только анонс, без полного текста, поэтому детали остаются за кадром: какая базовая модель, какие датасеты, как строились выборки. Бенчмарк авторский, независимой воспроизводимости пока никто не подтвердил. Цифры 84,5% и 95% относятся к конкретным задачам автора и на ваши данные автоматически не переносятся.

Как этим воспользоваться

Автор обещает также разбор граблей и список метрик, которые стоит требовать от подрядчика. Полный перечень в анонсе не раскрыт, но из логики эксперимента можно выделить минимальный набор вопросов для любого внедрения:

• Какая доля потока уходит на автомат при заданной точности, например 95%?
• Как модель ведёт себя на данных, не входивших в обучение?
• Сколько стоит ошибка в вашем процессе и какой порог уверенности из этого следует?
• Сравнивали ли решение с облачными моделями на вашей выборке?

Практический ход такой: собрать размеченную выборку своих обращений, прогнать открытую модель из публикации и сравнить с текущим решением. Если автоматизация достигает половины потока при приемлемой цене ошибки, дальше можно считать экономику. Если нет, сотни рублей на аренду видеокарты — небольшая плата за ответ.