Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарHabr: MTS AI→ оригинал

MWS AI открыла OpenAutoNLU: библиотека сама выбирает из 3 методов обучения чат-бота

Чтобы бот понимал, чего хочет клиент, разработчик вручную выбирает метод обучения, чистит разметку и учит бота отсекать вопросы не по теме. MWS AI открыла библиотеку OpenAutoNLU, которая по числу примеров на класс сама выбирает один из трёх методов: от few-shot до полного дообучения. Если тестовой выборки нет, её сгенерирует GPT-4o-mini: расхождение с реальным тестом не превышало 5%. Для прототипа бота с малой разметкой это быстрый старт.

AI-обработка оригинала Habr: MTS AI; редакция Hamidun News
MWS AI открыла OpenAutoNLU: библиотека сама выбирает из 3 методов обучения чат-бота
Источник: Habr: MTS AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr: MTS AI ↗
Главный редактор
Мало данныхAncSetFit, средне: SetFit, много: полный fine-tuning
Ключевой факт #2Вопросы не по теме отсекаются по порогу, найденному на синтетике
Ключевой факт #3Экспорт в ONNX и автовыбор CUDA, CoreML или CPU

Представьте бота поддержки в банке. Он должен понять, что хочет клиент: заблокировать карту, узнать лимит или сменить тариф. Эта задача называется NLU, то есть понимание естественного языка. Чтобы обучить такого бота, разработчик выбирает метод, подбирает настройки, чистит кривую разметку, а потом выясняет, что бот уверенно отвечает на вопросы про погоду, к которым не готовился. Такие запросы «не по теме» в литературе называют OOD (out of scope). Команда MWS AI вместе с исследователями из ИТМО и MBZUAI выложила в опенсорс библиотеку OpenAutoNLU, которая должна убрать эту ручную рутину из классификации текстов и извлечения сущностей (NER).

Какую проблему решает библиотека

Авторы, среди которых рассказчик проекта Григорий Аршинов, называют три слабых места существующих AutoML-инструментов. Они либо не умеют обучать NLU из коробки, либо не умеют строить хорошие детекторы запросов не по теме, либо слишком сложны и требуют экспертизы.

Рутина выглядит так. Во-первых, нужно заранее знать подходящие гиперпараметры или перебирать все комбинации и пресеты, а это долго и дорого по вычислениям. Во-вторых, разметка в реальных проектах редко бывает чистой: в ней ошибки, неоднозначные примеры, дубли и перекосы по классам. Большинство AutoML-решений не проверяют качество данных прямо в пайплайне. В-третьих, в продакшене модель получает то, чего не было в обучении. Обычно такие примеры либо не учитывают, либо требуют заранее разметить, что тоже не всегда возможно.

OpenAutoNLU — это Python-библиотека с простым API. Пользователь даёт данные и запускает обучение, а выбор режима, анализ данных, балансировка и подготовка к инференсу проходят автоматически. Библиотека уже вошла в инструментарий платформы MWS AI Agents Platform.

Как это работает на примере

Главная идея: библиотека смотрит на распределение классов и минимальное число примеров на класс и сама выбирает стратегию. Если данных совсем мало, включается AncSetFit: few-shot-метод с якорными примерами, рассчитанный на 2–5 примеров на класс. При умеренном объёме работает SetFit: sentence-transformer с простым классификатором сверху. Когда примеров достаточно, дообучается весь трансформер, при желании с подбором параметров через Optuna. По умолчанию это десять итераций с остановкой после пяти шагов без роста целевой метрики macro-F1.

Допустим, в вашем датасете интентов у части классов по два примера, а у других сотни. Система сначала «подтянет» маленькие классы через аугментацию Augmentex и, если нужно, через LLM. Для few-shot-режимов большие классы, наоборот, обрежет: до 80 примеров для SetFit и до 5 для AncSetFit, чтобы дисбаланс не ломал обучение. После этого библиотека заново оценит данные и может сменить режим.

Отдельный слой — диагностика разметки. Она показывает, какие примеры стоит переразметить: где предсказание расходится с меткой, где модель не уверена, а какие примеры дают только шум. Для NER применяется агрегация нескольких предсказаний с Monte Carlo dropout, которые обрабатываются как мнения разных разметчиков.

Для запросов не по теме есть три метода: Marginal Mahalanobis Distance, Centroid Mahalanobis Distance и MaxProb. Первый лучше работает, когда в самом маленьком классе есть хотя бы 81 пример. Порог отсечения библиотека подбирает по синтетическим примерам out of scope, поэтому размечать их вручную не обязательно, хотя свои примеры подключить можно.

Если нет тестовой выборки, LLM сгенерирует её по обучающим примерам. В экспериментах использовали GPT-4o-mini: на выборках до 80 примеров на класс разница между синтетическим и реальным тестом не превышала 5%. Подойдёт любой OpenAI-совместимый эндпоинт, в том числе локальная модель.

На выходе получается пакет с ONNX-чекпоинтом, токенизатором, маппингом меток и meta.json. Менеджер инференса сам определяет CUDA, CoreML или CPU и подбирает размер батча, чтобы не упасть по памяти.

Что с проверкой и где осторожность

Авторы сравнивали библиотеку с AutoIntent, AutoGluon, LightAutoML и H2O на четырёх датасетах интентов: banking77, massive, hwu64 и snips. Прогоны шли на малых выборках (5–10 примеров на класс), средних (81–100) и на полных данных, результаты усреднялись по трём запускам. Смотрели на F1-macro, F1-in-scope и F1-OOD. Тесты шли на машине с NVIDIA H100 на 80 ГБ.

Оговорки очевидны. Это замеры самих авторов на стандартных бенчмарках интентов, и как библиотека поведёт себя на вашем шумном датасете, нужно проверять. Чтение BIO-разметки для NER напрямую пока не поддерживается и обещано в следующем релизе.

Практический вывод простой. Если вы делаете бота, маршрутизатор обращений или извлечение сущностей и у вас мало размеченных данных, OpenAutoNLU позволяет быстро собрать рабочий базовый вариант с диагностикой разметки и защитой от запросов не по теме. Демо временно доступно на openautonlu.dev, а собрать его можно самостоятельно по инструкции в репозитории.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: какую проблему решает библиотека?

Авторы, среди которых рассказчик проекта Григорий Аршинов, называют три слабых места существующих AutoML-инструментов. Они либо не умеют обучать NLU из коробки, либо не умеют строить хорошие детекторы запросов не по теме, либо слишком сложны и требуют экспертизы. Рутина выглядит так. Во-первых, нужно заранее знать подходящие гиперпараметры или перебирать все комбинации и пресеты, а это долго и дорого по вычислениям.

Что известно по теме: как это работает на примере?

Главная идея: библиотека смотрит на распределение классов и минимальное число примеров на класс и сама выбирает стратегию. Если данных совсем мало, включается AncSetFit: few-shot-метод с якорными примерами, рассчитанный на 2–5 примеров на класс. При умеренном объёме работает SetFit: sentence-transformer с простым классификатором сверху. Когда примеров достаточно, дообучается весь трансформер, при желании с подбором параметров через Optuna.

Что известно по теме: что с проверкой и где осторожность?

Авторы сравнивали библиотеку с AutoIntent, AutoGluon, LightAutoML и H2O на четырёх датасетах интентов: banking77, massive, hwu64 и snips. Прогоны шли на малых выборках (5–10 примеров на класс), средних (81–100) и на полных данных, результаты усреднялись по трём запускам. Смотрели на F1-macro, F1-in-scope и F1-OOD. Тесты шли на машине с NVIDIA H100 на 80 ГБ. Оговорки очевидны. Это замеры самих авторов на стандартных бенчмарках интентов, и как библиотека поведёт себя на вашем шумном датасете, нужно проверять.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…