MWS AI открыла OpenAutoNLU: библиотека сама выбирает из 3 методов обучения чат-бота
Чтобы бот понимал, чего хочет клиент, разработчик вручную выбирает метод обучения, чистит разметку и учит бота отсекать вопросы не по теме. MWS AI открыла библиотеку OpenAutoNLU, которая по числу примеров на класс сама выбирает один из трёх методов: от few-shot до полного дообучения. Если тестовой выборки нет, её сгенерирует GPT-4o-mini: расхождение с реальным тестом не превышало 5%. Для прототипа бота с малой разметкой это быстрый старт.
AI-обработка оригинала Habr: MTS AI; редакция Hamidun News
Представьте бота поддержки в банке. Он должен понять, что хочет клиент: заблокировать карту, узнать лимит или сменить тариф. Эта задача называется NLU, то есть понимание естественного языка. Чтобы обучить такого бота, разработчик выбирает метод, подбирает настройки, чистит кривую разметку, а потом выясняет, что бот уверенно отвечает на вопросы про погоду, к которым не готовился. Такие запросы «не по теме» в литературе называют OOD (out of scope). Команда MWS AI вместе с исследователями из ИТМО и MBZUAI выложила в опенсорс библиотеку OpenAutoNLU, которая должна убрать эту ручную рутину из классификации текстов и извлечения сущностей (NER).
Какую проблему решает библиотека
Авторы, среди которых рассказчик проекта Григорий Аршинов, называют три слабых места существующих AutoML-инструментов. Они либо не умеют обучать NLU из коробки, либо не умеют строить хорошие детекторы запросов не по теме, либо слишком сложны и требуют экспертизы.
Рутина выглядит так. Во-первых, нужно заранее знать подходящие гиперпараметры или перебирать все комбинации и пресеты, а это долго и дорого по вычислениям. Во-вторых, разметка в реальных проектах редко бывает чистой: в ней ошибки, неоднозначные примеры, дубли и перекосы по классам. Большинство AutoML-решений не проверяют качество данных прямо в пайплайне. В-третьих, в продакшене модель получает то, чего не было в обучении. Обычно такие примеры либо не учитывают, либо требуют заранее разметить, что тоже не всегда возможно.
OpenAutoNLU — это Python-библиотека с простым API. Пользователь даёт данные и запускает обучение, а выбор режима, анализ данных, балансировка и подготовка к инференсу проходят автоматически. Библиотека уже вошла в инструментарий платформы MWS AI Agents Platform.
Как это работает на примере
Главная идея: библиотека смотрит на распределение классов и минимальное число примеров на класс и сама выбирает стратегию. Если данных совсем мало, включается AncSetFit: few-shot-метод с якорными примерами, рассчитанный на 2–5 примеров на класс. При умеренном объёме работает SetFit: sentence-transformer с простым классификатором сверху. Когда примеров достаточно, дообучается весь трансформер, при желании с подбором параметров через Optuna. По умолчанию это десять итераций с остановкой после пяти шагов без роста целевой метрики macro-F1.
Допустим, в вашем датасете интентов у части классов по два примера, а у других сотни. Система сначала «подтянет» маленькие классы через аугментацию Augmentex и, если нужно, через LLM. Для few-shot-режимов большие классы, наоборот, обрежет: до 80 примеров для SetFit и до 5 для AncSetFit, чтобы дисбаланс не ломал обучение. После этого библиотека заново оценит данные и может сменить режим.
Отдельный слой — диагностика разметки. Она показывает, какие примеры стоит переразметить: где предсказание расходится с меткой, где модель не уверена, а какие примеры дают только шум. Для NER применяется агрегация нескольких предсказаний с Monte Carlo dropout, которые обрабатываются как мнения разных разметчиков.
Для запросов не по теме есть три метода: Marginal Mahalanobis Distance, Centroid Mahalanobis Distance и MaxProb. Первый лучше работает, когда в самом маленьком классе есть хотя бы 81 пример. Порог отсечения библиотека подбирает по синтетическим примерам out of scope, поэтому размечать их вручную не обязательно, хотя свои примеры подключить можно.
Если нет тестовой выборки, LLM сгенерирует её по обучающим примерам. В экспериментах использовали GPT-4o-mini: на выборках до 80 примеров на класс разница между синтетическим и реальным тестом не превышала 5%. Подойдёт любой OpenAI-совместимый эндпоинт, в том числе локальная модель.
На выходе получается пакет с ONNX-чекпоинтом, токенизатором, маппингом меток и meta.json. Менеджер инференса сам определяет CUDA, CoreML или CPU и подбирает размер батча, чтобы не упасть по памяти.
Что с проверкой и где осторожность
Авторы сравнивали библиотеку с AutoIntent, AutoGluon, LightAutoML и H2O на четырёх датасетах интентов: banking77, massive, hwu64 и snips. Прогоны шли на малых выборках (5–10 примеров на класс), средних (81–100) и на полных данных, результаты усреднялись по трём запускам. Смотрели на F1-macro, F1-in-scope и F1-OOD. Тесты шли на машине с NVIDIA H100 на 80 ГБ.
Оговорки очевидны. Это замеры самих авторов на стандартных бенчмарках интентов, и как библиотека поведёт себя на вашем шумном датасете, нужно проверять. Чтение BIO-разметки для NER напрямую пока не поддерживается и обещано в следующем релизе.
Практический вывод простой. Если вы делаете бота, маршрутизатор обращений или извлечение сущностей и у вас мало размеченных данных, OpenAutoNLU позволяет быстро собрать рабочий базовый вариант с диагностикой разметки и защитой от запросов не по теме. Демо временно доступно на openautonlu.dev, а собрать его можно самостоятельно по инструкции в репозитории.
- 21 нояб. 2026 г.Математик Anthropic заявил: Claude помог за 6 недель доказать гипотезу Римана
- 21 нояб. 2026 г.Стартап Osmo обучил ИИ запахам на 10 млн оценок людей и генерирует ароматы по тексту
- 21 нояб. 2026 г.КНДР показала первый чатбот «Источник мудрости»: только наука, без политики
- 21 нояб. 2026 г.OpenAI открыла ChatGPT Spaces подписчикам Plus: совместные документы с ИИ
Вопросы и ответы по материалу
Что известно по теме: какую проблему решает библиотека?
Авторы, среди которых рассказчик проекта Григорий Аршинов, называют три слабых места существующих AutoML-инструментов. Они либо не умеют обучать NLU из коробки, либо не умеют строить хорошие детекторы запросов не по теме, либо слишком сложны и требуют экспертизы. Рутина выглядит так. Во-первых, нужно заранее знать подходящие гиперпараметры или перебирать все комбинации и пресеты, а это долго и дорого по вычислениям.
Что известно по теме: как это работает на примере?
Главная идея: библиотека смотрит на распределение классов и минимальное число примеров на класс и сама выбирает стратегию. Если данных совсем мало, включается AncSetFit: few-shot-метод с якорными примерами, рассчитанный на 2–5 примеров на класс. При умеренном объёме работает SetFit: sentence-transformer с простым классификатором сверху. Когда примеров достаточно, дообучается весь трансформер, при желании с подбором параметров через Optuna.
Что известно по теме: что с проверкой и где осторожность?
Авторы сравнивали библиотеку с AutoIntent, AutoGluon, LightAutoML и H2O на четырёх датасетах интентов: banking77, massive, hwu64 и snips. Прогоны шли на малых выборках (5–10 примеров на класс), средних (81–100) и на полных данных, результаты усреднялись по трём запускам. Смотрели на F1-macro, F1-in-scope и F1-OOD. Тесты шли на машине с NVIDIA H100 на 80 ГБ. Оговорки очевидны. Это замеры самих авторов на стандартных бенчмарках интентов, и как библиотека поведёт себя на вашем шумном датасете, нужно проверять.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.