MWS AI abriu o OpenAutoNLU: biblioteca escolhe sozinha entre 3 métodos de treinamento de chatbot
Para o bot entender o que o cliente quer, o desenvolvedor costuma escolher manualmente o método de treinamento, limpar a rotulagem e ensinar o bot a barrar perguntas fora do assunto. A MWS AI abriu a biblioteca OpenAutoNLU, que escolhe sozinha um de três métodos com base no número de exemplos por classe: do few-shot ao fine-tuning completo. Se não houver conjunto de teste, o GPT-4o-mini gera um. A diferença em relação ao teste real não passou de 5%. Para um protótipo de bot com pouca rotulagem, isso significa um começo rápido.
Processado por IA de Habr: MTS AI; editado por Hamidun News
Imagine um bot de suporte de um banco. Ele precisa entender o que o cliente quer: bloquear o cartão, consultar o limite ou trocar de plano. Essa tarefa se chama NLU, ou compreensão de linguagem natural.
Para treinar um bot assim, o desenvolvedor escolhe o método, ajusta as configurações, limpa rotulagens problemáticas e, depois, descobre que o bot responde com segurança perguntas sobre o tempo, para as quais ele nunca foi preparado. Esses pedidos "fora do tema" são chamados na literatura de OOD (out of scope). A equipe da MWS AI, em parceria com pesquisadores do ITMO e da MBZUAI, publicou como código aberto a biblioteca OpenAutoNLU, que pretende eliminar esse trabalho manual na classificação de textos e na extração de entidades (NER).
Qual problema a biblioteca resolve
Os autores, entre eles o responsável pelo projeto, Grigory Arshinov, apontam três pontos fracos das ferramentas de AutoML existentes. Elas não treinam NLU prontas para uso, não constroem bons detectores de perguntas fora do tema ou são complexas demais e exigem especialização.
A rotina é a seguinte. Primeiro, é preciso conhecer de antemão os hiperparâmetros adequados ou testar todas as combinações e presets, o que consome muito tempo e poder computacional. Segundo, a rotulagem em projetos reais raramente é limpa: há erros, exemplos ambíguos, duplicatas e desequilíbrio entre classes. A maioria das soluções de AutoML não verifica a qualidade dos dados dentro do pipeline. Terceiro, em produção o modelo recebe entradas que não estavam no treinamento. Normalmente, esses casos são ignorados ou exigem rotulagem prévia, o que nem sempre é viável.
O OpenAutoNLU é uma biblioteca em Python com API simples. O usuário fornece os dados e inicia o treinamento, enquanto a escolha do modo, a análise dos dados, o balanceamento e a preparação para inferência acontecem automaticamente. A biblioteca já faz parte do conjunto de ferramentas da plataforma MWS AI Agents Platform.
Como funciona, na prática
A ideia central é que a biblioteca analisa a distribuição das classes e o número mínimo de exemplos por classe e escolhe a estratégia sozinha. Se os dados são muito escassos, entra o AncSetFit, um método few-shot com exemplos âncora, projetado para 2 a 5 exemplos por classe. Com volume moderado, usa-se o SetFit, que combina um sentence-transformer com um classificador simples por cima. Quando há exemplos suficientes, todo o transformer é ajustado, opcionalmente com busca de parâmetros via Optuna. Por padrão, são dez iterações, com parada após cinco passos sem melhora na métrica-alvo, o macro-F1.
Suponha que, no seu conjunto de intenções, algumas classes tenham dois exemplos e outras, centenas. O sistema primeiro reforça as classes pequenas com a augmentação do Augmentex e, se necessário, com um LLM. Nos modos few-shot, as classes grandes são reduzidas: para até 80 exemplos no SetFit e até 5 no AncSetFit, para que o desequilíbrio não prejudique o treinamento. Depois disso, a biblioteca reavalia os dados e pode trocar de modo.
Há ainda uma camada dedicada à diagnóstica da rotulagem. Ela indica quais exemplos vale rotular de novo: onde a previsão diverge do rótulo, onde o modelo está inseguro e quais exemplos só geram ruído. No NER, várias previsões são agregadas com Monte Carlo dropout, tratadas como opiniões de anotadores diferentes.
Para perguntas fora do tema, há três métodos: Marginal Mahalanobis Distance, Centroid Mahalanobis Distance e MaxProb. O primeiro tem melhor desempenho quando a menor classe possui pelo menos 81 exemplos. O limiar de corte é calibrado com exemplos sintéticos de out of scope, então não é preciso rotulá-los manualmente, embora seja possível incluir os seus próprios.
Se não houver conjunto de teste, um LLM o gera a partir dos exemplos de treinamento. Nos experimentos, usou-se o GPT-4o-mini: em conjuntos de até 80 exemplos por classe, a diferença entre o teste sintético e o real não passou de 5%. Qualquer endpoint compatível com a API da OpenAI serve, inclusive um modelo local.
O resultado é um pacote com checkpoint em ONNX, tokenizador, mapeamento de rótulos e meta.json. O gerenciador de inferência detecta sozinho se usará CUDA, CoreML ou CPU e ajusta o tamanho do batch para não estourar a memória.
O que foi testado e onde é preciso cuidado
Os autores compararam a biblioteca com AutoIntent, AutoGluon, LightAutoML e H2O em quatro conjuntos de intenções: banking77, massive, hwu64 e snips. Os testes usaram amostras pequenas (5 a 10 exemplos por classe), médias (81 a 100) e dados completos, com resultados médios de três execuções. Foram medidos F1-macro, F1-in-scope e F1-OOD. Os testes rodaram em uma máquina com NVIDIA H100 de 80 GB.
As ressalvas são evidentes. Trata-se de medições dos próprios autores, em benchmarks padronizados de intenções, e é preciso validar como a biblioteca se comporta no seu conjunto de dados, que provavelmente é mais ruidoso. A leitura de rotulagem no formato BIO para NER ainda não é suportada e está prometida para a próxima versão.
A conclusão prática é direta. Se você desenvolve um bot, um roteador de atendimentos ou um extrator de entidades e tem poucos dados rotulados, o OpenAutoNLU permite montar rapidamente uma base funcional, com diagnóstico da rotulagem e proteção contra perguntas fora do tema. A demonstração está temporariamente disponível em openautonlu.dev, e a biblioteca pode ser instalada seguindo as instruções do repositório.
- 21 de nov. de 2026As vagas de FDE cresceram 4,6 vezes em um ano: o que faz o engenheiro no cliente
- 21 de nov. de 2026Capitã de equipe de natação entregou três tarefas ao ChatGPT pela agenda e cortou a rotina em muitas vezes
- 21 de nov. de 2026OpenAI GPT-6 Cyber encontrou cerca de 35 falhas no iPhone, no Mac e em outros dispositivos da Apple
- 21 de nov. de 202622 agentes Claude passaram seis semanas atrás de respostas sobre buracos negros e resolveram dois problemas
Perguntas frequentes sobre a notícia
O que se sabe sobre Qual problema a biblioteca resolve?
Os autores, entre eles o responsável pelo projeto, Grigory Arshinov, apontam três pontos fracos das ferramentas de AutoML existentes. Elas não treinam NLU prontas para uso, não constroem bons detectores de perguntas fora do tema ou são complexas demais e exigem especialização. A rotina é a seguinte. Primeiro, é preciso conhecer de antemão os hiperparâmetros adequados ou testar todas as combinações e presets, o que consome muito tempo e poder computacional.
Como funciona, na prática?
A ideia central é que a biblioteca analisa a distribuição das classes e o número mínimo de exemplos por classe e escolhe a estratégia sozinha. Se os dados são muito escassos, entra o AncSetFit, um método few-shot com exemplos âncora, projetado para 2 a 5 exemplos por classe. Com volume moderado, usa-se o SetFit, que combina um sentence-transformer com um classificador simples por cima. Quando há exemplos suficientes, todo o transformer é ajustado, opcionalmente com busca de parâmetros via Optuna.
O que foi testado e onde é preciso cuidado?
Os autores compararam a biblioteca com AutoIntent, AutoGluon, LightAutoML e H2O em quatro conjuntos de intenções: banking77, massive, hwu64 e snips. Os testes usaram amostras pequenas (5 a 10 exemplos por classe), médias (81 a 100) e dados completos, com resultados médios de três execuções. Foram medidos F1-macro, F1-in-scope e F1-OOD. Os testes rodaram em uma máquina com NVIDIA H100 de 80 GB. As ressalvas são evidentes.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.