MWS AI publica OpenAutoNLU: la biblioteca elige sola uno de tres métodos para entrenar un chatbot
Para que un bot entienda lo que quiere el cliente, el desarrollador tiene que elegir a mano el método de entrenamiento, limpiar el etiquetado y enseñar al bot a descartar las preguntas que no vienen al caso. MWS AI ha publicado OpenAutoNLU, una biblioteca que, según el número de ejemplos por clase, elige por sí misma uno de tres métodos: desde el few-shot hasta el ajuste fino completo. Si no hay conjunto de prueba, lo genera GPT-4o-mini: la divergencia con el test real no superó el 5%. Para un prototipo de bot con poco etiquetado, es un arranque rápido.
Procesado por IA desde Habr: MTS AI; editado por Hamidun News
Imagine un bot de soporte en un banco. Tiene que entender qué quiere el cliente: bloquear la tarjeta, consultar el límite o cambiar de tarifa. Esta tarea se llama NLU, es decir, comprensión del lenguaje natural.
Para entrenar a un bot así, el desarrollador elige el método, ajusta la configuración, limpia un etiquetado defectuoso y, después, descubre que el bot responde con seguridad preguntas sobre el tiempo para las que no fue preparado. Esas consultas «fuera de tema» se llaman OOD (out of scope) en la literatura. El equipo de MWS AI, junto con investigadores de ITMO y MBZUAI, ha publicado en código abierto la biblioteca OpenAutoNLU, que pretende eliminar esta rutina manual en la clasificación de textos y en la extracción de entidades (NER).
Qué problema resuelve la biblioteca
Los autores, entre ellos Grigori Arshinov, responsable del proyecto, señalan tres debilidades de las herramientas AutoML existentes. O bien no saben entrenar NLU de forma directa, o bien no saben construir buenos detectores de consultas fuera de tema, o bien son demasiado complejas y exigen experiencia especializada.
La rutina es la siguiente. En primer lugar, hay que conocer de antemano los hiperparámetros adecuados o probar todas las combinaciones y presets, lo que lleva mucho tiempo y resulta caro en cómputo. En segundo lugar, en los proyectos reales el etiquetado rara vez está limpio: contiene errores, ejemplos ambiguos, duplicados y desequilibrios entre clases. La mayoría de las soluciones AutoML no comprueban la calidad de los datos dentro del propio pipeline. En tercer lugar, en producción el modelo recibe algo que no estaba en el entrenamiento. Normalmente esos casos o bien no se contemplan, o bien exigen etiquetarlos de antemano, lo que no siempre es posible.
OpenAutoNLU es una biblioteca de Python con una API sencilla. El usuario aporta los datos y lanza el entrenamiento, mientras que la elección del modo, el análisis de los datos, el balanceo y la preparación para la inferencia se hacen de forma automática. La biblioteca ya forma parte del conjunto de herramientas de la plataforma MWS AI Agents Platform.
Cómo funciona, con un ejemplo
La idea central es que la biblioteca analiza la distribución de las clases y el número mínimo de ejemplos por clase, y elige la estrategia por sí misma. Si hay muy pocos datos, se activa AncSetFit: un método few-shot con ejemplos ancla, pensado para entre 2 y 5 ejemplos por clase. Con un volumen moderado funciona SetFit: un sentence-transformer con un clasificador simple encima. Cuando hay ejemplos suficientes, se ajusta todo el transformer, opcionalmente con búsqueda de parámetros mediante Optuna. Por defecto son diez iteraciones, con parada tras cinco pasos sin mejora en la métrica objetivo, el macro-F1.
Supongamos que en su conjunto de intenciones algunas clases tienen dos ejemplos y otras, cientos. El sistema primero «refuerza» las clases pequeñas mediante la aumentación con Augmentex y, si hace falta, con un LLM. En los modos few-shot, en cambio, recorta las clases grandes: hasta 80 ejemplos para SetFit y hasta 5 para AncSetFit, para que el desequilibrio no arruine el entrenamiento. Después, la biblioteca vuelve a evaluar los datos y puede cambiar de modo.
Una capa aparte es el diagnóstico del etiquetado. Muestra qué ejemplos conviene volver a etiquetar: dónde la predicción no coincide con la etiqueta, dónde el modelo no está seguro y qué ejemplos solo aportan ruido. Para NER se aplica la agregación de varias predicciones con Monte Carlo dropout, que se tratan como las opiniones de distintos anotadores.
Para las consultas fuera de tema hay tres métodos: Marginal Mahalanobis Distance, Centroid Mahalanobis Distance y MaxProb. El primero funciona mejor cuando la clase más pequeña tiene al menos 81 ejemplos. El umbral de corte lo calcula la biblioteca a partir de ejemplos sintéticos out of scope, así que no es necesario etiquetarlos a mano, aunque también se pueden incorporar ejemplos propios.
Si no hay conjunto de prueba, un LLM lo genera a partir de los ejemplos de entrenamiento. En los experimentos se usó GPT-4o-mini: en conjuntos de hasta 80 ejemplos por clase, la diferencia entre el test sintético y el real no superó el 5%. Sirve cualquier endpoint compatible con la API de OpenAI, incluido un modelo local.
El resultado es un paquete con un checkpoint en ONNX, el tokenizador, el mapeo de etiquetas y un meta.json. El gestor de inferencia detecta automáticamente CUDA, CoreML o CPU y ajusta el tamaño de lote para no quedarse sin memoria.
Qué se ha comprobado y dónde hay que tener cuidado
Los autores compararon la biblioteca con AutoIntent, AutoGluon, LightAutoML y H2O en cuatro conjuntos de intenciones: banking77, massive, hwu64 y snips. Las pruebas se hicieron con muestras pequeñas (5–10 ejemplos por clase), medianas (81–100) y con datos completos, y los resultados se promediaron en tres ejecuciones. Se midieron F1-macro, F1-in-scope y F1-OOD. Las pruebas se ejecutaron en una máquina con NVIDIA H100 de 80 GB.
Las salvedades son evidentes. Son mediciones de los propios autores sobre benchmarks estándar de intenciones, y el comportamiento de la biblioteca en un conjunto de datos propio y ruidoso hay que comprobarlo. La lectura de etiquetado BIO para NER todavía no está soportada directamente y se ha prometido para la próxima versión.
La conclusión práctica es sencilla. Si está creando un bot, un enrutador de solicitudes o un sistema de extracción de entidades y tiene pocos datos etiquetados, OpenAutoNLU permite montar rápidamente una base funcional con diagnóstico del etiquetado y protección frente a consultas fuera de tema. La demo está disponible temporalmente en openautonlu.dev, y puede desplegarla por su cuenta siguiendo las instrucciones del repositorio.
- 31 jul 2026Moonshot AI libera el código de MoonEP, la biblioteca para entrenar el modelo MoE Kimi K3
- 2 jul 2026TimeCopilot: cómo montar un pipeline de predicción con modelos fundacionales y detección de anomalías
- 30 jun 2026LangChain lanza Promptim, una biblioteca para optimizar prompts de forma automática
- 25 oct 2026DIAYN, entre 20 algoritmos de motivación intrínseca, es el que replicó el comportamiento de la mosca Drosophila
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Qué problema resuelve la biblioteca?
Los autores, entre ellos Grigori Arshinov, responsable del proyecto, señalan tres debilidades de las herramientas AutoML existentes. O bien no saben entrenar NLU de forma directa, o bien no saben construir buenos detectores de consultas fuera de tema, o bien son demasiado complejas y exigen experiencia especializada. La rutina es la siguiente. En primer lugar, hay que conocer de antemano los hiperparámetros adecuados o probar todas las combinaciones y presets, lo que lleva mucho tiempo y resulta caro en cómputo.
Cómo funciona, con un ejemplo?
La idea central es que la biblioteca analiza la distribución de las clases y el número mínimo de ejemplos por clase, y elige la estrategia por sí misma. Si hay muy pocos datos, se activa AncSetFit: un método few-shot con ejemplos ancla, pensado para entre 2 y 5 ejemplos por clase. Con un volumen moderado funciona SetFit: un sentence-transformer con un clasificador simple encima. Cuando hay ejemplos suficientes, se ajusta todo el transformer, opcionalmente con búsqueda de parámetros mediante Optuna.
¿Qué se sabe sobre Qué se ha comprobado y dónde hay que tener cuidado?
Los autores compararon la biblioteca con AutoIntent, AutoGluon, LightAutoML y H2O en cuatro conjuntos de intenciones: banking77, massive, hwu64 y snips. Las pruebas se hicieron con muestras pequeñas (5–10 ejemplos por clase), medianas (81–100) y con datos completos, y los resultados se promediaron en tres ejecuciones. Se midieron F1-macro, F1-in-scope y F1-OOD. Las pruebas se ejecutaron en una máquina con NVIDIA H100 de 80 GB. Las salvedades son evidentes.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.