El desarrollador de Charoit explicó dónde funciona el modelo NLI en su asistente para videollamadas y dónde no

En la décima parte de su serie sobre un asistente local para videollamadas, el autor del proyecto Charoit analiza el modelo NLI, que lleva ya tres meses funcionando en su sistema. El anuncio en Habr arranca con un ejemplo que deja claro para qué sirve: «el presupuesto del trimestre está acordado» y «el presupuesto del trimestre no está acordado» son, para los embeddings, casi la misma frase. Las palabras coinciden y la partícula «no» pesa poco en el vector.

Para una reunión, sin embargo, significa que se decidió lo contrario. El anuncio no incluye el texto completo, así que a continuación no habrá cifras ni benchmarks: solo lo que el autor ha comunicado de forma explícita y el contexto en el que conviene leerlo.

Por qué los embeddings confunden los opuestos

Un modelo de embeddings comprime la oración en un vector y mide la cercanía por temática y léxico. Para buscar en una transcripción es práctico: la consulta «qué se decidió sobre el presupuesto» encontrará el fragmento adecuado. Pero ese mismo mecanismo reacciona poco a la negación, a las condiciones y a los cambios de modalidad. «Aprobaron», «no aprobaron» y «aprobaremos si encontramos el dinero» acaban como vecinos en el espacio vectorial, aunque para un acta son tres hechos distintos.

NLI (natural language inference) resuelve otro problema. El modelo recibe un par de enunciados y determina si el segundo se deduce del primero, lo contradice o no guarda relación con él. Es el planteamiento clásico de tres clases: entailment, contradiction, neutral. Con este enfoque, el par del presupuesto acordado y no acordado da contradiction, y no «textos muy parecidos».

Qué se sabe de Charoit y NLI

Charoit es un asistente local para videollamadas. El autor dedica a él una serie de artículos, y la décima parte se centra por entero en un componente. Del título y de la introducción se desprenden tres cosas.

• El modelo NLI lleva tres meses funcionando en Charoit, es decir, no es un experimento de fin de semana, sino un componente con historial de uso.
• El autor probó el modelo en varios puntos: el título menciona tres en los que se «probó» y dos de los que salió.
• Se promete un análisis aparte del coste de la decisión: el autor escribe que retirar el modelo «tuvo su precio».

El anuncio no indica el modelo, su tamaño, las latencias ni la precisión. Para un asistente local son parámetros clave: el clasificador NLI se invoca sobre pares de enunciados, y el número de pares crece rápido en una reunión larga. Si cada nueva tesis se compara con todas las anteriores, la carga se vuelve cuadrática, y en un equipo doméstico eso se nota.

Dónde suele encajar NLI y dónde no

Según el título, en el texto completo el autor muestra ambas caras. Por la práctica general se puede suponer qué puntos caen en cada grupo, pero es una suposición y no un resumen del artículo. NLI encaja bien en la verificación de pares donde el error sale caro: detectar contradicciones entre decisiones de distintas reuniones, cotejar el acta final con la transcripción, comprobar que un punto del resumen se dijo de verdad. Funciona peor cuando hace falta una interpretación fina de un contexto largo. El habla coloquial, con titubeos, frases inconclusas y referencias del tipo «como decidimos ayer», se adapta mal a pares de enunciados cortos. El clasificador está entrenado con oraciones limpias, no con transcripciones reales.

De ahí la razón habitual para retirar NLI de ciertas tareas: los falsos positivos sobre una transcripción ruidosa cuestan más que las contradicciones que se escapan. Si el autor confirma precisamente esta razón, se sabrá al leer su artículo.

Cómo aprovechar este análisis

Si está construyendo su propio asistente para reuniones o un buscador sobre transcripciones, conviene hacer tres cosas.

• Reúna un pequeño conjunto de pares con negaciones y condiciones («acordaron» frente a «no acordaron», «si» frente a «cuando») y páselo por su búsqueda con embeddings. Se verá dónde se equivoca el vector.
• Coloque NLI después de la selección de candidatos, no en su lugar: los embeddings encuentran rápido los enunciados parecidos y NLI verifica solo esos pares.
• Mida la calidad con transcripciones reales, no con oraciones de prueba limpias. Es ahí donde con más frecuencia hay que retirar el modelo.

La décima parte de la serie resulta interesante como informe poco habitual sobre tres meses de uso, y no sobre un lanzamiento. Las conclusiones concretas, las cifras y el coste de renunciar al modelo hay que tomarlos del artículo original en Habr.