Desenvolvedor do Charoite explica onde o modelo de NLI funciona no assistente para reuniões no Zoom e onde não funciona

Na décima parte da série sobre um assistente local para reuniões no Zoom, o autor do projeto «Charoite» analisa o modelo de NLI que roda no seu sistema há três meses. O anúncio no Habr abre com um exemplo que mostra por que ele é necessário: «o orçamento do trimestre foi aprovado» e «o orçamento do trimestre não foi aprovado» são, para os embeddings, quase a mesma frase. As palavras coincidem, e a partícula «não» pesa pouco no vetor.

Para uma reunião, isso significa que se decidiu o contrário. O anúncio não traz o texto completo, por isso não haverá números nem benchmarks aqui: apenas o que o autor informou diretamente e o contexto em que isso deve ser lido.

Por que os embeddings confundem opostos

Um modelo de embeddings comprime a frase em um vetor e mede a proximidade por tema e vocabulário. Isso é conveniente para buscar na transcrição: a consulta «o que decidiram sobre o orçamento» encontra o trecho certo. Mas o mesmo mecanismo reage pouco a negação, condições e mudanças de modalidade. «Aprovaram», «não aprovaram» e «aprovaremos, se acharmos dinheiro» ficam vizinhos no espaço vetorial, embora, para uma ata, sejam três fatos diferentes.

O NLI (natural language inference) resolve outro problema. O modelo recebe um par de afirmações e determina se a segunda decorre da primeira, se a contradiz ou se não tem relação com ela. É a formulação clássica de três classes: entailment, contradiction, neutral. Nessa formulação, o par sobre orçamento aprovado e não aprovado resulta em contradiction, e não em «textos muito parecidos».

O que se sabe sobre o Charoite e o NLI

O Charoite é um assistente local para chamadas. O autor mantém uma série de artigos sobre ele, e a décima parte é inteiramente dedicada a um único componente. O título e a introdução revelam três coisas.

• O modelo de NLI roda no Charoite há três meses, ou seja, não é um experimento de fim de semana, mas um componente com histórico de operação.
• O autor testou vários pontos de aplicação: o título menciona três em que o modelo foi «experimentado» e dois dos quais ele saiu.
• Foi prometida uma análise à parte do custo da decisão: o autor escreve que remover o modelo «teve um preço».

O anúncio não informa o modelo, o tamanho, as latências nem a precisão. Para um assistente local, esses são parâmetros-chave: o classificador de NLI é chamado sobre pares de afirmações, e o número de pares cresce rápido em uma reunião longa. Se cada nova tese for comparada com todas as anteriores, a carga se torna quadrática, e isso aparece em hardware doméstico.

Onde o NLI costuma funcionar e onde não

No texto completo, a julgar pelo título, o autor mostra os dois lados. Pela prática geral, é possível supor quais usos entram em cada grupo, mas isso é uma suposição, não um resumo do artigo. O NLI se encaixa bem na verificação de pares em que o erro custa caro: detecção de contradições entre decisões de reuniões diferentes, conferência da ata final com a transcrição, checagem de que um item do resumo realmente foi dito.

Ele funciona pior onde é preciso uma interpretação sutil de um contexto longo. Fala coloquial com ressalvas, frases incompletas e referências como «como decidimos ontem» se encaixam mal em pares de afirmações curtas. O classificador é treinado com frases bem escritas, não com transcrições reais.

Daí a razão típica para tirar o NLI de certas tarefas: alarmes falsos em transcrições ruidosas custam mais do que contradições não detectadas. Se o autor confirma justamente essa razão, só o artigo dele vai esclarecer.

Como usar essa análise

Se você está construindo seu próprio assistente de reuniões ou uma busca em transcrições, vale fazer três coisas.

• Monte um pequeno conjunto de pares com negações e condições («aprovaram» contra «não aprovaram», «se» contra «quando») e rode na sua busca por embeddings. Ficará claro onde o vetor erra.
• Coloque o NLI depois da seleção de candidatos, e não no lugar dela: os embeddings encontram rapidamente afirmações semelhantes, e o NLI verifica apenas esses pares.
• Meça a qualidade em transcrições reais, e não em frases de teste limpas. É justamente ali que, na maioria das vezes, o modelo acaba sendo removido.

A décima parte da série é interessante por ser um raro relato de três meses de operação, e não de um lançamento. As conclusões específicas, os números e o custo de abrir mão do modelo devem ser consultados no artigo original no Habr.