Kriptonit ensinou o GigaAM a entender fala mista em russo e inglês: WER 13,6% menor

Uma cena familiar: numa reunião online alguém diz, em russo, algo como «vamos olhar o pull request e fazer o deploy até o fim do dia», com as palavras inglesas no meio. Uma pessoa não estranha nada. Um sistema de reconhecimento de fala estranha: alguns modelos transformam as palavras inglesas num emaranhado de letras latinas, outros escolhem palavras russas de som parecido, e outros descartam em silêncio o trecho que não entendem. Tudo porque o ASR normalmente define o idioma pelas primeiras falas e depois se prende a ele.

O laboratório de IA da Kriptonit trabalhou nesse problema. Eles criaram uma receita de fine-tuning que adiciona ao modelo suporte a code-switch, ou seja, à troca de idioma no meio da conversa. A receita serve para Whisper, GigaAM e outros modelos de ASR.

O que exatamente foi feito

Como base, usaram o GigaAM Multilingual, da Sber. A licença MIT permite modificar o modelo e usá-lo em produtos comerciais, de modo que o resultado pode ser aproveitado sem dores de cabeça jurídicas.

A principal dificuldade é que quase não existem datasets prontos em que a fala russa e a inglesa se misturem dentro de uma mesma frase. Por isso, a equipe montou os dados por conta própria, cerca de 10 000 horas de áudio. Foram usadas duas técnicas:

• junção de fragmentos em dois idiomas a partir de gravações monolíngues reais (YODAS, Sova e outros corpora);
• síntese TTS de frases com tradução parcial, em que parte da frase é falada em russo e parte em inglês.

Separadamente, foi incorporado o KenLM, uma biblioteca aberta para modelos de linguagem de n-gramas rápidos. Ela atua na etapa de decodificação: o modelo acústico diz a que o som se parece, e o modelo de linguagem avalia o quão plausível é a sequência de palavras. Segundo os autores, o KenLM reduziu a taxa de erros quando alfabetos se misturam numa mesma palavra. Um bug conhecido: a palavra russa «deploy» vira algo com letras latinas no meio da palavra cirílica.

Resultados

Nos benchmarks com troca de idioma, o WER caiu em média 13,6%. O WER mostra a proporção de palavras reconhecidas incorretamente, então o modelo passou a errar visivelmente menos em fala mista. Também houve controle em fala monolíngue: os autores verificaram que a qualidade ali não caiu após o fine-tuning.

Há ainda conclusões intermediárias. Mesmo corpora monolíngues comuns melhoram a qualidade no fine-tuning de um modelo aberto. Dados sintéticos com fala monolíngue também reduzem o WER, mas não chegam ao ótimo. É necessária justamente a mistura de idiomas dentro das frases e um modelo de linguagem na decodificação.

O que fazer com isso

Se você está construindo transcrição de reuniões, análise de chamadas de suporte ou entrada de voz para um público internacional, pode aproveitar várias coisas deste trabalho:

• Monte seu próprio conjunto de teste de code-switch com suas gravações. Benchmarks gerais não mostram como o modelo se comporta com o seu jargão.
• Dados sintéticos podem ser feitos a baixo custo: junção de trechos reais e TTS com tradução parcial. É uma forma viável de obter dados onde não há prontos.
• Sempre rode regressão em fala monolíngue. O fine-tuning para idiomas mistos não deve quebrar o que já funcionava.
• Considere um modelo de linguagem de n-gramas na decodificação. O KenLM é barato e elimina parte dos híbridos absurdos de palavras.

Limitações

O experimento foi feito apenas com o par russo-inglês. Os autores afirmam que a receita é universal, mas ainda não foi verificada para outros idiomas. O número de 13,6% é a média dos benchmarks de CS; o material não traz valores absolutos de WER nem detalhamento por conjunto, então a comparação com a sua tarefa terá de ser feita por você. Além disso, o processo não é rápido: em um cluster de quatro NVIDIA L40S com 48 GB de memória cada, o fine-tuning leva de uma a três semanas, dependendo do volume de dados.

A seguir, a equipe quer trabalhar com Language Diarization, isto é, dividir automaticamente a gravação em trechos por idioma e roteá-los sem refinar o ASR. Também está nos planos um modelo multilíngue baseado no Whisper V3 Large. Se esses planos derem certo, a abordagem ficará bem mais fácil de adotar. Por ora, é uma boa receita prática para quem tem áudio em que o inglês aparece com regularidade no meio de uma frase em russo.