LLM como decodificador em ASR: Kontur adapta a arquitetura SALM da Nvidia para telefonia em russo

A indústria de reconhecimento de fala (ASR) confiou por décadas em uma abordagem em cascata: primeiro, um modelo acústico converte o espectrograma do som em probabilidades de letras; depois, um modelo de linguagem tenta montar isso em um texto coerente. O problema é que o primeiro componente perde informação acústica de forma irreversível no momento da discretização, e o erro se acumula ao longo da cadeia. O modelo acústico não tem contexto e muitas vezes confunde homófonos: palavras que têm o mesmo som, mas significados diferentes, não podem ser distinguidas sem entender o sentido.

A indústria tentou resolver esse problema de várias formas: decodificação integrada (Beam Search + um modelo de linguagem pequeno), arquiteturas autorregressivas (RNN-T, TDT) treinadas com conjuntos de dados ASR escassos, e correção de erros via um LLM grande aplicado sobre o texto final — mas tudo isso ainda estava dentro do paradigma da cascata. No final de 2024, a Nvidia propôs uma arquitetura fundamentalmente diferente: SALM (Speech Augmented Language Model), que estabeleceu um novo recorde no leaderboard da HuggingFace OpenASR. Essa arquitetura se tornou a base do modelo Canary-Qwen-2.5B.

Como funciona o SALM: uma abordagem híbrida em vez de cascata

Em vez de um pipeline sequencial, o SALM combina o encoder de fala e o LLM em um único sistema. O FastConformer extrai características acústicas profundas diretamente do áudio bruto. Um adaptador projeta esses embeddings no espaço de tokens do LLM. O Qwen interpreta isso não como letras rígidas, mas como um soft-prompt — um fluxo contínuo de significado que contorna seu vocabulário padrão. Os pesos-base do LLM permanecem congelados: só se treinam o adaptador e as camadas LoRA, o que evita o esquecimento catastrófico e permite remover o LoRA depois para usar o Qwen separadamente em tarefas puramente textuais.

A Kontur decidiu testar como essa arquitetura se comporta nas suas condições: telefonia e videoconferências em russo com escassez de dados rotulados. O encoder acústico foi o modelo aberto FastConformer, ajustado com dados próprios. Para o LLM, testaram dois tamanhos de Qwen3 — 0.6B e 1.7B — e escolheram o mais pesado pela qualidade, mesmo com as exigências de poder computacional. Foi um caso clássico de levar tecnologia SOTA para o mundo real com orçamento limitado para rotulagem de dados.

Três problemas arquiteturais e suas soluções

Alucinações no padding. No início, usaram a abordagem do Whisper: duração de áudio fixa, com frases curtas completadas com silêncio no nível da forma de onda bruta. O modelo começava a gerar lixo completo nesses momentos de silêncio, o que prejudicava a métrica WER e tornava a inferência mais lenta. A solução foi simples: abandonar o padding de áudio e substituí-lo pelo padding clássico com tokens no final da sequência. As alucinações desapareceram.

A lacuna entre modalidades (modality gap). Um modelo de linguagem opera com um vocabulário fixo (digamos, 100 mil tokens), cada um associado a um vetor de dimensão fixa. O encoder acústico gera vetores de sua própria dimensão, descrevendo fonética e acústica.

Mesmo quando as dimensões coincidem, trata-se de espaços matematicamente compatíveis, mas semanticamente estranhos entre si: um vetor vindo do encoder é apenas ruído para o LLM até que ambos sejam treinados juntos. O adaptador precisa projetar as características de áudio de modo que o LLM as perceba como soft-prompts nativos. A Kontur testou três variantes de adaptador: um perceptron multicamadas (MLP de 2 camadas), um ConformerEncoder para comprimir 16 vezes mais as representações de áudio (visando lidar com contextos mais longos), e uma projeção linear.

O Conformer se mostrou pesado demais em termos de parâmetros; o MLP trouxe uma precisão ligeiramente melhor, mas a diferença entre o MLP e a projeção linear foi mínima — por isso, optaram pela opção mais simples.

Resultado: um ganho de qualidade no domínio da telefonia em russo, obtido sem cortar custos no encoder acústico e sem volumes massivos de dados contrastivos. Os insights arquiteturais ajudaram a evitar erros típicos. A Kontur ainda não tem pressa para colocar isso em produção, mas vê o SALM como uma direção promissora para melhorar ainda mais o WER em condições difíceis de fala espontânea em russo.