LLM para reconhecimento de fala: como a arquitetura da Nvidia foi adaptada ao russo

As tecnologias de reconhecimento automático de fala (ASR) passam, nos últimos anos, por uma mudança fundamental de paradigma. As arquiteturas clássicas, que dependiam de componentes acústicos e linguísticos separados, estão cedendo lugar a soluções híbridas, nas quais uma grande modelo de linguagem (LLM) assume o papel de decodificador inteligente. A Nvidia está na vanguarda desse movimento com a arquitetura SALM, e engenheiros russos da equipe de tecnologias de fala da Kontur assumiram uma tarefa ambiciosa: adaptar esse modelo SOTA às particularidades da fala espontânea em russo em condições reais de negócio.

Num cenário em que a precisão do reconhecimento já está muito próxima do limite da percepção humana, a concorrência se desloca para a compreensão profunda de contexto e para o tratamento de condições de áudio difíceis, como as da telefonia e das videoconferências.

Durante muito tempo, a evolução dos sistemas de ASR seguiu o caminho do aprimoramento de modelos acústicos, como CTC e RNN-T. Com o avanço triunfal dos transformers e dos modelos do tipo GPT, porém, ficou claro que a qualidade da transcrição pode melhorar radicalmente quando o sistema deixa de apenas associar sons a letras e passa a entender o sentido do que foi dito. O surgimento do modelo Canary-Qwen-2.

5B, baseado na arquitetura Speech Augmented Language Model (SALM), foi um marco importante para a comunidade Open Source. Essa arquitetura não se limita a converter áudio em texto: ela usa o potencial linguístico da LLM para corrigir erros, prever finais de frases e lidar com sintaxe complexa. Para o russo, com sua morfologia rica e ordem livre das palavras, essa abordagem abre possibilidades antes inacessíveis aos sistemas tradicionais.

A essência técnica da arquitetura SALM está na conexão fluida entre o codificador de fala e o modelo de linguagem por meio de um adaptador treinável, também chamado de projetor. O codificador extrai características de alto nível do sinal de áudio e transforma a onda sonora em uma sequência de vetores, que entram na LLM como soft prompts. No caso do Canary-Qwen-2.

5B, o "cérebro" do sistema é o modelo de linguagem Qwen, treinado para interpretar essas características e gerar um texto coerente. Os desenvolvedores russos enfrentaram um desafio sério: adaptar todo esse poder às particularidades da fala espontânea, repleta de interjeições, repetições e frases interrompidas. A situação se complicava por um problema típico do setor, a falta de dezenas de milhares de horas de dados anotados manualmente com perfeição.

Resolver a tarefa exigiu um ajuste fino em amostras específicas dos domínios de telefonia e reuniões corporativas, onde cada ponto percentual de redução no Word Error Rate (WER) é conquistado em meio a ruído de fundo e conexões instáveis.

A adoção de decodificadores baseados em LLM no reconhecimento de fala traz consequências profundas para toda a indústria de análise de negócios. A transcrição de alta qualidade não é um fim em si mesma, mas a base necessária para o processamento posterior dos dados. O reconhecimento preciso é essencial para a geração automática de atas de reunião em serviços de videoconferência, como o Kontur.

Talk, ou para a análise aprofundada da qualidade da comunicação em equipes de vendas. Quando o sistema entende o contexto, comete bem menos erros de sentido, que poderiam distorcer a essência de acordos comerciais na hora de resumir o texto. Ao mesmo tempo, o uso de modelos com bilhões de parâmetros traz novas questões de otimização para os engenheiros.

Os altos requisitos de capacidade computacional obrigam a buscar um equilíbrio entre precisão excepcional e velocidade de operação, de modo a processar milhões de chamadas em tempo real.

A experiência de adaptar a arquitetura de ponta da Nvidia às necessidades do mercado russo confirma que o futuro das tecnologias de fala está ligado à integração profunda entre modelos de áudio e de linguagem. A transição para o uso de LLMs como decodificadores permite romper o "teto de vidro" de precisão que por muito tempo freou o desenvolvimento de sistemas de ata automática e de análise. O caso bem-sucedido de implantação do Canary na infraestrutura de uma grande empresa de tecnologia mostra que a localização de inovações globais para tarefas específicas de idioma e domínio pode entregar resultados de nível mundial.

Hoje, a vantagem competitiva está com quem sabe não apenas treinar redes neurais, mas também ajustar com precisão de relojoeiro arquiteturas complexas à realidade da fala humana espontânea.