Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoCódigo / SDK · Pronto p/ usoХабр: NLP→ original

Glas faz fine-tuning do reconhecimento de fala GigaAM-v3: termos de TI corretos em 87% dos casos, contra 44%

O ditador Glas, que usa o modelo de reconhecimento de fala GigaAM-v3, transcrevia Docker como "докер" (doker) e a frase "Мой ИИ редко ошибается" (Meu IA raramente erra) como "Мои редко ошибается" (Os meus raramente erra). Após o fine-tuning com 25 horas de fala real, a taxa de termos de TI escritos corretamente subiu de 43,8% para 86,7%, e a taxa de palavras erradas (WER) caiu de 8,81% para 5,76%. É uma versão beta, e o conjunto de teste foi anotado pelo mesmo pipeline usado no treino, então vale revalidar o resultado com seus próprios dados.

Processado por IA de Хабр: NLP; editado por Hamidun News
Glas faz fine-tuning do reconhecimento de fala GigaAM-v3: termos de TI corretos em 87% dos casos, contra 44%
Fonte: Хабр: NLP. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalХабр: NLP ↗
Editor-chefe
Dado-chave #1Foi ajustado o modelo RNNT de produção, sem mudar a arquitetura nem o formato dos pesos
Contraomite palavras com mais frequência e, em fala comum, acerta menos as maiúsculas e minúsculas
HardwareRTX A2000 de 12 GB, velocidade praticamente inalterada

Se você dita code review ou anotações de trabalho, conhece essa dor: o reconhecimento de fala lida tranquilamente com "oi, tudo bem?", mas tropeça nas palavras do dia a dia de quem desenvolve. O programa de ditado Glas roda no GigaAM-v3, um modelo de reconhecimento de fala em russo, e era justamente no vocabulário de TI que ele errava: Docker virava "докер" (doker), Python virava "Пайтон" (Páiton).

A equipe do Glas fez o fine-tuning do modelo com 25 horas de fala real, e a taxa de termos de TI escritos corretamente subiu de 43,8% para 86,7%, ou seja, de "menos da metade" para "quase sempre". A taxa geral de palavras erradas (WER) caiu de 8,81% para 5,76%, cerca de 35% em relação ao valor inicial.

O que exatamente falhava

O modelo base entendia bem a fala russa comum, mas não dava conta de três grupos de palavras: nomes em inglês (Docker, Kubernetes), anglicismos já incorporados, como "дашборд" (dashboard), e a sigla "ИИ" (IA). Às vezes palavras inteiras sumiam. A frase "Мой ИИ редко ошибается" (Meu IA raramente erra) foi transcrita pelo modelo como "Мои редко ошибается" (Os meus raramente erra).

Um dicionário simples de substituições ajuda só em parte. Nos testes, apenas o Kubernetes virou "Кьюбернит", "Куберните", "кубернетис", "Gubernitis" e "Qubernit". Não dá para colocar todas essas variantes num dicionário. Com "ИИ" é ainda mais complicado: só pelo texto é difícil distinguir a sigla de uma conjunção "и" arrastada, é preciso o som. Ou seja, o conserto precisa ser no próprio modelo, e não no pós-processamento.

Como foi o fine-tuning e o que saiu dele

O GigaAM é uma família de modelos de reconhecimento de fala com arquitetura Conformer. A equipe usa a variante com cabeça RNNT, que já entrega o texto com maiúsculas e pontuação. No servidor, o encoder roda em FP16 e a cabeça RNNT em FP32. O Silero VAD corta as gravações longas nas pausas, e os segmentos curtos são reconhecidos em lotes. A decodificação é gulosa (greedy), sem modelo de linguagem externo, e o hardware é uma placa de vídeo RTX A2000 de 12 GB.

Não foi preciso mudar o tokenizador: seu vocabulário de 1024 tokens já inclui o alfabeto latino, e os nomes necessários são codificados sem gambiarras. A arquitetura, o código do modelo e o formato dos pesos também foram mantidos, para que a versão ajustada pudesse substituir a antiga sem refazer o servidor.

O fine-tuning final usou 25 horas de fala real. A avaliação em 525 gravações curtas separadas para teste deu estes números:

  • o WER caiu de 8,81% para 5,76%;
  • a taxa de termos escritos corretamente subiu de 43,8% para 86,7%;
  • a velocidade praticamente não mudou.

Para produção, o último item importa tanto quanto os dois primeiros: a qualidade melhorou sem custo adicional de GPU.

A lição da primeira tentativa fracassada

Primeiro, a equipe pegou a variante CTC do GigaAM e reuniu 4,4 horas de dados: cerca de 1100 frases sintéticas com termos de TI e aproximadamente a mesma quantidade de gravações das partes em russo e em inglês do dataset FLEURS. As 12 camadas inferiores do encoder foram congeladas, e foram treinadas as quatro camadas superiores e a cabeça CTC.

Num teste com 12 frases sintéticas, a taxa de termos corretos saltou de 6% para 86%. Mas, na comparação com o modelo RNNT de produção em 150 gravações reais do FLEURS, o quadro foi diferente. A conclusão para quem trabalha com isso: um bom resultado em teste artificial não garante nada, e a validação precisa ser feita com fala real.

Limitações assumidas

Os autores chamam o lançamento de versão 0.01 e beta, e não escondem os pontos negativos. O modelo ajustado omite palavras com mais frequência e, em fala comum, reproduz pior as maiúsculas e minúsculas e a pontuação. Além disso, o conjunto de teste foi anotado pelo mesmo pipeline automático do conjunto de treino, com verificação manual apenas por amostragem. Parte do ganho pode vir da coincidência de estilo de anotação, e não de uma melhora real no reconhecimento.

O que fazer com isso

Se você está construindo entrada de voz, transcrição de reuniões ou um assistente para desenvolvedores, dá para tirar desta história algumas regras:

  • antes de escrever um dicionário de substituições, levante a lista de erros reais: se um termo é escrito de cinco jeitos diferentes, o conserto é no modelo;
  • fine-tuning com dezenas de horas de fala real pode dobrar a precisão dos termos sem trocar a arquitetura e sem aumentar a carga no hardware;
  • mantenha a compatibilidade com o formato dos pesos, para que a troca e o rollback do modelo levem minutos;
  • anote o conjunto de teste de forma independente do de treino, senão você mede a concordância com o seu próprio pipeline;
  • fique atento aos efeitos colaterais: mais precisão nos termos pode custar palavras omitidas e pontuação estragada.

Para vocabulário de domínio restrito, como os termos de TI, fazer o fine-tuning de um modelo pronto parece mais sensato do que tentar resolver o problema com dicionários.

História

Perguntas frequentes sobre a notícia

O que exatamente falhava?

O modelo base entendia bem a fala russa comum, mas não dava conta de três grupos de palavras: nomes em inglês (Docker, Kubernetes), anglicismos já incorporados, como "дашборд" (dashboard), e a sigla "ИИ" (IA). Às vezes palavras inteiras sumiam. A frase "Мой ИИ редко ошибается" (Meu IA raramente erra) foi transcrita pelo modelo como "Мои редко ошибается" (Os meus raramente erra). Um dicionário simples de substituições ajuda só em parte.

Como foi o fine-tuning e o que saiu dele?

O GigaAM é uma família de modelos de reconhecimento de fala com arquitetura Conformer. A equipe usa a variante com cabeça RNNT, que já entrega o texto com maiúsculas e pontuação. No servidor, o encoder roda em FP16 e a cabeça RNNT em FP32. O Silero VAD corta as gravações longas nas pausas, e os segmentos curtos são reconhecidos em lotes. A decodificação é gulosa (greedy), sem modelo de linguagem externo, e o hardware é uma placa de vídeo RTX A2000 de 12 GB.

O que se sabe sobre A lição da primeira tentativa fracassada?

Primeiro, a equipe pegou a variante CTC do GigaAM e reuniu 4,4 horas de dados: cerca de 1100 frases sintéticas com termos de TI e aproximadamente a mesma quantidade de gravações das partes em russo e em inglês do dataset FLEURS. As 12 camadas inferiores do encoder foram congeladas, e foram treinadas as quatro camadas superiores e a cabeça CTC. Num teste com 12 frases sintéticas, a taxa de termos corretos saltou de 6% para 86%.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…