Glas faz fine-tuning do reconhecimento de fala GigaAM-v3: termos de TI corretos em 87% dos casos, contra 44%
O ditador Glas, que usa o modelo de reconhecimento de fala GigaAM-v3, transcrevia Docker como "докер" (doker) e a frase "Мой ИИ редко ошибается" (Meu IA raramente erra) como "Мои редко ошибается" (Os meus raramente erra). Após o fine-tuning com 25 horas de fala real, a taxa de termos de TI escritos corretamente subiu de 43,8% para 86,7%, e a taxa de palavras erradas (WER) caiu de 8,81% para 5,76%. É uma versão beta, e o conjunto de teste foi anotado pelo mesmo pipeline usado no treino, então vale revalidar o resultado com seus próprios dados.
Processado por IA de Хабр: NLP; editado por Hamidun News
Se você dita code review ou anotações de trabalho, conhece essa dor: o reconhecimento de fala lida tranquilamente com "oi, tudo bem?", mas tropeça nas palavras do dia a dia de quem desenvolve. O programa de ditado Glas roda no GigaAM-v3, um modelo de reconhecimento de fala em russo, e era justamente no vocabulário de TI que ele errava: Docker virava "докер" (doker), Python virava "Пайтон" (Páiton).
A equipe do Glas fez o fine-tuning do modelo com 25 horas de fala real, e a taxa de termos de TI escritos corretamente subiu de 43,8% para 86,7%, ou seja, de "menos da metade" para "quase sempre". A taxa geral de palavras erradas (WER) caiu de 8,81% para 5,76%, cerca de 35% em relação ao valor inicial.
O que exatamente falhava
O modelo base entendia bem a fala russa comum, mas não dava conta de três grupos de palavras: nomes em inglês (Docker, Kubernetes), anglicismos já incorporados, como "дашборд" (dashboard), e a sigla "ИИ" (IA). Às vezes palavras inteiras sumiam. A frase "Мой ИИ редко ошибается" (Meu IA raramente erra) foi transcrita pelo modelo como "Мои редко ошибается" (Os meus raramente erra).
Um dicionário simples de substituições ajuda só em parte. Nos testes, apenas o Kubernetes virou "Кьюбернит", "Куберните", "кубернетис", "Gubernitis" e "Qubernit". Não dá para colocar todas essas variantes num dicionário. Com "ИИ" é ainda mais complicado: só pelo texto é difícil distinguir a sigla de uma conjunção "и" arrastada, é preciso o som. Ou seja, o conserto precisa ser no próprio modelo, e não no pós-processamento.
Como foi o fine-tuning e o que saiu dele
O GigaAM é uma família de modelos de reconhecimento de fala com arquitetura Conformer. A equipe usa a variante com cabeça RNNT, que já entrega o texto com maiúsculas e pontuação. No servidor, o encoder roda em FP16 e a cabeça RNNT em FP32. O Silero VAD corta as gravações longas nas pausas, e os segmentos curtos são reconhecidos em lotes. A decodificação é gulosa (greedy), sem modelo de linguagem externo, e o hardware é uma placa de vídeo RTX A2000 de 12 GB.
Não foi preciso mudar o tokenizador: seu vocabulário de 1024 tokens já inclui o alfabeto latino, e os nomes necessários são codificados sem gambiarras. A arquitetura, o código do modelo e o formato dos pesos também foram mantidos, para que a versão ajustada pudesse substituir a antiga sem refazer o servidor.
O fine-tuning final usou 25 horas de fala real. A avaliação em 525 gravações curtas separadas para teste deu estes números:
- o WER caiu de 8,81% para 5,76%;
- a taxa de termos escritos corretamente subiu de 43,8% para 86,7%;
- a velocidade praticamente não mudou.
Para produção, o último item importa tanto quanto os dois primeiros: a qualidade melhorou sem custo adicional de GPU.
A lição da primeira tentativa fracassada
Primeiro, a equipe pegou a variante CTC do GigaAM e reuniu 4,4 horas de dados: cerca de 1100 frases sintéticas com termos de TI e aproximadamente a mesma quantidade de gravações das partes em russo e em inglês do dataset FLEURS. As 12 camadas inferiores do encoder foram congeladas, e foram treinadas as quatro camadas superiores e a cabeça CTC.
Num teste com 12 frases sintéticas, a taxa de termos corretos saltou de 6% para 86%. Mas, na comparação com o modelo RNNT de produção em 150 gravações reais do FLEURS, o quadro foi diferente. A conclusão para quem trabalha com isso: um bom resultado em teste artificial não garante nada, e a validação precisa ser feita com fala real.
Limitações assumidas
Os autores chamam o lançamento de versão 0.01 e beta, e não escondem os pontos negativos. O modelo ajustado omite palavras com mais frequência e, em fala comum, reproduz pior as maiúsculas e minúsculas e a pontuação. Além disso, o conjunto de teste foi anotado pelo mesmo pipeline automático do conjunto de treino, com verificação manual apenas por amostragem. Parte do ganho pode vir da coincidência de estilo de anotação, e não de uma melhora real no reconhecimento.
O que fazer com isso
Se você está construindo entrada de voz, transcrição de reuniões ou um assistente para desenvolvedores, dá para tirar desta história algumas regras:
- antes de escrever um dicionário de substituições, levante a lista de erros reais: se um termo é escrito de cinco jeitos diferentes, o conserto é no modelo;
- fine-tuning com dezenas de horas de fala real pode dobrar a precisão dos termos sem trocar a arquitetura e sem aumentar a carga no hardware;
- mantenha a compatibilidade com o formato dos pesos, para que a troca e o rollback do modelo levem minutos;
- anote o conjunto de teste de forma independente do de treino, senão você mede a concordância com o seu próprio pipeline;
- fique atento aos efeitos colaterais: mais precisão nos termos pode custar palavras omitidas e pontuação estragada.
Para vocabulário de domínio restrito, como os termos de TI, fazer o fine-tuning de um modelo pronto parece mais sensato do que tentar resolver o problema com dicionários.
- 8 de nov. de 2026Protocolo de consulta com IA preenche 50 campos em 35 segundos em Moscou, enquanto clinicas privadas permanecem em silencio
- 21 de nov. de 2026Whisper entende melhor 454 termos de TI do que o GigaAM, embora o GigaAM erre menos palavras
- 10 de out. de 2026Autor de app de ditado offline com GigaAM publica o Pisar no Google Play e procura testadores
- 27 de out. de 2026SberDevices lança o GigaAM-v3 aberto: reconhecimento de fala em russo com pelo menos 10% de melhora
Perguntas frequentes sobre a notícia
O que exatamente falhava?
O modelo base entendia bem a fala russa comum, mas não dava conta de três grupos de palavras: nomes em inglês (Docker, Kubernetes), anglicismos já incorporados, como "дашборд" (dashboard), e a sigla "ИИ" (IA). Às vezes palavras inteiras sumiam. A frase "Мой ИИ редко ошибается" (Meu IA raramente erra) foi transcrita pelo modelo como "Мои редко ошибается" (Os meus raramente erra). Um dicionário simples de substituições ajuda só em parte.
Como foi o fine-tuning e o que saiu dele?
O GigaAM é uma família de modelos de reconhecimento de fala com arquitetura Conformer. A equipe usa a variante com cabeça RNNT, que já entrega o texto com maiúsculas e pontuação. No servidor, o encoder roda em FP16 e a cabeça RNNT em FP32. O Silero VAD corta as gravações longas nas pausas, e os segmentos curtos são reconhecidos em lotes. A decodificação é gulosa (greedy), sem modelo de linguagem externo, e o hardware é uma placa de vídeo RTX A2000 de 12 GB.
O que se sabe sobre A lição da primeira tentativa fracassada?
Primeiro, a equipe pegou a variante CTC do GigaAM e reuniu 4,4 horas de dados: cerca de 1100 frases sintéticas com termos de TI e aproximadamente a mesma quantidade de gravações das partes em russo e em inglês do dataset FLEURS. As 12 camadas inferiores do encoder foram congeladas, e foram treinadas as quatro camadas superiores e a cabeça CTC. Num teste com 12 frases sintéticas, a taxa de termos corretos saltou de 6% para 86%.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.