SberDevices lança o GigaAM-v3 aberto: reconhecimento de fala em russo com pelo menos 10% de melhora
A SberDevices lançou o modelo aberto GigaAM-v3, que transforma a fala em russo em texto já com pontuação e números. O novo pré-treinamento HuBERT-CTC usa um modelo de reconhecimento pronto como professor e entrega ganho de qualidade de pelo menos 10% em relação aos métodos comuns. Os registros rotulados dobraram, chegando a 4000 horas, incluindo call centers. Para os serviços de voz em russo, é uma base pronta.
Processado por IA de SberDevices; editado por Hamidun News
Se você desenvolve um assistente de voz, a transcrição de ligações ou legendas para vídeos em russo, precisa de mais do que um modelo que apenas ouve as palavras. É preciso um texto legível: com vírgulas, pontos de interrogação e números no lugar de "vinte e cinco por cento". A SberDevices apresentou o GigaAM-v3, nova versão da família aberta de modelos acústicos para o russo, e colocou o foco exatamente nisso. A principal alegação dos autores: o novo método de pré-treinamento HuBERT-CTC entrega ganho de qualidade de pelo menos 10% mesmo em comparação com os métodos comuns na indústria.
Como se treina o encoder: HuBERT-CTC
Os modelos modernos de reconhecimento de fala (ASR) são pré-treinados primeiro com uma enorme quantidade de áudio sem rótulos. A ideia lembra o BERT no texto: parte do áudio é mascarada, e o modelo tenta adivinhar o que havia ali. No HuBERT clássico, os "alvos" para essa previsão são obtidos da seguinte forma: extraem-se características do som, agrupam-se com o método k-means e obtém-se um conjunto de tokens discretos, uma espécie de "alfabeto sonoro".
A SberDevices mudou o ponto de partida. Em vez de um encoder universal, usaram um encoder que já havia sido ajustado para reconhecer fala com a função CTC. Suas representações internas transmitem melhor a fonética e o significado, por isso o "alfabeto sonoro" fica mais próximo da tarefa real. Daí em diante, tudo segue como no HuBERT: mascaram-se fragmentos e treina-se o modelo para reconstruir os tokens. Em outras palavras, o conhecimento do modelo ASR pronto é transferido para o pré-treinamento, e uma grande quantidade de áudio sem rótulos é usada nesse processo.
O que os experimentos mostraram. No teste com o encoder congelado, a qualidade do reconhecimento cresce das camadas inferiores para as superiores. No método concorrente BEST-RQ, a menor taxa de erro por palavra (WER) muitas vezes é alcançada nas camadas intermediárias. O WER final após o ajuste fino é menor do que o do HuBERT puro, mesmo quando se usa todo o volume rotulado. Quando há poucos rótulos — 10%, 1% ou 0,1% do conjunto completo —, o ganho fica mais evidente.
Dados: mais horas e mais situações diferentes
O GigaAM-v2 foi pré-treinado com cerca de 50 mil horas de fala em russo; para a v3, esse volume foi ampliado. A limpeza dos registros é simples: um detector de atividade de voz (VAD) corta arquivos longos em fragmentos de um minuto e descarta aqueles com silêncio excessivo. Chegaram a testar filtros mais "inteligentes", mas eles quase não influenciaram a qualidade e exigiam bastante processamento, então ficaram com o VAD.
Os dados rotulados aumentaram cerca de duas vezes — 4000 horas — e ficaram mais diversos:
- textos complexos, nos quais outros modelos erravam — 950 horas;
- fala espontânea e coloquial — 450 horas;
- call centers e gravações telefônicas — 350 horas;
- fala com música de fundo — 110 horas;
- fala sintetizada — 100 horas;
- fala com particularidades — 50 horas.
Nos conjuntos abertos (Golos, Common Voice, Russian LibriSpeech), a qualidade permaneceu no nível da v2. Os autores explicam isso pelo aumento significativo da parcela de domínios internos difíceis. Por isso, mostram separadamente os resultados em gravações de call centers e em fala com particularidades. Para quem trabalha com o tema, é um sinal honesto: nos benchmarks "limpos", a v3 não supera a v2, e o ganho precisa ser buscado em condições difíceis.
Texto legível em vez de transcrição técnica
Os datasets comuns armazenam as transcrições em forma técnica: sem pontuação, com números e símbolos como % e $ escritos por extenso. Para o treinamento isso é conveniente; para a leitura, não. Para obter um corpus com texto normal, a equipe usou o GigaChat Audio. Ao modelo foram fornecidos o áudio, a transcrição original, instruções detalhadas e 10 exemplos fixos. O áudio é necessário para entender a pergunta pela entonação e tratar corretamente as pausas.
Modelos generativos alucinam, por isso o resultado foi filtrado:
- verificava-se que o comprimento do texto quase não mudou;
- removiam-se caracteres fora do alfabeto definido, como emojis;
- eliminavam-se Markdown e inserções como "(silêncio)";
- conferia-se que o símbolo % aparecesse apenas onde o original dizia "por cento", e $ apenas onde dizia "dólar";
- acompanhava-se a divergência nas métricas CER e WER.
A alternativa era o forced decoding: a pontuação é adicionada diretamente durante a decodificação, e o texto de referência não muda, então o WER certamente não piora. As desvantagens do método são a menor flexibilidade na normalização e uma pontuação final pior do que a obtida com rotulagem por LLM. As abordagens foram comparadas em dados internos, nos quais a transcrição e os sinais de pontuação foram rotulados por assessores.
O que fazer com isso
O GigaAM-v3 é um modelo aberto: pode ser executado localmente, sem enviar ligações sensíveis para APIs externas. Mas a lição vai além do modelo. Se você tem transcrições "brutas", um LLM com acesso ao áudio e filtros rígidos pode transformá-las em dados de treinamento com pontuação. E na escolha de um ASR, observe não só o WER em conjuntos abertos, mas também os seus próprios domínios: ligações ruidosas, música, fala não padronizada. Para a avaliação em vários domínios, os próprios autores acrescentaram o LLM-as-a-judge — uma avaliação feita por outro modelo de linguagem — além do WER clássico, porque uma única proporção de palavras erradas reflete mal a legibilidade de um texto com pontuação.
- 27 de out. de 2026Glas faz fine-tuning do reconhecimento de fala GigaAM-v3: termos de TI corretos em 87% dos casos, contra 44%
- 10 de out. de 2026Autor de app de ditado offline com GigaAM publica o Pisar no Google Play e procura testadores
- 12 de nov. de 2026Kriptonit ensinou o GigaAM a entender fala mista em russo e inglês: WER 13,6% menor
- 8 de nov. de 2026Protocolo de consulta com IA preenche 50 campos em 35 segundos em Moscou, enquanto clinicas privadas permanecem em silencio
Perguntas frequentes sobre a notícia
Como se treina o encoder: HuBERT-CTC?
Os modelos modernos de reconhecimento de fala (ASR) são pré-treinados primeiro com uma enorme quantidade de áudio sem rótulos. A ideia lembra o BERT no texto: parte do áudio é mascarada, e o modelo tenta adivinhar o que havia ali. No HuBERT clássico, os "alvos" para essa previsão são obtidos da seguinte forma: extraem-se características do som, agrupam-se com o método k-means e obtém-se um conjunto de tokens discretos, uma espécie de "alfabeto sonoro". A SberDevices mudou o ponto de partida.
O que se sabe sobre Dados: mais horas e mais situações diferentes?
O GigaAM-v2 foi pré-treinado com cerca de 50 mil horas de fala em russo; para a v3, esse volume foi ampliado. A limpeza dos registros é simples: um detector de atividade de voz (VAD) corta arquivos longos em fragmentos de um minuto e descarta aqueles com silêncio excessivo. Chegaram a testar filtros mais "inteligentes", mas eles quase não influenciaram a qualidade e exigiam bastante processamento, então ficaram com o VAD.
O que se sabe sobre Texto legível em vez de transcrição técnica?
Os datasets comuns armazenam as transcrições em forma técnica: sem pontuação, com números e símbolos como % e $ escritos por extenso. Para o treinamento isso é conveniente; para a leitura, não. Para obter um corpus com texto normal, a equipe usou o GigaChat Audio. Ao modelo foram fornecidos o áudio, a transcrição original, instruções detalhadas e 10 exemplos fixos. O áudio é necessário para entender a pergunta pela entonação e tratar corretamente as pausas.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.