Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarSberDevices→ original

SberDevices lança o GigaAM-v3 aberto: reconhecimento de fala em russo com pelo menos 10% de melhora

A SberDevices lançou o modelo aberto GigaAM-v3, que transforma a fala em russo em texto já com pontuação e números. O novo pré-treinamento HuBERT-CTC usa um modelo de reconhecimento pronto como professor e entrega ganho de qualidade de pelo menos 10% em relação aos métodos comuns. Os registros rotulados dobraram, chegando a 4000 horas, incluindo call centers. Para os serviços de voz em russo, é uma base pronta.

Processado por IA de SberDevices; editado por Hamidun News
SberDevices lança o GigaAM-v3 aberto: reconhecimento de fala em russo com pelo menos 10% de melhora
Fonte: SberDevices. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalSberDevices ↗
Editor-chefe
Dados950 horas de textos complexos, 450 de fala coloquial
Dado-chave #2A pontuação foi inserida pelo GigaChat Audio com base em 10 exemplos no prompt
Dado-chave #3Nos conjuntos Golos e Common Voice, a qualidade permaneceu no nível da v2

Se você desenvolve um assistente de voz, a transcrição de ligações ou legendas para vídeos em russo, precisa de mais do que um modelo que apenas ouve as palavras. É preciso um texto legível: com vírgulas, pontos de interrogação e números no lugar de "vinte e cinco por cento". A SberDevices apresentou o GigaAM-v3, nova versão da família aberta de modelos acústicos para o russo, e colocou o foco exatamente nisso. A principal alegação dos autores: o novo método de pré-treinamento HuBERT-CTC entrega ganho de qualidade de pelo menos 10% mesmo em comparação com os métodos comuns na indústria.

Como se treina o encoder: HuBERT-CTC

Os modelos modernos de reconhecimento de fala (ASR) são pré-treinados primeiro com uma enorme quantidade de áudio sem rótulos. A ideia lembra o BERT no texto: parte do áudio é mascarada, e o modelo tenta adivinhar o que havia ali. No HuBERT clássico, os "alvos" para essa previsão são obtidos da seguinte forma: extraem-se características do som, agrupam-se com o método k-means e obtém-se um conjunto de tokens discretos, uma espécie de "alfabeto sonoro".

A SberDevices mudou o ponto de partida. Em vez de um encoder universal, usaram um encoder que já havia sido ajustado para reconhecer fala com a função CTC. Suas representações internas transmitem melhor a fonética e o significado, por isso o "alfabeto sonoro" fica mais próximo da tarefa real. Daí em diante, tudo segue como no HuBERT: mascaram-se fragmentos e treina-se o modelo para reconstruir os tokens. Em outras palavras, o conhecimento do modelo ASR pronto é transferido para o pré-treinamento, e uma grande quantidade de áudio sem rótulos é usada nesse processo.

O que os experimentos mostraram. No teste com o encoder congelado, a qualidade do reconhecimento cresce das camadas inferiores para as superiores. No método concorrente BEST-RQ, a menor taxa de erro por palavra (WER) muitas vezes é alcançada nas camadas intermediárias. O WER final após o ajuste fino é menor do que o do HuBERT puro, mesmo quando se usa todo o volume rotulado. Quando há poucos rótulos — 10%, 1% ou 0,1% do conjunto completo —, o ganho fica mais evidente.

Dados: mais horas e mais situações diferentes

O GigaAM-v2 foi pré-treinado com cerca de 50 mil horas de fala em russo; para a v3, esse volume foi ampliado. A limpeza dos registros é simples: um detector de atividade de voz (VAD) corta arquivos longos em fragmentos de um minuto e descarta aqueles com silêncio excessivo. Chegaram a testar filtros mais "inteligentes", mas eles quase não influenciaram a qualidade e exigiam bastante processamento, então ficaram com o VAD.

Os dados rotulados aumentaram cerca de duas vezes — 4000 horas — e ficaram mais diversos:

  • textos complexos, nos quais outros modelos erravam — 950 horas;
  • fala espontânea e coloquial — 450 horas;
  • call centers e gravações telefônicas — 350 horas;
  • fala com música de fundo — 110 horas;
  • fala sintetizada — 100 horas;
  • fala com particularidades — 50 horas.

Nos conjuntos abertos (Golos, Common Voice, Russian LibriSpeech), a qualidade permaneceu no nível da v2. Os autores explicam isso pelo aumento significativo da parcela de domínios internos difíceis. Por isso, mostram separadamente os resultados em gravações de call centers e em fala com particularidades. Para quem trabalha com o tema, é um sinal honesto: nos benchmarks "limpos", a v3 não supera a v2, e o ganho precisa ser buscado em condições difíceis.

Texto legível em vez de transcrição técnica

Os datasets comuns armazenam as transcrições em forma técnica: sem pontuação, com números e símbolos como % e $ escritos por extenso. Para o treinamento isso é conveniente; para a leitura, não. Para obter um corpus com texto normal, a equipe usou o GigaChat Audio. Ao modelo foram fornecidos o áudio, a transcrição original, instruções detalhadas e 10 exemplos fixos. O áudio é necessário para entender a pergunta pela entonação e tratar corretamente as pausas.

Modelos generativos alucinam, por isso o resultado foi filtrado:

  • verificava-se que o comprimento do texto quase não mudou;
  • removiam-se caracteres fora do alfabeto definido, como emojis;
  • eliminavam-se Markdown e inserções como "(silêncio)";
  • conferia-se que o símbolo % aparecesse apenas onde o original dizia "por cento", e $ apenas onde dizia "dólar";
  • acompanhava-se a divergência nas métricas CER e WER.

A alternativa era o forced decoding: a pontuação é adicionada diretamente durante a decodificação, e o texto de referência não muda, então o WER certamente não piora. As desvantagens do método são a menor flexibilidade na normalização e uma pontuação final pior do que a obtida com rotulagem por LLM. As abordagens foram comparadas em dados internos, nos quais a transcrição e os sinais de pontuação foram rotulados por assessores.

O que fazer com isso

O GigaAM-v3 é um modelo aberto: pode ser executado localmente, sem enviar ligações sensíveis para APIs externas. Mas a lição vai além do modelo. Se você tem transcrições "brutas", um LLM com acesso ao áudio e filtros rígidos pode transformá-las em dados de treinamento com pontuação. E na escolha de um ASR, observe não só o WER em conjuntos abertos, mas também os seus próprios domínios: ligações ruidosas, música, fala não padronizada. Para a avaliação em vários domínios, os próprios autores acrescentaram o LLM-as-a-judge — uma avaliação feita por outro modelo de linguagem — além do WER clássico, porque uma única proporção de palavras erradas reflete mal a legibilidade de um texto com pontuação.

História

Perguntas frequentes sobre a notícia

Como se treina o encoder: HuBERT-CTC?

Os modelos modernos de reconhecimento de fala (ASR) são pré-treinados primeiro com uma enorme quantidade de áudio sem rótulos. A ideia lembra o BERT no texto: parte do áudio é mascarada, e o modelo tenta adivinhar o que havia ali. No HuBERT clássico, os "alvos" para essa previsão são obtidos da seguinte forma: extraem-se características do som, agrupam-se com o método k-means e obtém-se um conjunto de tokens discretos, uma espécie de "alfabeto sonoro". A SberDevices mudou o ponto de partida.

O que se sabe sobre Dados: mais horas e mais situações diferentes?

O GigaAM-v2 foi pré-treinado com cerca de 50 mil horas de fala em russo; para a v3, esse volume foi ampliado. A limpeza dos registros é simples: um detector de atividade de voz (VAD) corta arquivos longos em fragmentos de um minuto e descarta aqueles com silêncio excessivo. Chegaram a testar filtros mais "inteligentes", mas eles quase não influenciaram a qualidade e exigiam bastante processamento, então ficaram com o VAD.

O que se sabe sobre Texto legível em vez de transcrição técnica?

Os datasets comuns armazenam as transcrições em forma técnica: sem pontuação, com números e símbolos como % e $ escritos por extenso. Para o treinamento isso é conveniente; para a leitura, não. Para obter um corpus com texto normal, a equipe usou o GigaChat Audio. Ao modelo foram fornecidos o áudio, a transcrição original, instruções detalhadas e 10 exemplos fixos. O áudio é necessário para entender a pergunta pela entonação e tratar corretamente as pausas.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…