Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

Whisper entende melhor 454 termos de TI do que o GigaAM, embora o GigaAM erre menos palavras

Tarefas de voz para agentes de IA quebram nos termos: "nach prod" (nosso prod) vira "na shprot" (nas sardinhas em lata), e o agente procura o código errado. O autor comparou os modelos de reconhecimento de fala GigaAM, T-one e Whisper em 1000 gravações (20,3 horas) com 454 termos. O GigaAM tem WER menor, ou seja, menor proporção de palavras erradas, mas o Whisper escreve melhor os termos de TI. Por isso, os termos precisam ser medidos separadamente, com gravações próprias.

Processado por IA de Habr AI; editado por Hamidun News
Whisper entende melhor 454 termos de TI do que o GigaAM, embora o GigaAM erre menos palavras
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Teste em CPU7 falantes, 18 mil formas de palavras, 454 delas termos
Dado-chave #2Um WER igual esconde "tmux"→"Teams" e um "não rode" que se perdeu
Dado-chave #3GigaAM e T-one são rápidos em CPU; o Whisper sem GPU é bem mais lento

Imagine que você dita uma tarefa para um agente de IA, diz "nach prod" (nosso prod), e o sistema de reconhecimento de fala (ASR) escreve "na shprot" (nas sardinhas em lata). O agente vai procurar algo sobre conservas, gastar tokens e pode fazer o commit errado. O autor de uma "fábrica de software às escuras", onde conduz boa parte do desenvolvimento por voz, decidiu verificar quais modelos de reconhecimento lidam melhor com fala técnica: o russo GigaAM, o T-one e o OpenAI Whisper.

O resultado foi inesperado. Em WER (word error rate, a proporção de palavras que precisam ser substituídas, removidas ou inseridas para chegar ao texto de referência), o GigaAM vence. Já os termos de TI são transcritos com mais precisão pelo Whisper.

Como foi a medição

O conjunto de teste reúne 1000 gravações de voz, com 20,3 horas no total e 7 falantes. A maior parte das gravações é do próprio autor, mas ele incluiu podcasts técnicos de fontes abertas para que o benchmark não ficasse "personalizado". A fala é típica de um desenvolvedor: russo coloquial misturado com anglicismos, vícios de linguagem e palavrões.

De cerca de 18 mil formas de palavras únicas, o autor selecionou 454 termos e marcou cada um deles no áudio. Todos os modelos rodaram apenas em CPU (AMD Ryzen 5 3600, cerca de 63 GB de memória), sem placa de vídeo. Foi feita uma única rodada, e a qualidade foi calculada com base na marcação de referência.

São várias métricas. WER e CER mostram a proporção de erros por palavras e por caracteres; quanto menor, melhor. Para os termos, o autor contou a correspondência exata com a grafia correta e uma variante mais branda, em que "backend" e "bekend" (a grafia em cirílico) valem ambos. Isso importa porque parte dos modelos escreve apenas em cirílico e não produz o nome em inglês, mesmo que tenha ouvido corretamente. Também foi medido o RTF: o tempo de reconhecimento dividido pela duração do áudio.

O que deu na medição

Em velocidade na CPU, GigaAM e T-one ficam bem à frente, enquanto o Whisper sem acelerador é lento. Mas, para uma fábrica em que as tarefas não exigem resposta em segundos, o autor trata o RTF como campo de referência, não como critério de escolha.

No WER geral, o GigaAM venceu, e é um modelo forte para o russo. Nos termos, porém, perde de forma clara para o Whisper. Surge uma bifurcação: um modelo escreve com cuidado o texto comum, o outro transmite melhor nomes de serviços, protocolos e bibliotecas. O texto do post não traz a tabela com os números, por isso não citamos aqui as diferenças exatas.

Por que o WER engana

Cada operação no WER custa uma unidade, então duas transcrições podem ter o mesmo percentual de erros e consequências diferentes. A frase "Abra a sessão tmuks" no lugar de tmux, "Abra a sessão Teams" e o "não" perdido em "não rode automaticamente" geram o mesmo número. O primeiro erro é inofensivo, e o último pode executar um comando que ninguém pediu para executar.

Além disso, em gravações longas, um termo curto e crítico se dilui no denominador geral. O WER não ignora palavras curtas; a contribuição delas para o número final é que é pequena.

O autor divide os erros em dois grupos. Os toleráveis: "dashboard" em suas variantes "dashbord", "dashboard" e "dashik". Numa busca no código, o agente pode dar passos extras e ainda assim chegar ao objetivo. Os perigosos: quando surge uma palavra plausível, porém alheia. "Precision" virou "presidjen" (grafia em cirílico), e a partir disso a intenção ainda é recuperável. Já "recall" virando "prikol" (algo como "piada" ou "graça") não é: "prikol" não desperta suspeita e tem vários significados. Pior ainda é "nach prod" virar "na shprot".

De onde vêm esses erros

O modelo não recebe letras, e sim um espectrograma log-mel, isto é, um mapa de como o som variou. Nele não há espaços, e os limites entre palavras precisam ser adivinhados. O "d" final de "prod" ensurdece e vira "t", a fala rápida cola as palavras, e ainda há uma máquina de café fazendo barulho ao lado.

Os métodos de montagem do texto também diferem. GigaAM CTC e T-one usam CTC: a cada passo, o modelo avalia os rótulos de forma independente, incluindo o rótulo especial blank ("não emitir nada"), e depois as repetições são colapsadas. Se a letra necessária não está no caminho escolhido, o colapso não a devolve. No GigaAM RNNT, o próximo rótulo depende também dos que já foram emitidos. O Whisper escreve token por token com um vocabulário BPE: " backend" ocupa um token, "bekend" (grafia em cirílico) ocupa quatro. Mas mais tokens não significam mais erros: "recall" ocupa um token, "prikol" ocupa dois.

O beam search guarda várias hipóteses, mas não deixa o modelo mais inteligente. Se uma string errada é mais provável que a correta para o modelo, aumentar a largura do feixe não a corrige. O que sai continua sendo uma única string, sem informação sobre quais variantes foram descartadas.

O que fazer com isso

Para quem constrói interfaces de voz para agentes, a conclusão é simples: não escolha o ASR só pelo WER. Monte sua própria lista de termos, marque-os no áudio e meça separadamente, incluindo a grafia exata. O autor já testou pós-processamento sem alterar os modelos, mas os detalhes não aparecem no trecho disponível do post.

Vale lembrar também as limitações: uma única rodada, a maior parte da voz pertence a uma só pessoa, e a fidelidade na transmissão da intenção não foi medida diretamente neste benchmark. Ainda assim, como modelo para uma medição própria, o exemplo é bom.

História

Perguntas frequentes sobre a notícia

Como foi a medição?

O conjunto de teste reúne 1000 gravações de voz, com 20,3 horas no total e 7 falantes. A maior parte das gravações é do próprio autor, mas ele incluiu podcasts técnicos de fontes abertas para que o benchmark não ficasse "personalizado". A fala é típica de um desenvolvedor: russo coloquial misturado com anglicismos, vícios de linguagem e palavrões. De cerca de 18 mil formas de palavras únicas, o autor selecionou 454 termos e marcou cada um deles no áudio.

O que deu na medição?

Em velocidade na CPU, GigaAM e T-one ficam bem à frente, enquanto o Whisper sem acelerador é lento. Mas, para uma fábrica em que as tarefas não exigem resposta em segundos, o autor trata o RTF como campo de referência, não como critério de escolha. No WER geral, o GigaAM venceu, e é um modelo forte para o russo. Nos termos, porém, perde de forma clara para o Whisper. Surge uma bifurcação: um modelo escreve com cuidado o texto comum, o outro transmite melhor nomes de serviços, protocolos e bibliotecas.

Por que o WER engana?

Cada operação no WER custa uma unidade, então duas transcrições podem ter o mesmo percentual de erros e consequências diferentes. A frase "Abra a sessão tmuks" no lugar de tmux, "Abra a sessão Teams" e o "não" perdido em "não rode automaticamente" geram o mesmo número. O primeiro erro é inofensivo, e o último pode executar um comando que ninguém pediu para executar. Além disso, em gravações longas, um termo curto e crítico se dilui no denominador geral.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…