Whisper entende melhor 454 termos de TI do que o GigaAM, embora o GigaAM erre menos palavras
Tarefas de voz para agentes de IA quebram nos termos: "nach prod" (nosso prod) vira "na shprot" (nas sardinhas em lata), e o agente procura o código errado. O autor comparou os modelos de reconhecimento de fala GigaAM, T-one e Whisper em 1000 gravações (20,3 horas) com 454 termos. O GigaAM tem WER menor, ou seja, menor proporção de palavras erradas, mas o Whisper escreve melhor os termos de TI. Por isso, os termos precisam ser medidos separadamente, com gravações próprias.
Processado por IA de Habr AI; editado por Hamidun News
Imagine que você dita uma tarefa para um agente de IA, diz "nach prod" (nosso prod), e o sistema de reconhecimento de fala (ASR) escreve "na shprot" (nas sardinhas em lata). O agente vai procurar algo sobre conservas, gastar tokens e pode fazer o commit errado. O autor de uma "fábrica de software às escuras", onde conduz boa parte do desenvolvimento por voz, decidiu verificar quais modelos de reconhecimento lidam melhor com fala técnica: o russo GigaAM, o T-one e o OpenAI Whisper.
O resultado foi inesperado. Em WER (word error rate, a proporção de palavras que precisam ser substituídas, removidas ou inseridas para chegar ao texto de referência), o GigaAM vence. Já os termos de TI são transcritos com mais precisão pelo Whisper.
Como foi a medição
O conjunto de teste reúne 1000 gravações de voz, com 20,3 horas no total e 7 falantes. A maior parte das gravações é do próprio autor, mas ele incluiu podcasts técnicos de fontes abertas para que o benchmark não ficasse "personalizado". A fala é típica de um desenvolvedor: russo coloquial misturado com anglicismos, vícios de linguagem e palavrões.
De cerca de 18 mil formas de palavras únicas, o autor selecionou 454 termos e marcou cada um deles no áudio. Todos os modelos rodaram apenas em CPU (AMD Ryzen 5 3600, cerca de 63 GB de memória), sem placa de vídeo. Foi feita uma única rodada, e a qualidade foi calculada com base na marcação de referência.
São várias métricas. WER e CER mostram a proporção de erros por palavras e por caracteres; quanto menor, melhor. Para os termos, o autor contou a correspondência exata com a grafia correta e uma variante mais branda, em que "backend" e "bekend" (a grafia em cirílico) valem ambos. Isso importa porque parte dos modelos escreve apenas em cirílico e não produz o nome em inglês, mesmo que tenha ouvido corretamente. Também foi medido o RTF: o tempo de reconhecimento dividido pela duração do áudio.
O que deu na medição
Em velocidade na CPU, GigaAM e T-one ficam bem à frente, enquanto o Whisper sem acelerador é lento. Mas, para uma fábrica em que as tarefas não exigem resposta em segundos, o autor trata o RTF como campo de referência, não como critério de escolha.
No WER geral, o GigaAM venceu, e é um modelo forte para o russo. Nos termos, porém, perde de forma clara para o Whisper. Surge uma bifurcação: um modelo escreve com cuidado o texto comum, o outro transmite melhor nomes de serviços, protocolos e bibliotecas. O texto do post não traz a tabela com os números, por isso não citamos aqui as diferenças exatas.
Por que o WER engana
Cada operação no WER custa uma unidade, então duas transcrições podem ter o mesmo percentual de erros e consequências diferentes. A frase "Abra a sessão tmuks" no lugar de tmux, "Abra a sessão Teams" e o "não" perdido em "não rode automaticamente" geram o mesmo número. O primeiro erro é inofensivo, e o último pode executar um comando que ninguém pediu para executar.
Além disso, em gravações longas, um termo curto e crítico se dilui no denominador geral. O WER não ignora palavras curtas; a contribuição delas para o número final é que é pequena.
O autor divide os erros em dois grupos. Os toleráveis: "dashboard" em suas variantes "dashbord", "dashboard" e "dashik". Numa busca no código, o agente pode dar passos extras e ainda assim chegar ao objetivo. Os perigosos: quando surge uma palavra plausível, porém alheia. "Precision" virou "presidjen" (grafia em cirílico), e a partir disso a intenção ainda é recuperável. Já "recall" virando "prikol" (algo como "piada" ou "graça") não é: "prikol" não desperta suspeita e tem vários significados. Pior ainda é "nach prod" virar "na shprot".
De onde vêm esses erros
O modelo não recebe letras, e sim um espectrograma log-mel, isto é, um mapa de como o som variou. Nele não há espaços, e os limites entre palavras precisam ser adivinhados. O "d" final de "prod" ensurdece e vira "t", a fala rápida cola as palavras, e ainda há uma máquina de café fazendo barulho ao lado.
Os métodos de montagem do texto também diferem. GigaAM CTC e T-one usam CTC: a cada passo, o modelo avalia os rótulos de forma independente, incluindo o rótulo especial blank ("não emitir nada"), e depois as repetições são colapsadas. Se a letra necessária não está no caminho escolhido, o colapso não a devolve. No GigaAM RNNT, o próximo rótulo depende também dos que já foram emitidos. O Whisper escreve token por token com um vocabulário BPE: " backend" ocupa um token, "bekend" (grafia em cirílico) ocupa quatro. Mas mais tokens não significam mais erros: "recall" ocupa um token, "prikol" ocupa dois.
O beam search guarda várias hipóteses, mas não deixa o modelo mais inteligente. Se uma string errada é mais provável que a correta para o modelo, aumentar a largura do feixe não a corrige. O que sai continua sendo uma única string, sem informação sobre quais variantes foram descartadas.
O que fazer com isso
Para quem constrói interfaces de voz para agentes, a conclusão é simples: não escolha o ASR só pelo WER. Monte sua própria lista de termos, marque-os no áudio e meça separadamente, incluindo a grafia exata. O autor já testou pós-processamento sem alterar os modelos, mas os detalhes não aparecem no trecho disponível do post.
Vale lembrar também as limitações: uma única rodada, a maior parte da voz pertence a uma só pessoa, e a fidelidade na transmissão da intenção não foi medida diretamente neste benchmark. Ainda assim, como modelo para uma medição própria, o exemplo é bom.
- 21 de nov. de 2026Matemático da Anthropic afirma que o Claude ajudou a provar a hipótese de Riemann em seis semanas
- 21 de nov. de 2026Startup Osmo treinou IA com cheiros usando 10 milhões de avaliações humanas e gera fragrâncias a partir de texto
- 21 de nov. de 2026Coreia do Norte mostra seu primeiro chatbot, "Fonte da Sabedoria": só ciência, sem política
- 21 de nov. de 2026OpenAI libera o ChatGPT Spaces para assinantes do Plus: documentos colaborativos com IA
Perguntas frequentes sobre a notícia
Como foi a medição?
O conjunto de teste reúne 1000 gravações de voz, com 20,3 horas no total e 7 falantes. A maior parte das gravações é do próprio autor, mas ele incluiu podcasts técnicos de fontes abertas para que o benchmark não ficasse "personalizado". A fala é típica de um desenvolvedor: russo coloquial misturado com anglicismos, vícios de linguagem e palavrões. De cerca de 18 mil formas de palavras únicas, o autor selecionou 454 termos e marcou cada um deles no áudio.
O que deu na medição?
Em velocidade na CPU, GigaAM e T-one ficam bem à frente, enquanto o Whisper sem acelerador é lento. Mas, para uma fábrica em que as tarefas não exigem resposta em segundos, o autor trata o RTF como campo de referência, não como critério de escolha. No WER geral, o GigaAM venceu, e é um modelo forte para o russo. Nos termos, porém, perde de forma clara para o Whisper. Surge uma bifurcação: um modelo escreve com cuidado o texto comum, o outro transmite melhor nomes de serviços, protocolos e bibliotecas.
Por que o WER engana?
Cada operação no WER custa uma unidade, então duas transcrições podem ter o mesmo percentual de erros e consequências diferentes. A frase "Abra a sessão tmuks" no lugar de tmux, "Abra a sessão Teams" e o "não" perdido em "não rode automaticamente" geram o mesmo número. O primeiro erro é inofensivo, e o último pode executar um comando que ninguém pediu para executar. Além disso, em gravações longas, um termo curto e crítico se dilui no denominador geral.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.