Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)

Um áudio de 35 segundos vira texto em 9 segundos no CRM, sem placa de vídeo

Clientes mandam áudios como «e esse kit ainda tem em estoque, e quanto custa a entrega para Samara?», mas o gerente numa oficina barulhenta não tem como ouvi-los. Por isso, o CRM de vendas com conversas mostra o texto embaixo do player: quem faz a transcrição é o Whisper small, rodando num servidor em nuvem na Rússia, com 2 núcleos e sem placa de vídeo. Um áudio de 35 segundos vira texto em cerca de 9 segundos, e o som não sai para nuvens estrangeiras. Para um volume pequeno, dá para dispensar APIs pagas.

Processado por IA de Хабр: Машинное обучение; editado por Hamidun News
Um áudio de 35 segundos vira texto em 9 segundos no CRM, sem placa de vídeo
Fonte: Хабр: Машинное обучение. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalХабр: Машинное обучение ↗
Editor-chefe
Dado-chave #1A quantização int8 e a decodificação gulosa deram o maior ganho na CPU
Dado-chave #2O PyAV falhava em parte dos arquivos ogg, m4a e mp3, então o áudio passou a ser decodificado pelo ffmpeg
Dado-chave #3O cron, a cada minuto, pega até 5 áudios, com 3 tentativas por arquivo

Clientes de lojas online gostam de mandar áudio: «Olá, esse kit ainda está disponível? E quanto custa a entrega para Samara?» O gerente precisa ouvir a mensagem, e numa oficina barulhenta ou durante uma chamada isso é inconveniente.

A equipe do CRM de vendas com conversas decidiu mostrar o texto pronto embaixo do player. Toda a transcrição roda em um servidor comum em nuvem na Rússia, com dois núcleos de processador e sem placa de vídeo: um áudio de 35 segundos vira texto em cerca de 9 segundos, ou seja, quase 4 vezes mais rápido do que a duração da gravação. Não é preciso pagar serviços de reconhecimento em nuvem por minuto de áudio, e o áudio do cliente não sai dos servidores da empresa.

Por que não usaram a solução pronta

A primeira ideia foi usar a transcrição do próprio mensageiro. O VK tem essa função: a resposta da API traz, no anexo, um campo com o texto. Mas, nas mensagens de comunidades, o campo continuava vazio mesmo depois de vários dias. No MAX, no Telegram e no WhatsApp, conectados por meio de um serviço intermediário, não há transcrição de jeito nenhum.

Os serviços de reconhecimento em nuvem foram descartados por outro motivo. O áudio do cliente é dado pessoal, e a equipe não queria enviá-lo para servidores estrangeiros. Por isso, tudo precisa funcionar em servidores próprios na Rússia, e os arquivos não são armazenados em lugar nenhum.

O que está por trás

Para o reconhecimento, escolheram o faster-whisper, uma implementação do modelo Whisper sobre o CTranslate2, que é bem mais rápida que o original em processadores comuns. A versão do modelo é a small. Em fala coloquial em russo, ela erra algumas palavras, mas transmite o sentido com segurança, e para o gerente isso basta.

O reconhecimento foi colocado em uma máquina separada, para não tirar processador do próprio CRM. A velocidade veio de quatro ajustes:

  • quantização dos pesos (int8, ou seja, armazenamento dos números do modelo em formato compactado), que é o maior ganho de velocidade na CPU;
  • decodificação gulosa em vez de busca por feixe: em frases curtas, a qualidade quase não muda;
  • um detector de voz remove o silêncio e as pausas, que são muitos nos áudios;
  • o idioma é definido explicitamente, sem detecção automática: isso é mais rápido e gera menos erros em gravações curtas.

Armadilhas na decodificação do áudio

O faster-whisper consegue abrir arquivos sozinho, usando a biblioteca PyAV, mas isso falhava nos áudios dos mensageiros. Em parte dos arquivos, o PyAV caía com erro ao ler os metadados, e os formatos que chegam são variados: ogg, m4a e mp3.

A saída foi simples: entregar a decodificação ao ffmpeg e passar para o modelo um array de áudio já pronto: mono, 16 kHz, números float32 entre −1 e 1. Assim, o formato do arquivo original deixa de importar.

O script segue o princípio «stdin → stdout»: o áudio entra, o texto sai. Ele não sabe nada sobre o CRM nem sobre os mensageiros, e o arquivo não é gravado no disco. O servidor principal chama o script com um único comando, via curl e ssh.

Como isso está integrado ao CRM

No servidor principal, uma tarefa do cron roda a cada minuto. Ela está envolvida pelo flock: se a execução anterior ainda estiver em andamento, a nova não começa, e a fila não se acumula. O comando timeout de 600 segundos protege contra um ssh ou ffmpeg travado. Em cada passagem, são processados no máximo cinco áudios, para que um pico de mensagens não sobrecarregue o servidor de reconhecimento.

A tarefa encontra os áudios recebidos nos últimos 2 dias que ainda não têm texto, baixa cada um pelo link do mensageiro, envia para o reconhecimento e grava o resultado no anexo da mensagem. A interface do CRM mostra o texto embaixo do player, e, na lista de diálogos, em vez de «Mensagem de voz» aparece «🎤 Olá, esse kit ainda está…».

Cada mensagem tem um contador de tentativas: se o arquivo estiver corrompido ou o link tiver expirado, após três falhas a mensagem deixa de ser processada. A janela de 2 dias evita que a tarefa percorra todo o histórico de conversas a cada execução. O texto aparece cerca de um minuto depois da chegada do áudio: o tempo até a próxima execução do cron mais alguns segundos de reconhecimento.

Limitações e conclusão

A desvantagem honesta do esquema: o modelo é carregado a cada chamada. Para um volume pequeno de áudios, isso é aceitável, mas com carga alta o script deve virar um serviço permanente com fila. A qualidade do small em fala coloquial também não é perfeita: algumas palavras saem distorcidas.

A receita para quem quiser repetir: use o faster-whisper com int8 no processador, decodifique o áudio pelo ffmpeg, e não por meio do PyAV, e não guarde os arquivos, porque para a transcrição eles não são necessários. Para pequenas e médias empresas, é um exemplo de como resolver uma tarefa com dados pessoais sem placa de vídeo e sem pagar por minuto de áudio.

História

Perguntas frequentes sobre a notícia

Por que não usaram a solução pronta?

A primeira ideia foi usar a transcrição do próprio mensageiro. O VK tem essa função: a resposta da API traz, no anexo, um campo com o texto. Mas, nas mensagens de comunidades, o campo continuava vazio mesmo depois de vários dias. No MAX, no Telegram e no WhatsApp, conectados por meio de um serviço intermediário, não há transcrição de jeito nenhum. Os serviços de reconhecimento em nuvem foram descartados por outro motivo.

O que está por trás?

Para o reconhecimento, escolheram o faster-whisper, uma implementação do modelo Whisper sobre o CTranslate2, que é bem mais rápida que o original em processadores comuns. A versão do modelo é a small. Em fala coloquial em russo, ela erra algumas palavras, mas transmite o sentido com segurança, e para o gerente isso basta. O reconhecimento foi colocado em uma máquina separada, para não tirar processador do próprio CRM.

O que se sabe sobre Armadilhas na decodificação do áudio?

O faster-whisper consegue abrir arquivos sozinho, usando a biblioteca PyAV, mas isso falhava nos áudios dos mensageiros. Em parte dos arquivos, o PyAV caía com erro ao ler os metadados, e os formatos que chegam são variados: ogg, m4a e mp3. A saída foi simples: entregar a decodificação ao ffmpeg e passar para o modelo um array de áudio já pronto: mono, 16 kHz, números float32 entre −1 e 1. Assim, o formato do arquivo original deixa de importar.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…