Autor do Habr limpa ditados de "né" e "tipo" com Whisper local e LLM

Um escritor que digita dezenas de mensagens, e-mails e tarefas para redes neurais por dia passou a ditar: falar é mais rápido do que digitar. Mas o método tem um custo. O Whisper pode transcrever uma frase sem um único erro, e ela ainda assim será ruim de ler, porque a fala espontânea registrada palavra por palavra é cheia de "né", "tipo", repetições e cortes. O autor da publicação no Habr resolve isso combinando o Whisper, rodando no próprio computador, com um pequeno intermediário que envia a transcrição a um modelo de linguagem para edição.

Uma ressalva importante: o trecho disponível do material descreve apenas a formulação do problema. A implementação concreta do intermediário, a escolha do modelo e os prompts ficaram atrás do corte, e não os reproduzimos aqui. A seguir, o que decorre da arquitetura declarada e algumas considerações gerais sobre como esse tipo de esquema funciona na prática.

Precisão do reconhecimento e legibilidade do texto são métricas diferentes

O Whisper é um modelo aberto de reconhecimento de fala da OpenAI, lançado em setembro de 2022 sob licença MIT. Ele foi treinado com cerca de 680 mil horas de áudio rotulado e suporta cerca de cem idiomas, incluindo o russo. A métrica desse tipo de modelo é a proporção de palavras reconhecidas incorretamente. Se o Whisper registrou tudo o que foi dito, não há erros.

O problema é que as pessoas não falam como escrevem. A fala tem vícios de linguagem, autocorreções ("na quarta, quer dizer, não, na quinta") e construções inacabadas. A transcrição literal preserva tudo isso fielmente. Para um e-mail, uma tarefa para uma rede neural ou o capítulo de um livro, esse texto precisa ser corrigido à mão, e parte do ganho do ditado se perde.

Por que um intermediário

O esquema do título funciona assim: a fala vira texto localmente, e então um pequeno programa intermediário o envia a uma LLM com a instrução de remover o que sobra e devolver uma versão limpa. Reconhecimento e edição ficam separados, e cada etapa tem sua própria tarefa.

O que se sabe sobre o sistema pela parte disponível da publicação:

• o reconhecimento é feito pelo Whisper, rodando no computador do autor;
• entre o reconhecimento e o modelo de linguagem há um pequeno intermediário;
• a tarefa da LLM: remover "né", "tipo" e outros ruídos, preservando o sentido;
• cenário de uso: mensagens, e-mails e tarefas para redes neurais;
• o autor produz a maior parte do texto diário por ditado.

Onde esses esquemas falham

O principal risco nesse tipo de pós-processamento é que o modelo de linguagem passe a editar em vez de limpar. Ele pode suavizar a entonação do autor, trocar uma palavra por outra mais "correta" ou acrescentar algo que não foi dito. Para um escritor, isso é crítico: o estilo vive justamente nesses detalhes. Por isso, a instrução ao modelo deve proibir explicitamente acrescentar fatos e reformular, e vale guardar a transcrição original junto da versão limpa.

A segunda questão é a privacidade. Com o Whisper local, o áudio não vai para a nuvem. Mas, se o intermediário chama uma LLM externa, o que vai para lá é o texto, e nele pode haver nomes, detalhes de trabalho e rascunhos de livros. O esquema só se torna totalmente autônomo com um modelo de linguagem local.

O que experimentar por conta própria

Se quiser repetir a abordagem, primeiro teste o reconhecimento. Para rodar em um computador comum, há o whisper.cpp, que funciona tanto em CPU quanto em faster-whisper, baseado em CTranslate2. O tamanho do modelo é escolhido de acordo com o hardware: versões menores são mais rápidas, mas erram mais em russo.

Em seguida, monte um intermediário mínimo: recebeu o texto, acrescentou uma instrução curta, enviou à LLM, devolveu o resultado. Comece com uma única regra: "remova vícios de linguagem e repetições, não acrescente nada e não altere as formulações". Rode uma dezena dos seus ditados reais e compare o resultado com o original linha por linha. Só depois disso amplie o prompt: pontuação, parágrafos, formatação para e-mail ou chat. A implementação completa do autor está na matéria original no Habr.