Un auteur de Habr nettoie sa dictée des « ben » et des « voilà » avec Whisper en local et un LLM

Un écrivain qui tape chaque jour des dizaines de messages, d'e-mails et de consignes pour des réseaux de neurones est passé à la dictée : parler va plus vite que taper. Mais cette méthode a un coût. Whisper peut transcrire une phrase sans une seule erreur, qui restera pourtant pénible à lire, car une parole vivante retranscrite mot à mot regorge de « ben », de « voilà », de répétitions et de phrases coupées. L'auteur de la publication sur Habr règle le problème avec Whisper, exécuté sur son propre ordinateur, et un petit intermédiaire qui confie la transcription à un modèle de langage pour la révision.

Une réserve importante : dans le fragment accessible de l'article, seule la formulation du problème est décrite. L'implémentation concrète de l'intermédiaire, le choix du modèle et les prompts restent derrière le cut, et nous ne les relatons pas. Ce qui suit découle de l'architecture annoncée et de considérations générales sur le fonctionnement pratique de ce type de montage.

Précision de la reconnaissance et lisibilité du texte : deux métriques

différentes

Whisper est un modèle ouvert de reconnaissance vocale d'OpenAI, publié en septembre 2022 sous licence MIT. Il a été entraîné sur environ 680 000 heures d'audio annoté et prend en charge environ une centaine de langues, dont le russe. La métrique d'un tel modèle est la part de mots mal reconnus. Si Whisper a transcrit tout ce qui a été dit, il n'y a pas d'erreur.

Le problème, c'est qu'on ne parle pas comme on écrit. À l'oral, on trouve des tics de langage, des autocorrections (« mercredi, enfin non, jeudi ») et des constructions inachevées. La transcription mot à mot conserve fidèlement tout cela. Pour un e-mail, une consigne à un réseau de neurones ou un chapitre de livre, il faut alors retoucher le texte à la main, et une partie du gain apporté par la dictée disparaît.

À quoi sert l'intermédiaire

Le schéma évoqué dans le titre fonctionne ainsi : la parole est convertie en texte en local, puis un petit programme intermédiaire transmet ce texte à un LLM avec pour instruction de retirer le superflu et de renvoyer une version propre. La reconnaissance et la révision sont séparées, chaque étape a sa propre tâche.

Ce que l'on sait du système d'après la partie accessible de la publication :

• la reconnaissance est assurée par Whisper, exécuté sur l'ordinateur de l'auteur ;
• un petit intermédiaire se place entre la reconnaissance et le modèle de langage ;
• le LLM doit retirer les « ben », les « voilà » et le reste du bruit, en conservant le sens ;
• cas d'usage : messages, e-mails et consignes pour réseaux de neurones ;
• l'auteur écrit par dictée la majeure partie de son texte quotidien.

Où ce type de schéma déraille

Le principal risque de ce post-traitement est que le modèle de langage se mette à éditer au lieu de nettoyer. Il peut lisser le ton de l'auteur, remplacer un mot par un autre jugé plus « correct » ou ajouter ce qui n'a pas été dit. Pour un écrivain, c'est critique : le style tient justement à ces détails. L'instruction donnée au modèle doit donc interdire explicitement d'ajouter des faits et de reformuler, et il vaut mieux conserver la transcription d'origine à côté de la version nettoyée.

La seconde question concerne la confidentialité. Avec Whisper en local, l'audio ne part pas dans le cloud. Mais si l'intermédiaire fait appel à un LLM externe, c'est le texte qui part, et il peut contenir des noms, des détails professionnels et des brouillons de livres. Le schéma n'est entièrement autonome qu'avec un modèle de langage local.

À essayer soi-même

Pour reproduire cette approche, commencez par vérifier la reconnaissance. Pour un ordinateur ordinaire, il existe whisper.cpp, qui tourne aussi bien sur processeur, et faster-whisper, basé sur CTranslate2. La taille du modèle se choisit selon le matériel : les versions plus petites sont plus rapides, mais se trompent plus souvent en russe.

Construisez ensuite un intermédiaire minimal : il reçoit le texte, ajoute une courte instruction, l'envoie au LLM et renvoie le résultat. Partez d'une seule règle : « supprime les tics de langage et les répétitions, n'ajoute rien et ne modifie pas les formulations ». Passez une dizaine de vos dictées réelles et comparez le résultat à l'original ligne par ligne. Ce n'est qu'après cela qu'il faut enrichir le prompt : ponctuation, paragraphes, mise en forme pour un e-mail ou un chat. Pour l'implémentation complète de l'auteur, mieux vaut se reporter à l'article original sur Habr.