Un développeur crée en 9 jours, avec Claude Code, une transcription locale des appels sur Mac

Les services cloud de transcription d'appels fonctionnent généralement de la même façon : un bot rejoint l'appel et l'enregistrement part vers des serveurs tiers. Pour beaucoup d'équipes, c'est gênant, surtout si la conversation porte sur du code client, des tarifs ou des questions de ressources humaines. L'alternative est évidente : tout faire en local. Mais, comme le montre une analyse récente publiée sur Habr, entre « prendre Whisper » et « obtenir un outil qui fonctionne » se trouve une série de pièges peu évidents.

Ce que l'auteur a construit

Ce développeur, qui mène environ six projets et passe son temps en visioconférence, a écrit en neuf jours, avec Claude Code, une application pour macOS. Elle enregistre l'appel sur deux pistes (vraisemblablement son propre micro séparé du son des interlocuteurs), le transcrit et l'attribue aux différentes voix. Tout cela s'exécute sur le Mac lui-même : pas de bot dans l'appel, pas de serveurs externes. Le code source est ouvert : on peut donc l'étudier et s'en servir de base.

Le simple fait qu'un tel outil puisse être assemblé en neuf jours avec un assistant IA est révélateur. Mais le plus intéressant est ailleurs : l'auteur n'a pas mis en avant des chiffres triomphants dans son article, mais une liste de pièges. Pour quiconque fait quelque chose de similaire, c'est la partie la plus utile.

Les pièges énumérés dans l'annonce

D'après la description, les problèmes sont multiples et touchent différentes couches de la pile.

Capture du son. ScreenCaptureKit peut renvoyer un silence numérique au lieu du véritable audio, et le son de FaceTime reste alors inaudible. Ce sont des défauts de la plateforme, et non du modèle, et il est peu probable que la documentation en parle.

Écho sans casque. Si le son de l'interlocuteur sort des enceintes, il entre dans le micro. Les deux pistes deviennent deux copies de la même conversation. L'auteur écrit que le décalage entre elles change 69 fois au cours d'un seul appel : un simple retard fixe ne suffit donc pas à supprimer l'écho.

Hallucinations de Whisper. Sur le silence, le modèle produit « Thank you », et on en compte au final environ un millier. C'est un comportement connu des modèles de cette famille : ils doivent écrire quelque chose, et ils écrivent la phrase la plus fréquente de leurs données d'entraînement. Le remède se situe au niveau du pipeline : il faut détecter la parole avant la reconnaissance et ne pas fournir de segments vides au modèle.

Diarisation. L'auteur note que la séparation par voix répartit parfois les gens selon leur type de parole plutôt que leur identité. Par exemple, les répliques calmes et les répliques émotionnelles peuvent être attribuées à des locuteurs différents.

Mémoire. À un moment, l'application occupait 17 Go sur un Mac de 16 Go. Le système passait donc en swap, ce qui est inacceptable pour une application en direct qui tourne en parallèle d'un appel. Les modèles locaux avalent facilement tout ce qui est disponible, et il faut calculer la mémoire à l'avance.

L'article contient par ailleurs une comparaison de modèles sur la parole russe. Pour les équipes russophones, c'est sans doute la section pratique la plus importante, car les benchmarks publics portent surtout sur l'anglais.

Ce qu'il faut en retenir

Premièrement : si vous faites de la transcription locale, ne faites pas confiance au son en entrée. Vérifiez que les pistes ne sont pas vides et ajoutez un filtre de silence avant de lancer la reconnaissance.

Deuxièmement : mieux vaut traiter dynamiquement l'écho et les décalages entre pistes, ou simplement recommander le casque. Pour un produit grand public, la seconde option est souvent moins coûteuse.

Troisièmement : prévoyez un budget mémoire. Sur 16 Go, le modèle, la diarisation et l'appel lui-même se disputent la même ressource.

Quatrièmement : testez les modèles dans votre langue et sur vos propres enregistrements, et non d'après les classements.

Limites

Du côté de l'annonce, seules des thèses sont disponibles, sans chiffres sur la qualité et la vitesse. Quel modèle l'a emporté en russe et comment les problèmes sont précisément résolus, cela ne se voit que dans l'article complet et dans le dépôt. L'application, d'après la description, est conçue pour macOS, et l'auteur ne donne pas de métriques de précision dans le teaser. Néanmoins, comme liste de contrôle des écueils, ce texte mérite d'être lu avant de se lancer dans sa propre version.