Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAPI / Produit · Prêt à l'emploiХабр: Машинное обучение→ original

Un message vocal de 35 secondes se transforme en texte en 9 secondes dans un CRM, sans carte graphique

Les clients envoient des messages vocaux du type « est-ce que ce lot est toujours disponible, et combien coûte la livraison à Samara ? », et le manager, dans un atelier bruyant, ne peut pas les écouter. C'est pourquoi le CRM commercial intégré à la messagerie affiche sous le lecteur le texte du message, généré par Whisper small sur un serveur cloud en Russie, doté de 2 cœurs et sans carte graphique. Un vocal de 35 secondes devient du texte en environ 9 secondes, et l'audio ne quitte jamais des serveurs situés à l'étranger. Pour un volume modeste, on peut ainsi se passer d'API payantes.

Traité par IA depuis Хабр: Машинное обучение ; édité par Hamidun News
Un message vocal de 35 secondes se transforme en texte en 9 secondes dans un CRM, sans carte graphique
Source : Хабр: Машинное обучение. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireХабр: Машинное обучение ↗
Rédacteur en chef
Chiffre clé #1La quantification int8 et le décodage glouton ont offert le gain principal sur CPU.
Chiffre clé #2PyAV échouait sur une partie des fichiers ogg, m4a et mp3 ; c'est donc ffmpeg qui décode l'audio.
Chiffre clé #3Une tâche cron toutes les minutes prend jusqu'à 5 vocaux, avec 3 tentatives par fichier.

Les clients des boutiques en ligne aiment les messages vocaux : « Bonjour, ce lot est-il toujours disponible, et combien coûte la livraison à Samara ? » Le manager doit écouter ce message, ce qui est peu pratique dans un atelier bruyant ou pendant un appel. L'équipe du CRM commercial intégré à la messagerie a donc décidé d'afficher le texte prêt à l'emploi sous le lecteur.

Toute la transcription s'effectue sur un serveur cloud ordinaire en Russie, doté de deux cœurs de processeur et sans carte graphique : un vocal de 35 secondes devient du texte en environ 9 secondes, soit près de 4 fois plus vite que la durée de l'enregistrement. Il n'est pas nécessaire de payer des services cloud de reconnaissance à la minute d'audio, et l'audio du client ne quitte pas les serveurs de l'entreprise.

Pourquoi ne pas avoir pris une solution toute faite

La première idée était d'utiliser la transcription de la messagerie elle-même. VKontakte en propose une : la réponse de l'API contient pour la pièce jointe un champ avec le texte. Mais pour les messages de la communauté, ce champ restait vide, même plusieurs jours après. MAX, Telegram et WhatsApp, connectés via un service intermédiaire, ne proposent aucune transcription.

Les services cloud de reconnaissance ont été écartés pour une autre raison. Le message vocal d'un client constitue une donnée personnelle, et l'équipe ne souhaitait pas l'envoyer à des serveurs étrangers. Tout doit donc fonctionner sur les propres serveurs de l'entreprise, en Russie, et les fichiers ne sont conservés nulle part.

Ce qui se cache sous le capot

Pour la reconnaissance, l'équipe a choisi faster-whisper, une implémentation du modèle Whisper basée sur CTranslate2, nettement plus rapide que l'original sur un processeur classique. Elle utilise la version small du modèle. Sur la parole conversationnelle en russe, elle se trompe sur certains mots, mais elle restitue le sens avec fiabilité, et le manager n'a pas besoin de davantage.

La reconnaissance a été déportée sur une machine séparée afin de ne pas prendre de ressources processeur au CRM lui-même. Quatre réglages ont permis d'améliorer la vitesse :

  • la quantification des poids (int8, c'est-à-dire le stockage des nombres du modèle sous forme compressée), principal gain de vitesse sur processeur ;
  • le décodage glouton au lieu de la recherche par faisceau : sur de courtes phrases, la qualité reste presque identique ;
  • un détecteur d'activité vocale supprime le silence et les pauses, nombreux dans les messages vocaux ;
  • la langue est spécifiée explicitement, sans détection automatique : c'est plus rapide et cela génère moins d'erreurs sur les enregistrements courts.

Les pièges du décodage audio

faster-whisper sait ouvrir lui-même les fichiers via la bibliothèque PyAV, mais cela échouait sur les messages vocaux des messageries. Sur certains fichiers, PyAV plantait avec une erreur de lecture des métadonnées, alors que les formats reçus varient : ogg, m4a, mp3.

La solution est simple : confier le décodage au programme ffmpeg et transmettre au modèle un tableau audio déjà prêt : mono, 16 kHz, nombres float32 compris entre −1 et 1. Le format du fichier d'origine n'a alors plus d'importance.

Le script fonctionne selon le principe « stdin → stdout » : l'audio arrive en entrée, le texte sort en sortie. Il ne connaît rien du CRM ni des messageries, et le fichier n'est jamais écrit sur le disque. Le serveur principal l'appelle en une seule commande via curl et ssh.

Comment cela s'intègre dans le CRM

Sur le serveur principal, une tâche cron se lance chaque minute. Elle est encapsulée dans flock : si le lancement précédent tourne encore, le nouveau ne démarre pas, et la file d'attente ne s'accumule pas. La commande timeout, fixée à 600 secondes, protège contre un ssh ou un ffmpeg bloqué. À chaque passage, au maximum cinq messages vocaux sont traités, afin qu'un pic de messages ne sature pas le serveur de reconnaissance.

La tâche repère les messages vocaux entrants des 2 derniers jours qui n'ont pas encore de texte, télécharge l'audio un par un depuis le lien de la messagerie, l'envoie à la reconnaissance et écrit le résultat dans la pièce jointe du message. L'interface du CRM affiche le texte sous le lecteur, et dans la liste des conversations, « Message vocal » laisse place à « 🎤 Bonjour, ce lot est-il toujours… ».

Pour chaque message, un compteur de tentatives est tenu : si le fichier est corrompu ou si le lien a expiré, le message n'est plus traité après trois échecs. La fenêtre de 2 jours évite que la tâche ne parcoure tout l'historique des conversations à chaque lancement. Le texte apparaît environ une minute après l'arrivée du vocal : il faut attendre le prochain lancement, puis quelques secondes de reconnaissance.

Limites et conclusion

L'inconvénient honnête de ce dispositif : le modèle est chargé à chaque appel. Pour un petit flux de messages vocaux, c'est acceptable, mais sous forte charge, il faudrait transformer le script en service permanent avec file d'attente. La qualité de small sur la parole conversationnelle n'est pas non plus parfaite : certains mots sont déformés.

La recette pour ceux qui veulent la reproduire : utilisez faster-whisper avec int8 sur processeur, décodez l'audio via ffmpeg plutôt que PyAV, et ne conservez pas les fichiers, dont la transcription n'a pas besoin. Pour les petites et moyennes entreprises, c'est un exemple de la manière de traiter une tâche impliquant des données personnelles sans carte graphique et sans payer à la minute d'audio.

Dossier

Questions clés sur cet article

Pourquoi ne pas avoir pris une solution toute faite?

La première idée était d'utiliser la transcription de la messagerie elle-même. VKontakte en propose une : la réponse de l'API contient pour la pièce jointe un champ avec le texte. Mais pour les messages de la communauté, ce champ restait vide, même plusieurs jours après. MAX, Telegram et WhatsApp, connectés via un service intermédiaire, ne proposent aucune transcription. Les services cloud de reconnaissance ont été écartés pour une autre raison.

Que sait-on sur Ce qui se cache sous le capot ?

Pour la reconnaissance, l'équipe a choisi faster-whisper, une implémentation du modèle Whisper basée sur CTranslate2, nettement plus rapide que l'original sur un processeur classique. Elle utilise la version small du modèle. Sur la parole conversationnelle en russe, elle se trompe sur certains mots, mais elle restitue le sens avec fiabilité, et le manager n'a pas besoin de davantage. La reconnaissance a été déportée sur une machine séparée afin de ne pas prendre de ressources processeur au CRM lui-même.

Que sait-on sur Les pièges du décodage audio ?

faster-whisper sait ouvrir lui-même les fichiers via la bibliothèque PyAV, mais cela échouait sur les messages vocaux des messageries. Sur certains fichiers, PyAV plantait avec une erreur de lecture des métadonnées, alors que les formats reçus varient : ogg, m4a, mp3. La solution est simple : confier le décodage au programme ffmpeg et transmettre au modèle un tableau audio déjà prêt : mono, 16 kHz, nombres float32 compris entre −1 et 1. Le format du fichier d'origine n'a alors plus d'importance.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…