Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

Jitsi Meet : pourquoi la transcription pour les dossiers médicaux électroniques exige Jigasi et Vosk

La transcription dans Jitsi Meet n'est pas un « bouton » mais une pile à part : Jigasi rejoint l'appel comme un participant, envoie l'audio à Vosk et enregistre le résultat une fois la session terminée. Pour un dossier médical électronique, cela ne suffit pas. Il faut des configurations cohérentes sur trois niveaux, un contrôle de l'authentification XMPP et un post-traitement par LLM afin de restituer les médicaments, les posologies et la structure de la note du médecin.

Traité par IA depuis Habr AI ; édité par Hamidun News
Jitsi Meet : pourquoi la transcription pour les dossiers médicaux électroniques exige Jigasi et Vosk
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Chiffre clé #1un compte XMPP distinct pour Jigasi dans Prosody : en cas d'erreur, le transcriber bot n'apparaîtra pas du tout dans la conférence ;
Chiffre clé #2les droits sur le répertoire des transcriptions : des sous-titres intermédiaires peuvent circuler sans que le fichier final soit écrit sur le disque ;
Le choix du modèle STTle Vosk de base convient à un MVP, mais gère moins bien les termes médicaux, les noms de médicaments et les posologies ;

Jitsi Meet prend en charge la transcription, mais dans un produit réel, ce n'est pas un interrupteur dans l'interface : c'est un circuit d'infrastructure à part entière. Dans le cas du remplissage automatique d'un EMR après des téléconsultations vidéo, cette couche s'est révélée la plus laborieuse : il a fallu assembler Jigasi, XMPP/SIP, Vosk et un post-traitement par LLM.

L'architecture sous le capot

L'idée de base de Jitsi ne paraît simple que de l'extérieur. L'appel vidéo lui-même est assuré par le frontend Jitsi Meet, le serveur média Jitsi Videobridge, le gestionnaire de conférences Jicofo et la couche XMPP Prosody. Mais la transcription ne vit pas derrière un unique bouton de l'interface. Elle relève de Jigasi, une passerelle distincte qui rejoint la salle comme un participant ordinaire, reçoit l'audio des interlocuteurs et envoie le flux à un service externe de reconnaissance vocale.

Cela crée une fausse impression de simplicité au départ. La tâche passe alors vite de « brancher une API » à un problème d'infrastructure. Il ne suffit pas d'activer une option dans l'UI : il faut accorder plusieurs services, des connexions réseau et un backend STT distinct. Dans le cas étudié, ce backend était Vosk, exposé via WebSocket. L'approche convient au traitement asynchrone après la consultation : le système n'a pas à respecter les latences strictes du mode direct, et le texte final peut être traité tranquillement une fois l'appel terminé.

Où le montage casse

Le principal problème tient à ce que la transcription présente ici plusieurs points de défaillance indépendants. La configuration de Jigasi, les paramètres du frontend Jitsi Meet et la disponibilité du service STT doivent coïncider en même temps. Si une couche est mal réglée, le système ne plante souvent pas avec une erreur claire : il ne produit simplement pas le résultat attendu. Le bot n'entre pas dans la salle, le fichier n'est pas enregistré, ou le texte est trop faible pour un usage pratique. Sans lire les logs, ces pannes se prennent facilement pour du hasard.

« Jigasi est une SIP gateway avec transcription, et non l'inverse ».
  • un compte XMPP distinct pour Jigasi dans Prosody : en cas d'erreur, le transcriber bot n'apparaîtra pas du tout dans la conférence ;
  • les droits sur le répertoire des transcriptions : des sous-titres intermédiaires peuvent circuler sans que le fichier final soit écrit sur le disque ;
  • le choix du modèle STT : le Vosk de base convient à un MVP, mais gère moins bien les termes médicaux, les noms de médicaments et les posologies ;
  • la détection de la fin de session : Jigasi n'écrit le texte final que lorsque la salle s'est réellement vidée, et le pipeline en aval a besoin d'un déclencheur fiable pour lancer le traitement.

Un autre point délicat : la séparation des canaux d'enregistrement et d'envoi des résultats. Un jeu de paramètres commande l'écriture du texte final sur disque après la consultation ; un autre, la transmission des fragments intermédiaires aux participants via XMPP. Pour un produit qui remplit l'EMR a posteriori, obtenir à coup sûr le fichier final compte davantage que d'afficher des sous-titres en temps réel. Sinon, l'étape suivante n'a rien à partir de quoi démarrer, et toute l'automatisation se bloque.

Du texte à l'EMR

Même une fois Jitsi correctement configuré, le travail n'est pas fini. La sortie de Jigasi est un dialogue brut horodaté : le médecin pose des questions, le patient répond, puis viennent les prescriptions et les recommandations. Pour un dossier médical, un tel texte est presque inutilisable en l'état, car le système n'a pas besoin des répliques en tant que telles, mais d'entités structurées : plaintes, historique des symptômes, médicaments, posologies, schéma de prise et suites à donner. Entre la reconnaissance vocale et l'EMR, il reste une large couche de transformations.

Il a donc fallu ajouter, au-dessus du STT, une couche de traitement par LLM. Le modèle normalise le texte, corrige une partie des erreurs de reconnaissance grâce au contexte et répartit le résultat dans des champs compatibles avec les structures FHIR. Les données arrivent ensuite dans un formulaire du frontend, où le médecin vérifie et valide la note avant l'enregistrement final dans l'EMR. Ce human-in-the-loop n'est pas une précaution excessive mais une exigence impérative : dans un contexte clinique, on ne peut pas inscrire automatiquement au dossier, sans relecture, des médicaments, des doses ni des prescriptions.

C'est là que la limite du STT « bon marché » saute aux yeux. Si le modèle de base reconnaît mal le vocabulaire du domaine, tout le reste de la chaîne se met à dépenser des ressources pour corriger les erreurs. Pour une version de production, on pense à des modèles Vosk plus lourds, à un moteur spécialisé comme Deepgram avec un profil médical, ou à une combinaison de STT et de normalisation par LLM, où le modèle de langage compense les ratés de la reconnaissance. Sinon, le prix des erreurs est trop élevé dès le niveau du dossier médical.

Ce que cela signifie

L'histoire de Jitsi Meet montre une chose simple : la transcription pour un produit d'IA appliquée est un sous-système à part, pas une fonctionnalité cosmétique. Pour un MVP, un schéma asynchrone avec Jigasi et Vosk suffit, mais pour une production en médecine, il faut un réglage précis de toute la pile, de bons logs, un contrôle de la fin de session et une couche de normalisation qui transforme la conversation en données exploitables par l'EMR. Plus le domaine est strict, plus l'illusion qu'une simple case à cocher dans l'interface règle tout coûte cher.

Dossier

Questions clés sur cet article

Que sait-on sur L'architecture sous le capot ?

L'idée de base de Jitsi ne paraît simple que de l'extérieur. L'appel vidéo lui-même est assuré par le frontend Jitsi Meet, le serveur média Jitsi Videobridge, le gestionnaire de conférences Jicofo et la couche XMPP Prosody. Mais la transcription ne vit pas derrière un unique bouton de l'interface. Elle relève de Jigasi, une passerelle distincte qui rejoint la salle comme un participant ordinaire, reçoit l'audio des interlocuteurs et envoie le flux à un service externe de reconnaissance vocale.

Que sait-on sur Où le montage casse ?

Le principal problème tient à ce que la transcription présente ici plusieurs points de défaillance indépendants. La configuration de Jigasi, les paramètres du frontend Jitsi Meet et la disponibilité du service STT doivent coïncider en même temps. Si une couche est mal réglée, le système ne plante souvent pas avec une erreur claire : il ne produit simplement pas le résultat attendu. Le bot n'entre pas dans la salle, le fichier n'est pas enregistré, ou le texte est trop faible pour un usage pratique.

Que sait-on sur Du texte à l'EMR ?

Même une fois Jitsi correctement configuré, le travail n'est pas fini. La sortie de Jigasi est un dialogue brut horodaté : le médecin pose des questions, le patient répond, puis viennent les prescriptions et les recommandations. Pour un dossier médical, un tel texte est presque inutilisable en l'état, car le système n'a pas besoin des répliques en tant que telles, mais d'entités structurées : plaintes, historique des symptômes, médicaments, posologies, schéma de prise et suites à donner.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…