GPTunneL a lancé son GROM vocal en direct : ce qui a cassé en 3 heures de hackathon

Un assistant vocal autour d'une table commune, l'idée semble claire, jusqu'à ce qu'on passe au direct. L'équipe de GPTunneL l'a testée lors du hackathon « Nouvelles villes » au « Grand Phystech » : pendant trois heures, GROM a écouté des experts, des lycéens et des étudiants qui imaginaient le village du futur, et a répondu à voix haute à leurs questions. Le résultat n'est pas parfait, mais le retour d'expérience est honnête.

Comment ça fonctionne

Pas de mot de réveil à proprement parler. La parole captée par le micro était transcrite, on regardait le premier mot de la réplique, et s'il s'agissait de « Grom », le texte partait vers le modèle. La réponse était lue par la voix synthétique de Filipp, développée par la même équipe. En répétition, GROM s'immisçait dans la conversation et coupait les idées ; pour le direct, il a donc été basculé en mode « ne parle que si on l'appelle ».

La principale difficulté : les gens parlent presque tout le temps entre eux, pas avec l'assistant. Pour que GROM sache ce qui avait été décidé, le flux était traité par une chaîne distincte. vMix enregistrait un fichier vidéo toutes les cinq minutes, Resilio le transférait vers un second ordinateur, un Whisper local produisait la transcription, et Claude Sonnet mettait à jour le résumé : qui a proposé quoi, ce qui a été décidé, ce qui restait ouvert. Le résumé à jour était injecté dans l'instruction système de GROM. Sonnet a été choisi parce que l'équipe avait déjà vérifié ses résumés à de nombreuses reprises.

Là où tout a dérapé

Premier incident : quinze minutes perdues. Lorsque plusieurs fichiers arrivaient en même temps, le gestionnaire prenait le plus récent, sans file d'attente. Après le huitième fichier venait le douzième, et les fragments du neuvième au onzième ont dû être traités à la main.

Deuxième incident : les noms. Whisper n'avait pas reçu de liste de noms propres, et GPTunneL est devenu GPTanal. Pire, le marquage des intervenants : la numérotation repartait de zéro dans chaque fichier, et « Intervenant 1 » dans deux fragments voisins pouvait désigner deux personnes différentes.

Troisième incident : le contexte. Un long débat pour savoir si le mentor aurait une barbe a saturé l'historique du dialogue. Neuf minutes plus tard, à la question de savoir si l'on peut vivre moins longtemps sans communication, GROM s'est remis à parler de barbe. Un ingénieur a vidé l'historique en plein direct, et la décision sur l'apparence du héros est restée dans le résumé séparé : sur le fond, l'assistant n'a donc rien perdu.

Ce qu'il faut retenir

Pour les développeurs, la leçon est la suivante : la mémoire longue d'un assistant n'est pas un grand contexte, c'est une discipline. Il faut séparer le dialogue brut de la synthèse des décisions : l'historique peut être nettoyé, le résumé demeure. L'astuce est peu coûteuse et a fonctionné en direct.

Une chaîne de fragments a besoin d'une file d'attente, pas de la logique « on prend le dernier ». La reconnaissance vocale demande un dictionnaire de noms et de termes avant le départ. Pour plusieurs locuteurs, il faut une identification continue des intervenants : l'équipe compte tester les embeddings vocaux et comparer le résultat avec un marquage manuel.

Les limites sont aussi visibles. Il s'agit d'un pilote sur un seul événement, il n'y a pas de métriques de qualité des réponses, une partie du travail a été faite à la main, et le modèle vidéo n'a jamais généré l'inscription sur le dirigeable : elle a été ajoutée au montage. Les réponses passaient à l'antenne sans relecture, c'est pourquoi le moment raté de la barbe est resté dans l'enregistrement à 55:03.

La suite : en novembre, revenir sur des événements en présentiel avec une file d'attente et un dictionnaire, relier l'assistant à l'éditeur Workflow pour pouvoir dire « Grom, refais la scène du soir », et chercher des ressources pour un lancement sur appareils. Cela exige des cartes graphiques et du matériel de test ; l'équipe en discute avec des investisseurs. Pour les product managers, la conclusion est simple : la valeur d'une interface vocale dans une conversation de groupe ne réside pas dans la réponse à une question, mais dans la connaissance du contexte de toute la réunion. C'est cette partie qu'il faut construire en premier.