Trois LLM suivent mal les consignes sur les hésitations et les interruptions, les règles font mieux

Les agents vocaux entrent en exploitation commerciale, mais on les teste avec des simulateurs d'utilisateurs qui doivent parler comme des humains : hésiter, interrompre, glisser des « ouais » et des « mhm ». Les auteurs de l'étude Prompts versus Rules ont vérifié si ces simulateurs font bien ce qu'on leur demande. Ils ont comparé trois LLM pilotés par des prompts pour tau-Voice à leur propre algorithme à base de règles, qui n'utilise aucun modèle. Trois types de comportement, deux approches, une conclusion : les prompts fonctionnent mal.

Ce qui a été vérifié

Dans l'industrie des agents vocaux, la qualité de l'évaluation dépend de celle du simulateur. Si le « client » virtuel parle trop lisse ou interrompt à des moments aléatoires, les résultats des tests ne reflètent pas l'exploitation réelle de l'agent. Les chercheurs ont constaté que la plupart des travaux précédents ne vérifient pas si la configuration demandée s'est bien traduite dans la simulation finale. Le développeur écrit « ajoute des hésitations et des interruptions », obtient de l'audio et considère la tâche comme accomplie.

L'expérience porte sur trois types de comportement vocal :

• les disfluences, c'est-à-dire les hésitations, les répétitions et les blancs ;
• les interruptions de la réplique de l'agent ;
• le backchanneling, ces courtes réactions du type « d'accord » ou « ouais » pendant que l'interlocuteur parle.

Les auteurs n'ont pas audité les paramètres demandés, mais le comportement réalisé : ce qui a effectivement été prononcé, et à quel endroit.

Où le prompting échoue

L'approche par prompts a été testée sur trois modèles. Le résultat est systématiquement mauvais : la parole ne correspond pas aux instructions. De plus, les hésitations, les interruptions et les acquiescements sont placés et répartis de façon moins naturelle que ne le prévoit l'instruction elle-même. Un modèle peut recevoir la consigne de se comporter « comme quelqu'un qui perd souvent le fil ». Mais les pauses et les interruptions réelles dépendent de la syntaxe, du rythme et du moment dans le dialogue, et un LLM sans entraînement spécifique ne les perçoit pas.

Le résumé de l'étude ne donne pas de métriques chiffrées sur l'écart, si bien qu'on ne peut pas mesurer l'ampleur de la différence à partir de ce seul résumé. La direction, en revanche, est sans ambiguïté. Les LLM généralistes, non entraînés spécifiquement à imiter un utilisateur, ne reproduisent pas à eux seuls un comportement humain authentique.

Ce qu'apportent les règles

L'alternative des auteurs est un algorithme d'injection rule-based, sans modèle. Il insère disfluences, interruptions et acquiescements selon des règles déterministes, appuyées sur la linguistique. D'après les résultats de l'étude, cette approche produit un comportement contrôlable mais néanmoins varié, plus proche de la parole naturelle. Lorsqu'un paramètre est fixé, il se retrouve réellement dans la simulation. C'est précisément ce qui manque au prompting.

La conclusion des auteurs dépasse le cadre d'un seul algorithme. Pour combler l'écart, il faut soit des méthodes déterministes fondées sur la linguistique, soit des modèles spécialisés dans la simulation d'utilisateurs. Parallèlement, la communauté devrait publier les valeurs réalisées, et pas seulement les réglages.

Comment appliquer ces conclusions en pratique

Les équipes qui testent des agents vocaux peuvent dès maintenant prendre plusieurs mesures :

• ne pas considérer une simulation comme naturelle au seul motif que le prompt mentionne des hésitations et des interruptions ;
• mesurer la fréquence et la position réelles de ces événements dans les répliques générées ;
• pour les scénarios contrôlés, combiner un LLM qui rédige le contenu de la réplique et une couche déterministe qui applique le comportement ;
• en publiant les résultats de tests, indiquer les valeurs réalisées, faute de quoi la comparaison des agents entre eux perd son sens.

Pour le marché des agents vocaux, c'est une question de reproductibilité. Si l'« utilisateur » de test est imprévisible, les métriques de qualité de l'agent le sont aussi. Les règles simples paraissent ici plus modestes qu'un LLM, mais elles offrent le contrôle nécessaire à une évaluation honnête.