Três LLMs seguem mal prompts sobre hesitações e interrupções; regras se saem melhor

Agentes de voz estão entrando em operação comercial, mas são testados em simuladores de usuários que deveriam falar como pessoas reais: hesitar, interromper, soltar "aham" e "uhum". Os autores do trabalho Prompts versus Rules verificaram se esses simuladores fazem o que lhes foi pedido. Eles compararam três LLMs com prompts para o tau-Voice e um algoritmo próprio baseado em regras, que não usa modelo algum. Três tipos de comportamento, duas abordagens, uma conclusão: os prompts funcionam mal.

O que exatamente foi testado

No setor de agentes de voz, a qualidade da avaliação depende da qualidade do simulador. Se o "cliente" virtual fala de forma lisa demais ou interrompe em pontos aleatórios, os resultados dos testes do agente não refletem o uso em produção. Os pesquisadores notaram que a maioria dos trabalhos anteriores não verifica se a configuração definida se materializou na simulação pronta. O desenvolvedor escreve "adicione hesitações e interrupções", recebe o áudio e dá a tarefa por cumprida.

O experimento considera três tipos de comportamento de fala:

• disfluências, ou seja, hesitações, repetições e travadas;
• interrupções da fala do agente;
• backchanneling, reações curtas como "entendi" e "aham" enquanto o interlocutor fala.

Os autores auditaram não os parâmetros definidos, mas o comportamento efetivamente gerado: o que de fato foi dito e em que ponto.

Onde o uso de prompts falha

A abordagem com prompts foi testada em três modelos. O resultado foi consistentemente ruim: a fala não corresponde às instruções. Além disso, hesitações, interrupções e sinais de concordância aparecem e se distribuem de forma menos natural do que a própria instrução sugere. Um modelo pode receber a ordem de se comportar "como uma pessoa que se atrapalha com frequência". Mas as pausas e interrupções reais dependem da sintaxe, do ritmo e do momento do diálogo, e uma LLM sem treinamento específico não capta isso.

O resumo do trabalho não traz métricas numéricas de desvio, então só com ele não é possível medir o tamanho da distância. A direção, porém, é clara. LLMs de uso geral, não treinadas especificamente para imitar usuários, não reproduzem por conta própria o comportamento humano genuíno.

O que as regras entregaram

A alternativa dos autores é um algoritmo de injeção baseado em regras, sem modelo. Ele insere disfluências, interrupções e sinais de concordância por meio de regras determinísticas fundamentadas em linguística. Segundo os resultados do estudo, essa abordagem gera um comportamento controlável e, ao mesmo tempo, variado, mais próximo da fala natural. Quando um parâmetro é definido, ele realmente se concretiza na simulação. É justamente isso que falta ao uso de prompts.

A conclusão dos autores vai além de um único algoritmo. Para fechar essa lacuna, são necessários métodos determinísticos com base linguística ou modelos especializados em simulação de usuários. Paralelamente, a comunidade deveria publicar os valores efetivamente gerados, e não apenas as configurações.

Como aplicar as conclusões na prática

Equipes que testam agentes de voz podem dar alguns passos já agora:

• não considerar uma simulação natural só porque o prompt menciona hesitações e interrupções;
• medir a frequência e a posição reais desses eventos nas falas geradas;
• em cenários que exigem controle, combinar uma LLM, que escreve o conteúdo da fala, com uma camada determinística, que aplica o comportamento;
• ao publicar resultados de testes, informar os indicadores efetivamente gerados; do contrário, a comparação entre agentes perde o sentido.

Para o mercado de agentes de voz, o tema é reprodutibilidade. Se o "usuário" de teste é imprevisível, as métricas de qualidade do agente também são. Regras simples parecem mais modestas que uma LLM, mas dão o controle necessário para uma avaliação honesta.