DialFork mediu alucinações processuais de agentes em 36.278 diálogos

A equipe do Idiap publicou o DialFork, o primeiro benchmark que mede alucinações processuais de agentes de diálogo diretamente no texto bruto da conversa. O dataset tem 36.278 diálogos em inglês, 24 tarefas, 12 domínios e 4 tipos de alucinação. Os dados e o código estão disponíveis sob licença MIT, e o projeto conta com um leaderboard público.

Autores do trabalho: Sergio Burdisso, Esaú Villatoro-Tello, Dairazalia Sánchez-Cortés, Yanis Labrak, Jordi Luque, Milos Cernak e Petr Motlicek.

O agente é educado, os fatos são corretos, e o resultado não aparece?

Os autores explicam o problema com um exemplo simples. Você pede a um agente LLM para checar a previsão do tempo. Ele é cordial, articulado e não diz nada falso. Mas, depois de vinte falas, você ainda não tem a previsão. O agente parou de seguir o procedimento que lhe foi designado.

Isso é a alucinação processual. Verificadores de fatos não a detectam, porque as afirmações estão corretas. Métricas de qualidade turno a turno também a deixam passar: cada fala, isoladamente, parece boa. A falha só se revela na trajetória de toda a conversa.

Quanto mais agentes são colocados em serviços de atendimento, agendamento médico, coleta de solicitações e cenários bancários, mais caro fica esse desvio. Ali, o roteiro é rígido, e fugir dele é considerado erro, mesmo que soe convincente.

Como se faz o fork e de onde vem a rotulagem?

A principal descoberta do DialFork é que não é preciso rotular nada manualmente. Pega-se um diálogo em que o agente faz tudo corretamente. Reproduz-se com a mesma seed. Em um momento escolhido, dá-se ao agente uma nova instrução, e a conversa se "bifurca".

A posição da bifurcação já fornece dois rótulos. O primeiro mostra o quão longe a ramificação se afastou do roteiro de referência. O segundo indica o turno a partir do qual o desvio começou. Para cada diálogo, essas marcações são obtidas automaticamente.

A construção foi verificada manualmente: 30 anotadores confirmaram que os forks realmente são construídos como planejado.

Três tarefas e duas métricas que observam o andamento da conversa

O benchmark descreve o desvio em três níveis de detalhamento:

• Set-to-set distance (monitoramento). Avalia-se o quanto o conjunto de diálogos de um agente implantado difere do conjunto de referência. Essa tarefa é útil para a equipe que monitora o agente em produção.
• Dialog-to-dialog distance (busca processual). Avalia-se o quanto um diálogo individual se desvia do de referência, e essa distância pode ser usada para buscar diálogos com procedimento semelhante.
• Turn prediction (guardrails em tempo real). É preciso determinar o turno em que o diálogo saiu dos trilhos pela primeira vez. É justamente nessa formulação que se baseiam os mecanismos de proteção que operam em tempo real.

Para as duas primeiras tarefas, os autores propuseram métricas próprias que levam em conta o fluxo do diálogo:

• FlowKL compara conjuntos de diálogos.
• FlowScore compara diálogos individuais.

Ambas as métricas avaliam como a conversa se desenrola, não sobre o que ela trata. No nível de diálogo individual, o FlowScore, segundo os autores, supera de forma significativa todos os métodos de referência em sete encoders diferentes. A conclusão é direta: proximidade semântica dos textos não substitui proximidade de procedimentos. Dois diálogos podem tratar do mesmo assunto e seguir caminhos diferentes, e embeddings convencionais não percebem essa diferença.

O que os desenvolvedores devem fazer com isso?

Para quem constrói agentes com roteiro rígido, o DialFork tem três aplicações práticas.

Primeira: rodar o próprio sistema nas 24 tarefas dos 12 domínios e obter uma avaliação do desvio que as métricas por fala isolada não oferecem. Segunda: usar o FlowKL para monitoramento. A distribuição de diálogos reais pode ser comparada com a de referência, capturando o desvio antes das reclamações dos usuários. Terceira: usar a tarefa de predição de turno para treinar e validar guardrails que interrompem ou trazem o agente de volta ao roteiro na primeira falha, e não na vigésima.

O dataset está disponível no Hugging Face, na organização DialFork, e o código e o leaderboard estão no repositório do Idiap no GitHub. A licença MIT permite usar os materiais em projetos comerciais. Por ora, o benchmark é apenas em inglês, então, para outros idiomas, será preciso reproduzir a metodologia dos forks por conta própria. Em compensação, o próprio procedimento é fácil de replicar: basta um diálogo funcional, uma seed fixa e um ponto em que se injeta uma nova instrução no agente.