DialFork mide las alucinaciones procedimentales de los agentes en 36.278 diálogos

El equipo del Idiap ha publicado DialFork, el primer benchmark que mide las alucinaciones procedimentales de los agentes conversacionales directamente sobre el texto en bruto de la conversación. El dataset contiene 36.278 diálogos en inglés, 24 tareas, 12 dominios y 4 tipos de alucinaciones. Los datos y el código se han publicado bajo licencia MIT, y el proyecto cuenta con una clasificación pública (leaderboard).

Los autores del trabajo son Sergio Burdisso, Esaú Villatoro-Tello, Dairazalia Sánchez-Cortés, Yanis Labrak, Jordi Luque, Milos Cernak y Petr Motlicek.

El agente es educado, los datos son correctos, pero no hay resultado

Los autores explican el problema con un ejemplo sencillo. Le pides a un agente basado en LLM que compruebe el tiempo. Es amable, se expresa correctamente y no dice nada falso. Pero, veinte réplicas después, sigues sin tener el pronóstico. El agente ha dejado de seguir el procedimiento que se le había asignado.

Eso es precisamente una alucinación procedimental. Los verificadores de hechos no la detectan, porque las afirmaciones son correctas. Las métricas de calidad réplica a réplica tampoco la detectan: cada turno, por separado, parece bueno. El fallo solo se manifiesta en la trayectoria de toda la conversación.

Cuanto más se despliegan agentes en servicio de atención al cliente, programación de citas médicas, recogida de solicitudes y escenarios bancarios, más caro resulta ese desvío. En esos contextos el guion está fijado de forma estricta, y cualquier desviación se considera un error, por muy convincente que suene.

Cómo se crea la bifurcación y de dónde sale el etiquetado

El hallazgo principal de DialFork es que no hace falta etiquetar nada manualmente. Se parte de un diálogo en el que el agente actúa correctamente en todo momento. Se reproduce con la misma semilla (seed). En un momento elegido se le da al agente una instrucción nueva, y la conversación se "bifurca".

La posición de la bifurcación aporta directamente dos etiquetas. La primera indica cuánto se ha alejado la rama del guion de referencia. La segunda señala el turno en el que comenzó la desviación. Para cada diálogo, estas etiquetas se obtienen de forma automática.

La construcción se verificó manualmente: 30 anotadores confirmaron que las bifurcaciones efectivamente se construyen tal como estaba previsto.

Tres tareas y dos métricas que observan el curso de la conversación

El benchmark describe la desviación en tres niveles de detalle:

• Set-to-set distance (monitorización). Se evalúa cuánto difiere el conjunto de diálogos de un agente desplegado respecto al conjunto de referencia. Esta tarea es útil para el equipo que supervisa al agente en producción.
• Dialog-to-dialog distance (búsqueda procedimental). Se evalúa cuánto se desvía un diálogo concreto respecto al de referencia, y esa distancia permite buscar diálogos con un procedimiento similar.
• Turn prediction (guardrails en tiempo real). Hay que determinar el turno en el que el diálogo se salió por primera vez del guion. Precisamente sobre este planteamiento se construyen los mecanismos de protección que funcionan en tiempo real.

Para las dos primeras tareas, los autores propusieron métricas propias que tienen en cuenta el flujo del diálogo:

• FlowKL compara conjuntos de diálogos.
• FlowScore compara diálogos individuales.

Ambas métricas evalúan cómo se desarrolla la conversación, no de qué trata. A nivel de diálogo individual, FlowScore, según afirman los autores, supera de forma significativa a todos los métodos de referencia en siete codificadores (encoders) distintos. La conclusión es directa: la cercanía semántica de los textos no sustituye a la cercanía procedimental. Dos diálogos pueden tratar exactamente el mismo tema y seguir caminos distintos, y los embeddings habituales no detectarán esa diferencia.

Qué pueden hacer los desarrolladores con esto

Si estás construyendo agentes con un guion estricto, DialFork tiene tres aplicaciones prácticas.

La primera: ejecutar tu sistema a través de las 24 tareas de los 12 dominios y obtener una medida del desvío que las métricas réplica a réplica no proporcionan. La segunda: usar FlowKL para la monitorización. La distribución de los diálogos en producción se puede comparar con la de referencia y detectar el desvío antes de que lleguen las quejas de los usuarios. La tercera: usar la tarea de predicción de turno para entrenar y validar guardrails que interrumpan o devuelvan al agente al guion en la primera desviación, y no en la vigésima.

El dataset está disponible en Hugging Face, en la organización DialFork, y el código y el leaderboard se encuentran en el repositorio del Idiap en GitHub. La licencia MIT permite utilizar los materiales en proyectos comerciales. Por ahora el benchmark está en inglés, así que para otros idiomas habrá que replicar la metodología de bifurcaciones por cuenta propia. En cambio, el propio procedimiento es fácil de reproducir: hace falta un diálogo funcional, una semilla fija y un punto en el que se le introduce al agente una instrucción nueva.