Tres LLM siguen mal los prompts sobre titubeos e interrupciones; las reglas funcionan mejor

Los agentes de voz están entrando en explotación comercial, y se prueban con simuladores de usuario que deben hablar como personas reales: titubear, interrumpir, intercalar «aja» y «ajá». Los autores del trabajo Prompts versus Rules comprobaron si esos simuladores cumplen lo que se les pide. Compararon tres LLM con prompts para tau-Voice y un algoritmo propio basado en reglas que no utiliza ningún modelo. Tres tipos de comportamiento, dos enfoques, una conclusión: los prompts funcionan mal.

Qué se evaluó exactamente

En la industria de los agentes de voz, la calidad de la evaluación depende de la calidad del simulador. Si el «cliente» virtual habla de forma demasiado fluida o interrumpe en momentos aleatorios, los resultados de las pruebas del agente no reflejan su uso real. Los investigadores observaron que la mayoría de los trabajos anteriores no comprueba si la configuración elegida se materializó en la simulación final. El desarrollador escribe «añade titubeos e interrupciones», obtiene el audio y da la tarea por cumplida.

El experimento examina tres tipos de comportamiento del habla:

• disfluencias, es decir, titubeos, repeticiones y vacilaciones;
• interrupciones de la intervención del agente;
• backchanneling, reacciones breves como «entiendo» y «aja» mientras el interlocutor habla.

Los autores no auditaron los parámetros configurados, sino el comportamiento implementado: qué se oyó finalmente y en qué punto exacto.

Dónde falla el uso de prompts

El enfoque basado en prompts se probó en tres modelos. El resultado fue consistentemente malo: el habla no se ajusta a las instrucciones. Además, los titubeos, las interrupciones y los asentimientos están colocados y distribuidos de forma menos natural de lo que se desprende de la propia instrucción. A un modelo se le puede pedir que se comporte «como una persona que se confunde a menudo». Pero las pausas e interrupciones reales dependen de la sintaxis, del ritmo y del momento del diálogo, y un LLM sin entrenamiento específico no los percibe.

El resumen del trabajo no aporta métricas numéricas de desviación, así que solo con él no se puede evaluar la magnitud de la brecha. La dirección, en cambio, es inequívoca. Los LLM de propósito general, que no se han entrenado específicamente para imitar a un usuario, no reproducen por sí solos el comportamiento humano auténtico.

Qué aportaron las reglas

La alternativa de los autores es un algoritmo de inyección basado en reglas, sin modelo. Inserta disfluencias, interrupciones y asentimientos mediante reglas deterministas apoyadas en la lingüística. Según los resultados del estudio, este enfoque ofrece un comportamiento controlable y, al mismo tiempo, variado, más cercano al habla natural. Si se fija un parámetro, este se materializa realmente en la simulación. Es justo lo que le falta al uso de prompts.

La conclusión de los autores va más allá de un único algoritmo. Para cerrar la brecha hacen falta métodos deterministas con fundamento lingüístico o modelos especializados en la simulación de usuarios. Además, la comunidad debería publicar los valores implementados y no solo los ajustes.

Cómo aplicar las conclusiones en la práctica

Los equipos que prueban agentes de voz pueden dar varios pasos desde ya:

• no dar por natural una simulación solo porque el prompt indique titubeos e interrupciones;
• medir la frecuencia y la posición reales de estos eventos en las intervenciones generadas;
• en escenarios controlados, combinar un LLM que redacte el contenido de la intervención con una capa determinista que aplique el comportamiento;
• al publicar resultados de pruebas, indicar los valores implementados; de lo contrario, la comparación entre agentes pierde sentido.

Para el mercado de los agentes de voz, es una cuestión de reproducibilidad. Si el «usuario» de prueba es impredecible, las métricas de calidad del agente también lo son. Las reglas simples parecen aquí más modestas que un LLM, pero dan el control que se necesita para una evaluación honesta.