CRM-Agent-Bench evaluó 16 agentes de IA: el mejor completó con éxito estricto el 83,6% de las tareas

Un agente puede sonar impecable en el chat y, aun así, dejar en el CRM un registro dañado, un estado de pedido incorrecto o un reembolso de más. El nuevo benchmark CRM-Agent-Bench mide justamente esa brecha entre lo que el agente «dijo» y lo que «hizo». Sus autores, Monojit Banerjee, Zhujun Lan y Defu Cao, han reunido 555 tareas con estado y varias réplicas de diálogo en nueve dominios de negocio. Los dieciséis sistemas evaluados lograron un éxito estricto de entre el 64,32% y el 83,60%. El código está publicado en el repositorio salesforce-misc/crm-agent-bench, y el proyecto cuenta con una página propia.

Un contrato en lugar de «parece correcto»

La mayoría de los benchmarks de agentes miran la respuesta final o el estado final del entorno. Los autores consideran que eso no basta para un despliegue en producción y proponen evaluar cuatro facetas a la vez:

• el resultado, es decir, a qué conclusión llegó el agente;
• la trayectoria, es decir, qué pasos siguió;
• la viabilidad operativa: latencia y coste;
• el cumplimiento de las políticas definidas en la tarea.

El CRM es casi el escenario ideal para esta prueba: los registros cambian, sobre ellos rigen reglas operativas y un error tiene consecuencias económicas. Por eso cada una de las 555 tareas incorpora su propio contrato ejecutable. El contrato se compone de comprobaciones de seis tipos:

• las acciones que el agente debe realizar;
• los argumentos de las llamadas a herramientas;
• el orden de las operaciones;
• el contenido de la respuesta al usuario;
• el estado objetivo de los datos tras el trabajo;
• el estado protegido, que no se puede tocar.

El último punto pesa más que los demás. Un agente que cierra un ticket y, de paso, sobrescribe el registro de otra persona ha cumplido la petición solo en apariencia, y en una empresa real habrá provocado un incidente. El éxito en el benchmark se define como una conjunción estricta: una tarea cuenta únicamente si pasan todas las comprobaciones declaradas para ella. No hay puntos parciales por «casi correcto».

Dieciséis sistemas y un techo del 83,6%

Se evalúa el sistema completo (la carcasa del agente, las herramientas y la lógica de diálogo), no el modelo por sí solo. Eso se acerca más a lo que las empresas compran y ponen en marcha de verdad. Además de la proporción de tareas resueltas, el benchmark registra la cobertura de la evaluación, la latencia y el coste de cada ejecución.

Los resultados en la versión final verificada son estos: los dieciséis sistemas se situaron entre el 64,32% y el 83,60% de éxito estricto. Una dispersión de casi veinte puntos porcentuales indica que las tareas no están saturadas y que el benchmark distingue entre sistemas. Los líderes están muy agrupados, pero se separan con fuerza en precio y en fiabilidad dentro de dominios concretos. Un sistema puede ser sólido en un área temática y flojear en otra, y el porcentaje medio lo oculta.

Las tareas están anotadas con 36 etiquetas de capacidades, de modo que los fallos pueden analizarse por habilidades y dominios concretos, y no por una cifra global. Los autores describen el marco como auditable y transferible: su estructura puede ampliarse a medida que los modelos se acerquen al techo.

Cómo usarlo al elegir un agente

Para los equipos que implantan agentes en soporte, ventas o back-office, la lección principal es que la precisión de la respuesta no garantiza que la transacción sea correcta. Hay que evaluar el estado final de los datos, el orden de las acciones y la ausencia de efectos secundarios.

La segunda consecuencia práctica: las cifras deben leerse como un par, «éxito más coste». Si los líderes difieren mucho en precio y casi nada en calidad, elegir la opción más cara está mal justificado.

La tercera: el porcentaje global no sustituye al análisis por dominios. Antes de confiar a un agente los pagos, los reembolsos o la modificación de registros de clientes, conviene ejecutar tareas propias de su perfil y revisar el estado protegido. La estructura de contratos de CRM-Agent-Bench se puede trasladar a los procesos de cada empresa: describir, para cada escenario, las acciones esperadas, los argumentos admisibles y los datos que no se pueden tocar.

Queda además una limitación: un máximo del 83,6% significa que, incluso con el mejor sistema, aproximadamente una de cada seis tareas fracasa según los criterios estrictos. Para procesos en los que un error cuesta dinero, eso es insuficiente sin supervisión humana y mecanismos de reversión.