SAAG: метод трёхэтапной диагностики ошибок вызова функций у AI-агентов

En julio de 2026 apareció en arXiv el trabajo SAAG (Structured Agent Assessment and Grounding), un método de evaluación en cascada que descompone la verificación de las llamadas a funciones de un agente de IA en tres etapas secuenciales y, en cada una, arroja un diagnóstico de error independiente en lugar de una única puntuación binaria.

Qué falla con la evaluación binaria

La evaluación de llamadas a funciones por coincidencia exacta (exact-match) oculta tipos de fallos cualitativamente distintos, afirman los autores de SAAG. Un modelo puede elegir la función correcta pero alucinar los valores de los argumentos, o cumplir formalmente el esquema de la llamada eligiendo la herramienta por el motivo equivocado.

Los benchmarks existentes reducen todos estos casos a una sola puntuación de "correcto/incorrecto". Como resultado, el ingeniero ve que el agente se equivocó, pero no entiende en qué etapa exactamente: en la elección de la herramienta, en la estructura de la llamada o en la sustitución de argumentos. Para los agentes que llaman funciones externas en producción, esta ceguera es crítica: sin una desagregación por etapas no hay nada que corregir de forma precisa.

Cómo funciona SAAG

SAAG descompone la verificación en tres etapas secuenciales, cada una de las cuales produce su propio diagnóstico interpretable. Según el resumen publicado en arXiv, las etapas se suceden en cascada, de lo general a lo particular.

• Etapa 1 — registry conformance: si la herramienta invocada corresponde al registro de agentes disponibles
• Etapa 2 — structural completeness: si la estructura de la llamada es correcta, si están todos los campos obligatorios
• Etapa 3 — argument grounding: si los valores de los argumentos están fundamentados en los datos de origen y no son inventados
• El benchmark está construido sobre el dataset de function-calling de la empresa Glaive
• Registros de tres tamaños: 5, 10 y 15 agentes

La característica principal es el self-repair iterativo. Ante un error, la señal de una etapa concreta indica al modelo qué corregir exactamente, pero sin revelar la respuesta correcta (ground-truth), para evitar fugas y ajustes artificiales a la respuesta.

Qué mostraron las pruebas

La retroalimentación estructurada por etapas mejora de forma consistente la precisión de los argumentos y reduce la alucinación de sus valores, en comparación con un único pase sin retroalimentación y con una retroalimentación binaria poco informativa de "correcto/incorrecto". Se probó en tres modelos locales de menos de 4 mil millones de parámetros.

Al mismo tiempo, los autores describen la ganancia final de calidad end-to-end (métrica F1) como modesta y dependiente del modelo concreto. Es decir, el diagnóstico por etapas ayuda notablemente a nivel de argumentos, pero no produce un salto drástico en la precisión general para todos los modelos y todos los tamaños de registro a la vez.

"La evaluación diagnóstica por etapas es una lente necesaria para

comprender y mejorar la fiabilidad de las llamadas a funciones de los agentes", se afirma en el resumen del trabajo en arXiv.

Qué significa esto

Para los equipos que construyen agentes de IA sobre modelos locales pequeños, SAAG ofrece no solo un veredicto de "aprobado/reprobado", sino un mapa de dónde exactamente se rompe la llamada a la herramienta. Esto hace que la depuración de agentes sea más precisa, especialmente donde importa reducir la alucinación de argumentos sin reentrenar el modelo y sin filtrar las respuestas de referencia.

Preguntas frecuentes

¿Qué es SAAG?

SAAG (Structured Agent Assessment and Grounding) es un método de diagnóstico para evaluar las llamadas a funciones de los agentes de IA, descompuesto en tres etapas: conformidad con el registro, completitud estructural y fundamentación de argumentos. Produce una señal independiente para cada etapa en lugar de una puntuación general única.

¿En qué se diferencia SAAG de los benchmarks habituales?

Los benchmarks habituales dan una puntuación binaria de "correcto/incorrecto" y no muestran en qué etapa se equivocó el agente. SAAG separa los errores por etapas y, además, permite que el modelo los corrija de forma iterativa sin espiar la respuesta correcta.

¿Con qué modelos se probó SAAG?

El método se probó en tres modelos locales de menos de 4 mil millones de parámetros, sobre un benchmark del dataset de Glaive con registros de 5, 10 y 15 agentes disponibles.