SAAG: un método de diagnóstico en tres etapas para los errores de llamada a funciones de los agentes de IA

En julio de 2026 apareció en arXiv el trabajo SAAG (Structured Agent Assessment and Grounding), un método de evaluación en cascada que divide la comprobación de la llamada a funciones de los agentes de IA en tres etapas consecutivas. Para cada una de ellas emite un diagnóstico de error independiente, en lugar de una única nota binaria.

Qué falla en la evaluación binaria

La evaluación de la llamada a funciones por coincidencia exacta (exact-match) oculta tipos de fallo cualitativamente distintos, sostienen los autores de SAAG. Un modelo puede elegir la función correcta pero alucinar los valores de los argumentos, o cumplir formalmente el esquema de la llamada habiendo elegido la herramienta por una razón equivocada.

Los benchmarks existentes reducen todos estos casos a una sola nota de «correcto/incorrecto». Como resultado, el ingeniero ve que el agente se ha equivocado, pero no sabe en qué fase: en la elección de la herramienta, en la estructura de la llamada o en la sustitución de los argumentos. Para los agentes que invocan funciones externas en producción, esa ceguera es crítica: sin un desglose por etapas no hay nada que corregir de forma dirigida.

Cómo funciona SAAG

SAAG divide la comprobación en tres etapas consecutivas, y cada una aporta su propio diagnóstico interpretable. Según el resumen publicado en arXiv, las etapas se suceden en cascada, de lo general a lo particular.

• Etapa 1 — registry conformance: si la herramienta invocada se corresponde con el registro de agentes disponibles
• Etapa 2 — structural completeness: si la estructura de la llamada es correcta y están todos los campos obligatorios
• Etapa 3 — argument grounding: si los valores de los argumentos se apoyan en los datos de partida y no son inventados
• El benchmark se construye sobre el dataset de function-calling de la compañía Glaive
• Registros de tres tamaños: 5, 10 y 15 agentes

La característica principal es el self-repair iterativo. Cuando hay un error, la señal de la etapa concreta indica al modelo qué debe corregir, pero sin revelar la respuesta correcta (ground-truth), para evitar filtraciones y que el modelo se ajuste a la respuesta.

Qué mostraron las pruebas

El feedback estructurado por etapas mejora de forma consistente la precisión de los argumentos y reduce la alucinación de sus valores, en comparación con un solo intento sin retroalimentación y con un feedback binario de «correcto/incorrecto» poco informativo. Las pruebas se realizaron con tres modelos locales de menos de 4.000 millones de parámetros.

Al mismo tiempo, los autores describen como modesta, y dependiente de cada modelo, la mejora final de calidad de extremo a extremo (métrica F1). Es decir, el diagnóstico por etapas ayuda de forma notable a nivel de argumentos, pero no produce un salto espectacular en la precisión global para todos los modelos y todos los tamaños de registro a la vez.

«La evaluación diagnóstica por etapas es una lente necesaria para

comprender y mejorar la fiabilidad de la llamada de los agentes», se afirma en el resumen del trabajo en arXiv.

Qué significa

Para los equipos que construyen agentes de IA sobre modelos locales pequeños, SAAG ofrece algo más que un veredicto de «aprobado/suspendido»: un mapa de dónde falla exactamente la llamada a la herramienta. Esto hace la depuración de agentes más precisa, sobre todo allí donde importa reducir la alucinación de argumentos sin reentrenar el modelo y sin filtrar las respuestas de referencia.

Preguntas frecuentes

¿Qué es SAAG?

SAAG (Structured Agent Assessment and Grounding) es un método de diagnóstico para evaluar la llamada a funciones de los agentes de IA, dividido en tres etapas: conformidad con el registro, completitud estructural y fundamentación de los argumentos. Emite una señal independiente por cada etapa en lugar de una única nota general.

¿En qué se diferencia SAAG de los benchmarks habituales?

Los benchmarks habituales ofrecen una evaluación binaria de «correcto/incorrecto» y no muestran en qué fase se equivocó el agente. SAAG separa los errores por etapas y, además, permite al modelo corregirlos de forma iterativa sin ver la respuesta correcta.

¿En qué modelos se probó SAAG?

El método se probó con tres modelos locales de menos de 4.000 millones de parámetros, en un benchmark basado en el dataset de Glaive con registros de 5, 10 y 15 agentes disponibles.