AWS publica UAEF: una prueba gratuita para agentes de IA con 36 métricas

Es una historia conocida: retocas una línea del prompt de sistema, el agente responde mejor a tu pregunta de prueba favorita y lanzas el cambio. Una semana después resulta que confunde los argumentos al llamar a una API interna y responde con demasiada seguridad a parte de las solicitudes. Nadie lo notó, porque al agente se le revisaba a ojo. AWS ha lanzado UAEF, una herramienta gratuita y de código abierto pensada justo para este escenario.

Qué problema resuelve UAEF

El código normal se verifica con tests: cambias una función, ejecutas la batería y ves rojo. Con los agentes no funciona así. El resultado depende del modelo, del prompt, del conjunto de herramientas e incluso del orden de los pasos que el agente haya elegido esta vez. Si cambias a un modelo más nuevo o más barato, la calidad mejora en algunos puntos y cae de forma imperceptible en otros.

Según el anuncio, UAEF evalúa al agente en 36 dimensiones. Abarcan un rango amplio: desde cómo usa las herramientas hasta la seguridad. La función clave es que la herramienta compara estados y muestra si las cosas han empeorado tras la última edición del prompt o el cambio de modelo. Es precisamente la regresión que suelen encontrar los usuarios.

Qué se sabe hasta ahora

La fuente original ofrece pocos detalles, así que nos basamos solo en lo confirmado:

• la herramienta es gratuita y abierta, y la ha publicado Amazon Web Services;
• hay 36 comprobaciones, que cubren tanto la calidad del trabajo como la seguridad;
• funciona con varios frameworks de agentes, es decir, no obliga a reescribir el agente para un stack concreto;
• avisa cuando un cambio de prompt o de modelo ha empeorado al agente.

El último punto es más importante que los demás. A muchos equipos no les falta un informe bonito, sino una respuesta simple a la pregunta: ¿se puede lanzar esta versión? Si la herramienta da esa respuesta automáticamente, es realista integrarla en el proceso.

Cómo aplicarlo en la práctica

Imagina un agente de soporte que busca un pedido, comprueba el estado del envío y, si hace falta, tramita una devolución. Ahora funciona con un modelo. Quieres pasar a otro que es un tercio más barato. Sin un conjunto de regresión, comparas una decena de conversaciones a mano y esperas lo mejor.

Con una herramienta como UAEF la lógica es distinta:

1. Fija la versión actual del agente como línea base.
2. Ejecuta la misma evaluación con el nuevo modelo o el nuevo prompt.
3. Mira en qué métricas hay caída, por ejemplo en la corrección de las llamadas a herramientas o en la seguridad.
4. Decide si el ahorro justifica la caída detectada.

Si ya tienes CI, es lógico poner esta comprobación antes del lanzamiento de cualquier cambio de prompt, no solo antes de cambiar de modelo. Los prompts rompen el comportamiento con la misma frecuencia.

Al equipo de producto le da un lenguaje para hablar de calidad: en lugar de «parece que mejoró», se puede decir «mejor en estas dimensiones, peor en estas otras». Al fundador, una forma de no depender de un único proveedor de modelos, porque cambiar de proveedor deja de ser un salto al vacío.

Lo que todavía falta

Hay salvedades. La descripción disponible no revela cómo se calculan exactamente las métricas, qué frameworks se admiten de serie, si hacen falta escenarios de referencia propios ni cuánto cuesta una ejecución contando las llamadas a los modelos evaluadores. Habrá que comprobarlo en el repositorio y la documentación.

Otra advertencia: 36 métricas generales no sustituyen a los tests de tu proceso de negocio. Detectan bien los fallos comunes, pero no saben que en tu empresa una devolución por encima de cierto importe debe pasar por aprobación manual. Esos escenarios tendrás que escribirlos tú.

Aun así, la dirección es correcta. La evaluación de agentes sigue siendo el punto débil de la mayoría de los equipos, y la aparición de una herramienta gratuita de un gran proveedor de nube que funciona sobre distintos frameworks reduce la barrera de entrada. El paso práctico es sencillo: toma tu agente más importante, ejecútalo en UAEF y guarda el resultado como punto de referencia antes del siguiente cambio de prompt.