Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarVercel Blog→ original

Vercel: el agente pidió el café correcto en el 60% de los intentos, pero cinco veces seguidas solo en el 8%

Un agente puede pedir «con éxito» un latte caliente en lugar de uno frío: los logs están limpios, pero el cliente se queda sin su bebida. Vercel propone ejecutar una misma tarea varias veces y calcular la proporción de resultados correctos. En la demostración, Claude Code con Opus 5.5 acertó en 3 de 5 intentos (60%): al menos un pedido correcto en cinco intentos ronda el 99%, mientras que cinco aciertos seguidos rondan el 8%. Para el pedido diario de café, importa más el segundo número.

Procesado por IA desde Vercel Blog; editado por Hamidun News
Vercel: el agente pidió el café correcto en el 60% de los intentos, pero cinco veces seguidas solo en el 8%
Fuente: Vercel Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalVercel Blog ↗
Editor jefe
Pass@5 ≈ 99%al menos uno de cinco intentos es correcto
Pass^5 ≈ 8%los cinco intentos seguidos son correctos (0,6 elevado a la quinta)
Dato clave #3Con pedidos diarios, el café incorrecto aparece en el 92% de las semanas

Imagine que ha lanzado una API para pedir café y que sus clientes no son personas, sino agentes de IA. Uno de ellos tramita un pedido «exitoso» de un latte caliente, aunque el usuario pidió uno frío. La solicitud se completó, los logs están en verde, el monitoreo no emite alertas y la persona se queda sin la bebida que quería.

Vercel propone detectar este tipo de fallos con evals: se le da al agente la misma tarea muchas veces y se cuenta con qué frecuencia el resultado es correcto. En una ejecución de demostración, Claude Code con el modelo Opus 5.5 completó el pedido en 3 de 5 intentos, es decir, en el 60%.

La probabilidad de obtener al menos un pedido correcto en cinco intentos es de alrededor del 99%, mientras que la de obtener cinco pedidos correctos seguidos es de apenas el 8%. A continuación, explicamos de dónde salen estas cifras y por qué la segunda es más importante para el producto.

En qué se diferencia un eval de una prueba normal

Una prueba normal responde a la pregunta «¿funcionó o no?». Un eval responde a «¿con qué frecuencia y qué tan bien?». Esto es necesario porque las respuestas de un LLM cambian de una ejecución a otra: una sola prueba manual exitosa no demuestra nada. Para saber si una corrección ayudó, hay que repetir las tareas antes y después del cambio y comparar los resultados.

Vercel clasifica las pruebas de software agéntico según el número de llamadas al modelo. Las pruebas deterministas no usan LLM: por ejemplo, comprueban que la búsqueda de cafeterías devuelve solo las adecuadas y que el cobro coincide exactamente con el importe calculado. El eval de un solo turno usa una llamada y verifica una decisión, por ejemplo, qué comando ejecutará primero el agente.

El eval E2E usa varias llamadas: el agente completa la tarea de principio a fin y se verifica el resultado final. Cuantas más llamadas, más caro y lento es el test, así que la mayoría de las comprobaciones deben hacerse en los niveles inferiores, más baratos. Sin embargo, el éxito depende de toda la cadena (encontrar la cafetería, filtrarla según las condiciones y realizar el pedido), y cada paso por separado puede parecer razonable.

Por eso, para medir el éxito se necesita un eval E2E. Lo mismo ocurre con benchmarks populares como SWE-bench y Terminal-Bench.

El ejemplo del café: objetivo y métricas

En la demo de Vercel se usa un servicio ficticio llamado SF Beans, con el equipo sfbeans. La solicitud del cliente: un latte frío grande con leche entera, para las 9:00, por menos de $8 con impuestos y propina, para un usuario en la zona de Mission. De las cuatro cafeterías, tres no sirven: en Fog City Roasters la máquina de hielo está rota, en 24th St Beans el latte con impuestos y propina cuesta $9,27, y en Dolores Drip la entrega más temprana es a las 9:20. Solo sirve Valencia Grind: $7,42 y listo a las 8:50.

Vercel recomienda un objetivo acotado: un único resultado que importe a los usuarios. Se puede identificar en el monitoreo, en las consultas de los clientes o en la hoja de ruta. En sfbeans, la mayoría de los agentes son Claude Code y Codex, y la queja más frecuente es «el agente pidió una bebida equivocada». El criterio de aceptación es estricto: el pedido debe ser correcto en cada intento, no «en la mayoría».

Hay tres métricas. Success rate es la proporción de intentos exitosos. Pass@k es la probabilidad de que al menos uno de k intentos tenga éxito; responde a si el agente es capaz de hacerlo. Pass^k es la probabilidad de que los k intentos tengan éxito; responde a si se puede confiar en el agente cada vez. El tiempo, los pasos y el costo se calculan solo sobre los intentos exitosos, porque los fallidos son más cortos: el agente omite trabajo, por ejemplo, no consulta el precio final.

En cinco intentos, el agente pidió tres veces en Valencia Grind. Una vez omitió el cálculo y pidió en 24th St Beans por $9,27, y otra eligió Dolores Drip con entrega a las 9:20. El cálculo es el siguiente: pass@5 = 1 − 0,4⁵ ≈ 99%, pass^5 = 0,6⁵ ≈ 8%. Con pedidos diarios, la persona recibirá al menos un café incorrecto en el 92% de las semanas. Un intento exitoso tarda en promedio unos 9 pasos y 3 minutos y 50 segundos, y cuesta $0,56, pero teniendo en cuenta los fallos pagados, cada éxito cuesta $0,78.

Qué métrica poner en primer lugar lo determina el costo del error. Un café de la mañana no se puede repetir, así que sfbeans se fija en pass^5. Un agente de código con un conjunto de pruebas puede corregirse con la retroalimentación, así que le sirve pass@k. Un correo que la persona revisará antes de enviarlo se evalúa con el success rate habitual.

Cómo armar el conjunto de tareas y qué no esperar

Una buena tarea incluye una instrucción, un entorno con el mismo punto de partida para cada intento, un verificador (una comprobación del estado final, preferiblemente restricción por restricción) y, opcionalmente, una solución de referencia. El conjunto debe contener un caso típico, casos límite y al menos una consulta en la que lo correcto sea no hacer nada. En el ejemplo hay cuatro tareas: un pedido normal; «la cafetería favorita no prepara la bebida necesaria»; un pedido de grupo de 6 bebidas y $45 con un único punto de entrega; y una solicitud imposible, en la que hay que informar al usuario de que nada encaja.

Para esta última, el verificador lee un registro de comandos que el agente no puede modificar, para comprobar que buscó antes de rendirse. Todo se ejecuta con Harbor, un framework abierto de los autores de Terminal-Bench: lanza a los agentes en contenedores, verifica los resultados y registra sus acciones.

Algunas advertencias. No se pueden cubrir todas las acciones posibles de un LLM en su producto, así que conviene empezar con un solo problema y un puñado de tareas. Los promedios generales ocultan la tarea que falla constantemente, por lo que hay que revisar los resultados de cada una. Y con cinco intentos, un 100% solo significa «todavía no hemos visto errores», no «nunca se equivoca». Las cifras del ejemplo del café son ilustrativas.

Conclusión práctica: tome la queja más frecuente sobre sus agentes, conviértala en varias tareas con verificación automática y ejecútelas varias veces. Elija la métrica según el costo del error, y en escenarios que se repiten, guíese por la fiabilidad de «cada vez».

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre En qué se diferencia un eval de una prueba normal?

Una prueba normal responde a la pregunta «¿funcionó o no?». Un eval responde a «¿con qué frecuencia y qué tan bien?». Esto es necesario porque las respuestas de un LLM cambian de una ejecución a otra: una sola prueba manual exitosa no demuestra nada. Para saber si una corrección ayudó, hay que repetir las tareas antes y después del cambio y comparar los resultados. Vercel clasifica las pruebas de software agéntico según el número de llamadas al modelo.

¿Qué se sabe sobre El ejemplo del café: objetivo y métricas?

En la demo de Vercel se usa un servicio ficticio llamado SF Beans, con el equipo sfbeans. La solicitud del cliente: un latte frío grande con leche entera, para las 9:00, por menos de $8 con impuestos y propina, para un usuario en la zona de Mission. De las cuatro cafeterías, tres no sirven: en Fog City Roasters la máquina de hielo está rota, en 24th St Beans el latte con impuestos y propina cuesta $9,27, y en Dolores Drip la entrega más temprana es a las 9:20. Solo sirve Valencia Grind: $7,42 y listo a las 8:50.

Cómo armar el conjunto de tareas y qué no esperar?

Una buena tarea incluye una instrucción, un entorno con el mismo punto de partida para cada intento, un verificador (una comprobación del estado final, preferiblemente restricción por restricción) y, opcionalmente, una solución de referencia. El conjunto debe contener un caso típico, casos límite y al menos una consulta en la que lo correcto sea no hacer nada.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
¿Qué te parece?
Cargando comentarios…