Vercel: el agente pidió el café correcto en el 60% de los intentos, pero cinco veces seguidas solo en el 8%
Un agente puede pedir «con éxito» un latte caliente en lugar de uno frío: los logs están limpios, pero el cliente se queda sin su bebida. Vercel propone ejecutar una misma tarea varias veces y calcular la proporción de resultados correctos. En la demostración, Claude Code con Opus 5.5 acertó en 3 de 5 intentos (60%): al menos un pedido correcto en cinco intentos ronda el 99%, mientras que cinco aciertos seguidos rondan el 8%. Para el pedido diario de café, importa más el segundo número.
Procesado por IA desde Vercel Blog; editado por Hamidun News
Imagine que ha lanzado una API para pedir café y que sus clientes no son personas, sino agentes de IA. Uno de ellos tramita un pedido «exitoso» de un latte caliente, aunque el usuario pidió uno frío. La solicitud se completó, los logs están en verde, el monitoreo no emite alertas y la persona se queda sin la bebida que quería.
Vercel propone detectar este tipo de fallos con evals: se le da al agente la misma tarea muchas veces y se cuenta con qué frecuencia el resultado es correcto. En una ejecución de demostración, Claude Code con el modelo Opus 5.5 completó el pedido en 3 de 5 intentos, es decir, en el 60%.
La probabilidad de obtener al menos un pedido correcto en cinco intentos es de alrededor del 99%, mientras que la de obtener cinco pedidos correctos seguidos es de apenas el 8%. A continuación, explicamos de dónde salen estas cifras y por qué la segunda es más importante para el producto.
En qué se diferencia un eval de una prueba normal
Una prueba normal responde a la pregunta «¿funcionó o no?». Un eval responde a «¿con qué frecuencia y qué tan bien?». Esto es necesario porque las respuestas de un LLM cambian de una ejecución a otra: una sola prueba manual exitosa no demuestra nada. Para saber si una corrección ayudó, hay que repetir las tareas antes y después del cambio y comparar los resultados.
Vercel clasifica las pruebas de software agéntico según el número de llamadas al modelo. Las pruebas deterministas no usan LLM: por ejemplo, comprueban que la búsqueda de cafeterías devuelve solo las adecuadas y que el cobro coincide exactamente con el importe calculado. El eval de un solo turno usa una llamada y verifica una decisión, por ejemplo, qué comando ejecutará primero el agente.
El eval E2E usa varias llamadas: el agente completa la tarea de principio a fin y se verifica el resultado final. Cuantas más llamadas, más caro y lento es el test, así que la mayoría de las comprobaciones deben hacerse en los niveles inferiores, más baratos. Sin embargo, el éxito depende de toda la cadena (encontrar la cafetería, filtrarla según las condiciones y realizar el pedido), y cada paso por separado puede parecer razonable.
Por eso, para medir el éxito se necesita un eval E2E. Lo mismo ocurre con benchmarks populares como SWE-bench y Terminal-Bench.
El ejemplo del café: objetivo y métricas
En la demo de Vercel se usa un servicio ficticio llamado SF Beans, con el equipo sfbeans. La solicitud del cliente: un latte frío grande con leche entera, para las 9:00, por menos de $8 con impuestos y propina, para un usuario en la zona de Mission. De las cuatro cafeterías, tres no sirven: en Fog City Roasters la máquina de hielo está rota, en 24th St Beans el latte con impuestos y propina cuesta $9,27, y en Dolores Drip la entrega más temprana es a las 9:20. Solo sirve Valencia Grind: $7,42 y listo a las 8:50.
Vercel recomienda un objetivo acotado: un único resultado que importe a los usuarios. Se puede identificar en el monitoreo, en las consultas de los clientes o en la hoja de ruta. En sfbeans, la mayoría de los agentes son Claude Code y Codex, y la queja más frecuente es «el agente pidió una bebida equivocada». El criterio de aceptación es estricto: el pedido debe ser correcto en cada intento, no «en la mayoría».
Hay tres métricas. Success rate es la proporción de intentos exitosos. Pass@k es la probabilidad de que al menos uno de k intentos tenga éxito; responde a si el agente es capaz de hacerlo. Pass^k es la probabilidad de que los k intentos tengan éxito; responde a si se puede confiar en el agente cada vez. El tiempo, los pasos y el costo se calculan solo sobre los intentos exitosos, porque los fallidos son más cortos: el agente omite trabajo, por ejemplo, no consulta el precio final.
En cinco intentos, el agente pidió tres veces en Valencia Grind. Una vez omitió el cálculo y pidió en 24th St Beans por $9,27, y otra eligió Dolores Drip con entrega a las 9:20. El cálculo es el siguiente: pass@5 = 1 − 0,4⁵ ≈ 99%, pass^5 = 0,6⁵ ≈ 8%. Con pedidos diarios, la persona recibirá al menos un café incorrecto en el 92% de las semanas. Un intento exitoso tarda en promedio unos 9 pasos y 3 minutos y 50 segundos, y cuesta $0,56, pero teniendo en cuenta los fallos pagados, cada éxito cuesta $0,78.
Qué métrica poner en primer lugar lo determina el costo del error. Un café de la mañana no se puede repetir, así que sfbeans se fija en pass^5. Un agente de código con un conjunto de pruebas puede corregirse con la retroalimentación, así que le sirve pass@k. Un correo que la persona revisará antes de enviarlo se evalúa con el success rate habitual.
Cómo armar el conjunto de tareas y qué no esperar
Una buena tarea incluye una instrucción, un entorno con el mismo punto de partida para cada intento, un verificador (una comprobación del estado final, preferiblemente restricción por restricción) y, opcionalmente, una solución de referencia. El conjunto debe contener un caso típico, casos límite y al menos una consulta en la que lo correcto sea no hacer nada. En el ejemplo hay cuatro tareas: un pedido normal; «la cafetería favorita no prepara la bebida necesaria»; un pedido de grupo de 6 bebidas y $45 con un único punto de entrega; y una solicitud imposible, en la que hay que informar al usuario de que nada encaja.
Para esta última, el verificador lee un registro de comandos que el agente no puede modificar, para comprobar que buscó antes de rendirse. Todo se ejecuta con Harbor, un framework abierto de los autores de Terminal-Bench: lanza a los agentes en contenedores, verifica los resultados y registra sus acciones.
Algunas advertencias. No se pueden cubrir todas las acciones posibles de un LLM en su producto, así que conviene empezar con un solo problema y un puñado de tareas. Los promedios generales ocultan la tarea que falla constantemente, por lo que hay que revisar los resultados de cada una. Y con cinco intentos, un 100% solo significa «todavía no hemos visto errores», no «nunca se equivoca». Las cifras del ejemplo del café son ilustrativas.
Conclusión práctica: tome la queja más frecuente sobre sus agentes, conviértala en varias tareas con verificación automática y ejecútelas varias veces. Elija la métrica según el costo del error, y en escenarios que se repiten, guíese por la fiabilidad de «cada vez».
- 21 nov 2026Servidor MCP de 360 líneas sin SDK: cinco decisiones que hicieron que el agente dejara de romper enlaces
- 21 nov 2026Text-to-cad: un agente de IA dibuja piezas de un robot a partir de una descripción y el proyecto suma 26 000 estrellas
- 21 nov 2026El vídeo de Claude jugando a GTA 6 parece un montaje: media hora de control agotó el límite de 5 horas de Pro
- 21 nov 2026Claude Code aceleró la descompilación de Snowboard Kids 2: del 20% al 45% de las funciones en tres meses
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre En qué se diferencia un eval de una prueba normal?
Una prueba normal responde a la pregunta «¿funcionó o no?». Un eval responde a «¿con qué frecuencia y qué tan bien?». Esto es necesario porque las respuestas de un LLM cambian de una ejecución a otra: una sola prueba manual exitosa no demuestra nada. Para saber si una corrección ayudó, hay que repetir las tareas antes y después del cambio y comparar los resultados. Vercel clasifica las pruebas de software agéntico según el número de llamadas al modelo.
¿Qué se sabe sobre El ejemplo del café: objetivo y métricas?
En la demo de Vercel se usa un servicio ficticio llamado SF Beans, con el equipo sfbeans. La solicitud del cliente: un latte frío grande con leche entera, para las 9:00, por menos de $8 con impuestos y propina, para un usuario en la zona de Mission. De las cuatro cafeterías, tres no sirven: en Fog City Roasters la máquina de hielo está rota, en 24th St Beans el latte con impuestos y propina cuesta $9,27, y en Dolores Drip la entrega más temprana es a las 9:20. Solo sirve Valencia Grind: $7,42 y listo a las 8:50.
Cómo armar el conjunto de tareas y qué no esperar?
Una buena tarea incluye una instrucción, un entorno con el mismo punto de partida para cada intento, un verificador (una comprobación del estado final, preferiblemente restricción por restricción) y, opcionalmente, una solución de referencia. El conjunto debe contener un caso típico, casos límite y al menos una consulta en la que lo correcto sea no hacer nada.
Build & Ship Production AI Agents Without Boilerplate Code
Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.