Un agente con un 60% de éxito pide el café correcto al menos una vez de cinco con un 99% de probabilidad, pero cinco veces seguidas solo en un 8%
Cuando un agente de IA pide café a través de tu API, los logs pueden aparecer en verde aunque en lugar de un latte con hielo haya recibido uno caliente. Vercel recomienda ejecutar una misma tarea muchas veces y calcular la proporción de éxitos. En la demo, el agente acertó en 3 de 5 intentos, es decir, en un 60%: la probabilidad de que al menos un pedido de cinco sea correcto es del 99%, pero la de que los cinco lo sean seguidos es de solo el 8%. Si el usuario necesita un resultado correcto cada mañana, hay que fijarse en el segundo número.
Procesado por IA desde Vercel Blog; editado por Hamidun News
Imagina que has creado una API para pedir café y que el cliente no es una persona, sino un agente de IA. El agente hizo el pedido, la solicitud se completó, los logs están en verde, pero el usuario pidió un latte con hielo y le llevaron uno caliente. Precisamente este tipo de errores silenciosos es lo que analiza el equipo de Vercel.
Su ejemplo principal: el agente completa la tarea en 3 de cada 5 intentos, es decir, en un 60%. Si le das cinco intentos, al menos uno saldrá correcto con una probabilidad de alrededor del 99%. Pero que los cinco pedidos seguidos salgan bien solo ocurre en alrededor del 8% de los casos.
Las dos cifras son correctas; simplemente responden a preguntas distintas.
El agente también es usuario de tu producto
Si desarrollas una API, una CLI, un servidor MCP o un SDK, has ganado un nuevo tipo de cliente. El agente no vio tu lanzamiento ni tu publicidad, pero recorre el mismo embudo que una persona: encuentra el producto, lo elige, obtiene acceso e intenta resolver la tarea. En cada etapa llegan al final menos agentes. Vercel se concentra en el último paso, el éxito: si el agente hizo lo que se le pidió.
Comprobar esto es más difícil de lo que parece. Las respuestas de los LLM cambian de una ejecución a otra, así que una prueba manual exitosa no demuestra que la corrección haya funcionado. Hace falta una eval: una prueba que se ejecuta muchas veces y evalúa el resultado antes y después de un cambio.
Vercel clasifica las pruebas para software con agentes según el número de llamadas al modelo. Las pruebas deterministas no invocan ningún LLM. Las one-turn evals usan una sola llamada y verifican una decisión, por ejemplo, qué comando ejecutará primero el agente. Las E2E evals dejan que el agente complete la tarea de principio a fin y comprueban el resultado final. SWE-bench y Terminal-Bench pertenecen precisamente a este último grupo. Cuanto más alto el nivel, más caras y lentas son las pruebas, por lo que la mayor parte debe ser de las baratas. Pero el éxito solo puede verificarse en el nivel superior: cada paso por separado parece razonable, y aun así el pedido sale mal.
Café a las 8:30: tres métricas en lugar de una
En el ejemplo, el servicio SF Beans acepta pedidos de café en San Francisco a través de la CLI sfbeans. La solicitud es esta: un latte grande con hielo y leche entera, listo a las 9:00, por menos de $8 con impuestos y propina. De las cuatro cafeterías, solo Valencia Grind cumple: en Fog City Roasters la máquina de hielo está rota, en 24th St Beans el total sale a $9,27 con impuestos y propina, y en Dolores Drip el pedido no estará listo antes de las 9:20.
La prueba se construye sobre Harbor, un framework abierto de los creadores de Terminal-Bench. Ejecuta los agentes en contenedores, verifica el resultado y registra todas las acciones. La comprobación revisa que haya exactamente un pedido, que la bebida sea la correcta, que la hora encaje y que no se supere el presupuesto.
Las métricas son estas:
- Proporción de éxitos: 3 de 5 intentos dan un 60%.
- Pass@k: probabilidad de que al menos uno de los k intentos tenga éxito. Para cinco intentos, alrededor del 99%. Este indicador responde a si el agente es capaz de hacer la tarea.
- Pass^k: probabilidad de que todos los k intentos tengan éxito. Para cinco, alrededor del 8%. Este indicador responde a si se puede confiar en el agente cada vez.
En una tabla ilustrativa de Vercel para Claude Code con Opus 5.5, un usuario que pide café cada día laborable recibe al menos un pedido incorrecto en el 92% de las semanas. Para el café de la mañana no hay segunda oportunidad, así que SF Beans optimiza precisamente pass^5. Para un agente de programación con tests, es más importante pass@k: él mismo ve los errores y lo intenta de nuevo. Para el borrador de un correo que la persona leerá de todos modos, basta con la proporción de éxitos habitual.
Los pasos, el tiempo y el coste se calculan solo con las ejecuciones exitosas: los fallos son más cortos porque el agente omitió trabajo, por ejemplo, no consultó el precio. En la demo, una ejecución exitosa ocupa unos 9 pasos y 3:50 y cuesta $0,56. Si se tienen en cuenta los fallos pagados, el coste de un éxito sube a $0,78.
Por dónde empezar
No es posible cubrir con pruebas todo lo que un LLM puede hacer con tu producto. Vercel aconseja elegir un resultado importante para los usuarios y buscarlo en la observabilidad, en las consultas de los clientes y en la hoja de ruta. Para SF Beans, lo principal resultó ser el ticket «el agente pidió una bebida equivocada», así que el objetivo es un pedido correcto en cada intento de Claude Code y Codex, de donde proviene la mayor parte del tráfico.
El conjunto de tareas incluye un pedido típico, dos casos límite (la cafetería favorita sin la bebida necesaria y un pedido de grupo de seis bebidas por $45) y una situación en la que lo correcto es no pedir nada e informar de que no hay opciones. En este último caso, la verificación lee el registro de comandos, al que el agente no puede escribir, para confirmar que buscó antes de rendirse.
La limitación es simple: con cinco intentos, un 100% solo significa «no hemos visto fallos todavía». Los promedios generales pueden ocultar una tarea que falla a menudo, así que mira los resultados de cada tarea por separado. El orden práctico es este: elige una tarea problemática, ejecútala varias veces y selecciona la métrica principal según el coste del error para el usuario.
- 22 nov 2026Linger lanza un agente de IA para Mac con 16 GB sin pagar por tokens y promete una aceleración de 5 veces
- 22 nov 2026Claude Code limpió la publicidad de un televisor en hora y media y disparó la moda de hackear gadgets
- 22 nov 2026El agente ignoró AGENTS.md: en un tercio de los push no preguntó y hizo 31 force push
- 22 nov 2026Axiom Math usa IA para escribir en Lean una demostración de 43,1 millones de líneas de código en 24 días
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre El agente también es usuario de tu producto?
Si desarrollas una API, una CLI, un servidor MCP o un SDK, has ganado un nuevo tipo de cliente. El agente no vio tu lanzamiento ni tu publicidad, pero recorre el mismo embudo que una persona: encuentra el producto, lo elige, obtiene acceso e intenta resolver la tarea. En cada etapa llegan al final menos agentes. Vercel se concentra en el último paso, el éxito: si el agente hizo lo que se le pidió. Comprobar esto es más difícil de lo que parece.
¿Qué se sabe sobre Café a las 8:30: tres métricas en lugar de una?
En el ejemplo, el servicio SF Beans acepta pedidos de café en San Francisco a través de la CLI sfbeans. La solicitud es esta: un latte grande con hielo y leche entera, listo a las 9:00, por menos de $8 con impuestos y propina. De las cuatro cafeterías, solo Valencia Grind cumple: en Fog City Roasters la máquina de hielo está rota, en 24th St Beans el total sale a $9,27 con impuestos y propina, y en Dolores Drip el pedido no estará listo antes de las 9:20.
¿Qué se sabe sobre Por dónde empezar?
No es posible cubrir con pruebas todo lo que un LLM puede hacer con tu producto. Vercel aconseja elegir un resultado importante para los usuarios y buscarlo en la observabilidad, en las consultas de los clientes y en la hoja de ruta. Para SF Beans, lo principal resultó ser el ticket «el agente pidió una bebida equivocada», así que el objetivo es un pedido correcto en cada intento de Claude Code y Codex, de donde proviene la mayor parte del tráfico.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.