Inicia 23 novCohorte 3 en vivo de Vibe Coding y Agentes IA: 3 semanas, 9 clases en directoCohorte 3 (23.11) →
LanzamientoPaper científico · Para I+DAWS Machine Learning Blog→ original

Airbnb cambia de modelo para sus agentes de código y el gasto de los usuarios intensivos cae 7 veces

Airbnb elige los modelos para sus agentes de código por el coste de la tarea completa, no por benchmarks. El modelo A ganó más de 3 puntos en las pruebas, pero en producción cada solicitud se encareció el triple y el número de solicitudes también se triplicó. A los usuarios intensivos se les pasó a un modelo con un coste por tarea 6 veces menor, y su gasto cayó 7 veces. La conclusión: contrasta los resultados de las pruebas con la factura real después del despliegue.

Procesado por IA desde AWS Machine Learning Blog; editado por Hamidun News
Airbnb cambia de modelo para sus agentes de código y el gasto de los usuarios intensivos cae 7 veces
Fuente: AWS Machine Learning Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalAWS Machine Learning Blog ↗
Editor jefe
Coste por tareatodos los tokens que el agente consume en una tarea, según la tarifa pública
Effort de low a high+0,8 puntos, pero un coste por tarea 2,5 veces mayor
Dato clave #3Bajar max_tokens de 4096 a 1024 redujo la reserva de cuota un 65%

Imagina que sustituyes en tu equipo el modelo del agente de código por el que mejor luce en las pruebas y, unas semanas después, contabilidad te envía una factura varias veces superior a la esperada. Eso es exactamente lo que le pasó a Airbnb. El modelo A obtuvo en las tareas internas más de tres puntos de ventaja sobre el anterior líder, con un precio aproximadamente igual, pero en producción cada solicitud se encareció el triple y los ingenieros empezaron a enviar el triple de solicitudes.

Cuando se pasó a los usuarios intensivos a otro modelo, su gasto en el modelo principal cayó aproximadamente 7 veces. La compañía explicó en el blog de AWS cómo evitar esta trampa en Amazon Bedrock: no hay que mirar el precio por millón de tokens, sino el coste de la tarea completa (cost per task), es decir, el coste de todos los tokens que el agente gastó para llevar una tarea hasta el resultado.

Por qué los benchmarks no responden a la pregunta principal

Miles de empleados usan cada semana AirChat, la herramienta interna para lanzar agentes de código. Todas las solicitudes pasan por una pasarela de LLM sobre Bedrock. En cinco semanas salieron ocho modelos nuevos y a mediados de octubre unas dos terceras partes de las solicitudes ya se dirigían a ellos. Cada modelo cambia a la vez el número de tokens de salida, el precio, las latencias y la carga sobre las cuotas, y los gráficos del anuncio no muestran cómo se desenvolverá con el trabajo de tus propios ingenieros.

Por eso Airbnb tiene dos sistemas. Antes del despliegue, mide con tareas propias la puntuación y el coste por tarea de cada modelo y de cada nivel de reasoning effort, el ajuste que define cuánto «piensa» el modelo antes de responder. Después del despliegue, comprueba qué ha cambiado en producción.

Un agente hace muchas solicitudes por tarea y en cada una el modelo vuelve a leer todo el contexto acumulado. Por eso se cuentan cuatro tipos de tokens: entrada normal, lectura de caché, escritura en caché y salida. El promedio incluye también los intentos fallidos. En uno de los modelos, pasar de effort low a high aportó +0,8 puntos con un coste por tarea 2,5 veces mayor. Con datos así se fijan los límites de effort, que la pasarela aplica de forma efectiva.

La evaluación es rápida: el mismo día del lanzamiento, una sola solicitud pone en marcha una campaña sobre siete conjuntos de tareas y por la mañana el modelo ya tiene puntuación y coste. Cada tarea es una carpeta con instrucciones, un Dockerfile, un script de verificación y una solución de referencia. Para empezar, los autores recomiendan el framework abierto Harbor. Lo más difícil es redactar la rúbrica: las tareas largas se desarrollan en varias rondas con un revisor simulado, y un modelo juez evalúa el trabajo con ocho criterios. Si el revisor tuvo que sacar al agente del atolladero varias veces, la nota final se limita a 25 puntos sobre 100.

Cuando una buena puntuación se convirtió en factura

Se desplegó el modelo A, se limitó el effort al nivel high y se pidió a los usuarios que usaran low o medium. Unas semanas después, el gasto por usuario resultó ser varias veces mayor. Los tokens de salida representaban solo una décima parte del coste de una solicitud; el grueso del dinero se iba en el contexto en caché, que se releía una y otra vez. El modelo sabía trabajar de forma autónoma durante mucho tiempo, y la gente lanzaba sesiones autónomas largas.

Más tarde salió un modelo que obtuvo más puntos en las mismas tareas con un coste por tarea aproximadamente 6 veces menor. A los usuarios del modelo A se les pasó a él con un simple cambio de configuración. En la primera semana completa, el número de solicitudes se mantuvo igual y el gasto del grupo en el modelo principal cayó aproximadamente 7 veces.

Monitorización, cuotas y atribución de costes

Si aumenta la latencia, Airbnb mira tres métricas: TimeToFirstToken, OutputTokenCount y la velocidad de generación derivada (OTPS = OutputTokenCount / (InvocationLatency − TimeToFirstToken) × 1000). En el ejemplo, la latencia subió un 40% y la velocidad se mantuvo: alguien había retocado el prompt de sistema y las respuestas eran un 50% más largas. Los autores recomiendan marcar en el dashboard los cambios de prompt y de modelo como despliegues.

Con las cuotas la confusión es otra. Bedrock reserva para cada solicitud los tokens de entrada sin caché, las escrituras en caché y max_tokens. Las lecturas de caché no cuentan para la cuota, de modo que una solicitud puede ser barata para la cuota y cara para la factura.

En el ejemplo, con una cuota de 1 millón de tokens por minuto y 300 solicitudes por minuto, el dashboard mostraba cerca del 30%, pero con el coeficiente 5:1 para los tokens de salida el uso real era de aproximadamente el 77%. La reserva por solicitud era de 4696 tokens, aunque las respuestas cabían en unos 800 tokens en p99. Bajar max_tokens a 1024 redujo la reserva a 1624 tokens, es decir, aproximadamente un 65%, y la cuota empezó a admitir más solicitudes.

Las respuestas truncadas se vigilan mediante stopReason.

Para cada modelo importante, Airbnb mantiene un equivalente según los resultados de la evaluación, al que se puede reequilibrar el tráfico mediante configuración. Para los modelos con estado Legacy se configura una alarma sobre LegacyModelInvocations. Los costes por equipo se calculan mediante etiquetas de los roles de IAM y application inference profiles, mientras que los metadatos de la solicitud van solo a los logs, no a la factura.

Qué conviene llevarse

  • Cuenta el coste de la tarea completa, no el precio por millón de tokens.
  • Tras el despliegue, contrasta el resultado de la evaluación con la proporción de caché y el número de solicitudes por persona.
  • Limita max_tokens y effort, y ten un modelo de reserva.

Limitación: los precios se toman de la tarifa pública, no de los descuentos reales, y hace falta un conjunto propio de tareas con un evaluador fiable.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Por qué los benchmarks no responden a la pregunta principal?

Miles de empleados usan cada semana AirChat, la herramienta interna para lanzar agentes de código. Todas las solicitudes pasan por una pasarela de LLM sobre Bedrock. En cinco semanas salieron ocho modelos nuevos y a mediados de octubre unas dos terceras partes de las solicitudes ya se dirigían a ellos. Cada modelo cambia a la vez el número de tokens de salida, el precio, las latencias y la carga sobre las cuotas, y los gráficos del anuncio no muestran cómo se desenvolverá con el trabajo de tus propios ingenieros.

¿Qué se sabe sobre Cuando una buena puntuación se convirtió en factura?

Se desplegó el modelo A, se limitó el effort al nivel high y se pidió a los usuarios que usaran low o medium. Unas semanas después, el gasto por usuario resultó ser varias veces mayor. Los tokens de salida representaban solo una décima parte del coste de una solicitud; el grueso del dinero se iba en el contexto en caché, que se releía una y otra vez. El modelo sabía trabajar de forma autónoma durante mucho tiempo, y la gente lanzaba sesiones autónomas largas.

¿Qué se sabe sobre Monitorización, cuotas y atribución de costes?

Si aumenta la latencia, Airbnb mira tres métricas: TimeToFirstToken, OutputTokenCount y la velocidad de generación derivada (OTPS = OutputTokenCount / (InvocationLatency − TimeToFirstToken) × 1000). En el ejemplo, la latencia subió un 40% y la velocidad se mantuvo: alguien había retocado el prompt de sistema y las respuestas eran un 50% más largas. Los autores recomiendan marcar en el dashboard los cambios de prompt y de modelo como despliegues. Con las cuotas la confusión es otra.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…