Airbnb troca o modelo dos agentes de código, e o gasto dos usuários mais intensivos cai 7 vezes
A Airbnb escolhe os modelos dos seus agentes de código pelo custo da tarefa inteira, não por benchmarks. O Modelo A ganhou mais de 3 pontos nos testes, mas em produção cada requisição ficou três vezes mais cara, e o número de requisições também triplicou. Os usuários mais intensivos foram migrados para um modelo com custo por tarefa 6 vezes menor, e o gasto deles caiu 7 vezes. A lição: confira os resultados dos testes com a conta real depois do lançamento.
Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
Imagine a cena: você troca o modelo do agente de código da equipe por aquele que tem o melhor desempenho nos testes e, algumas semanas depois, o financeiro envia uma fatura várias vezes maior que a esperada. Foi exatamente o que aconteceu na Airbnb. Nas tarefas internas, o Modelo A somou mais de três pontos sobre o líder anterior, com um preço aproximadamente igual.
Em produção, porém, cada requisição ficou três vezes mais cara, e os engenheiros passaram a enviar três vezes mais requisições. Quando os usuários mais intensivos foram migrados para outro modelo, o gasto deles com o modelo principal caiu cerca de 7 vezes. A empresa explicou no blog da AWS como evitar essa armadilha no Amazon Bedrock: em vez de olhar o preço por milhão de tokens, calcular o preço da tarefa inteira (cost per task), isto é, o custo de todos os tokens que o agente gastou para levar uma tarefa até o resultado.
Por que os benchmarks não respondem à pergunta principal
Todas as semanas, milhares de funcionários usam o AirChat, ferramenta interna para executar agentes de código. Todas as requisições passam por um gateway de LLM sobre o Bedrock. Em cinco semanas, saíram oito novos modelos, e em meados de outubro cerca de dois terços das requisições já iam para eles. Cada modelo muda ao mesmo tempo o número de tokens de saída, o preço, a latência e a carga sobre as quotas, e os gráficos do anúncio não mostram como ele vai se sair no trabalho dos seus engenheiros.
Por isso, a Airbnb tem dois sistemas. Antes do lançamento, ela mede, em tarefas próprias, a nota e o custo por tarefa de cada modelo e de cada nível de reasoning effort, a configuração que define quanto o modelo “pensa” antes de responder. Depois do lançamento, observa o que mudou em produção.
O agente faz muitas requisições por tarefa, e a cada uma o modelo relê todo o contexto acumulado. Por isso, são contados quatro tipos de tokens: entrada comum, leitura de cache, escrita em cache e saída. A média inclui também as tentativas malsucedidas. Em um dos modelos, passar de effort low para high rendeu +0,8 ponto, mas com custo por tarefa 2,5 vezes maior. Com base nesses dados, definem-se tetos de effort que o gateway de fato impõe.
A avaliação é rápida: no dia do lançamento, uma única requisição dispara uma campanha em sete conjuntos de tarefas, e na manhã seguinte o modelo já tem nota e custo. Cada tarefa é uma pasta com instruções, Dockerfile, script de verificação e solução de referência. Para começar, os autores recomendam o framework aberto Harbor. O mais difícil é escrever a rubrica: as tarefas longas rodam em várias rodadas com um revisor simulado, e um modelo-juiz avalia o trabalho por oito critérios. Se o revisor precisou resgatar o agente mais de uma vez, a nota final fica limitada a 25 pontos de 100.
Quando uma boa nota virou conta alta
O Modelo A entrou em produção com o effort limitado ao nível high, e os usuários foram orientados a usar low ou medium. Algumas semanas depois, o gasto por usuário estava várias vezes maior. Os tokens de saída respondiam por apenas um décimo do custo de cada requisição; a maior parte do dinheiro ia para o contexto em cache, relido repetidas vezes. O modelo sabia trabalhar sozinho por longos períodos, e as pessoas passaram a iniciar sessões autônomas longas.
Mais tarde, saiu um modelo que obteve nota maior nas mesmas tarefas, com custo por tarefa cerca de 6 vezes menor. Os usuários do Modelo A foram migrados para ele por meio de uma mudança de configuração. Na primeira semana completa, o número de requisições permaneceu o mesmo, e o gasto do grupo com o modelo principal caiu cerca de 7 vezes.
Monitoramento, quotas e atribuição de custos
Quando a latência sobe, a Airbnb examina três métricas: TimeToFirstToken, OutputTokenCount e a taxa de geração derivada (OTPS = OutputTokenCount / (InvocationLatency − TimeToFirstToken) × 1000). No exemplo, a latência subiu 40%, mas a taxa de geração ficou igual: alguém havia alterado o prompt de sistema, e as respostas ficaram 50% mais longas. Os autores recomendam marcar no dashboard as mudanças de prompt e de modelo como deploys.
Com as quotas, a confusão é outra. O Bedrock reserva para cada requisição os tokens de entrada sem cache, as escritas em cache e o max_tokens. As leituras de cache não entram na quota, então uma requisição pode ser barata para a quota e cara para a fatura.
No exemplo, com quota de 1 milhão de tokens por minuto e 300 requisições por minuto, o dashboard mostrava cerca de 30%, mas, com o coeficiente de 5:1 para tokens de saída, o uso real chegava a cerca de 77%. A reserva por requisição era de 4696 tokens, embora as respostas coubessem em aproximadamente 800 tokens no p99. Reduzir o max_tokens para 1024 diminuiu a reserva para 1624 tokens, cerca de 65% a menos, e a quota passou a comportar mais requisições.
As respostas cortadas são monitoradas pelo stopReason.
Para cada modelo importante, a Airbnb mantém um equivalente, definido pelos resultados da avaliação, para o qual é possível rebalancear o tráfego por configuração. Para modelos com status Legacy, é configurado um alarme em LegacyModelInvocations. Os custos por equipe são calculados por tags de IAM roles e por application inference profiles, enquanto os metadados da requisição vão apenas para os logs, não para a fatura.
O que levar para a sua equipe
- Calcule o preço da tarefa inteira, não o preço por milhão de tokens.
- Depois do lançamento, confronte o resultado da avaliação com a participação do cache e o número de requisições por pessoa.
- Limite max_tokens e effort, e mantenha um modelo reserva.
Limitação: os preços usados são os da tabela pública, não os descontos reais, e é preciso ter um conjunto próprio de tarefas com um avaliador confiável.
- 18 de nov. de 2026AWS integra o Dynamo ao HyperPod: Qwen3-235B entrega 207 tokens/s por GPU, em vez de 101
- 18 de nov. de 2026Novo modelo Jev responde em 150 ms, contra 1,89 s do GPT-6 Astra
- 18 de nov. de 2026AWS mostra como liberar agentes do Bedrock para APIs privadas por meio de um firewall central
- 18 de nov. de 2026Duco reduz em 90% o contexto de agentes e acelera 10 vezes a migração de conciliações bancárias
Perguntas frequentes sobre a notícia
Por que os benchmarks não respondem à pergunta principal?
Todas as semanas, milhares de funcionários usam o AirChat, ferramenta interna para executar agentes de código. Todas as requisições passam por um gateway de LLM sobre o Bedrock. Em cinco semanas, saíram oito novos modelos, e em meados de outubro cerca de dois terços das requisições já iam para eles. Cada modelo muda ao mesmo tempo o número de tokens de saída, o preço, a latência e a carga sobre as quotas, e os gráficos do anúncio não mostram como ele vai se sair no trabalho dos seus engenheiros.
Quando uma boa nota virou conta alta?
O Modelo A entrou em produção com o effort limitado ao nível high, e os usuários foram orientados a usar low ou medium. Algumas semanas depois, o gasto por usuário estava várias vezes maior. Os tokens de saída respondiam por apenas um décimo do custo de cada requisição; a maior parte do dinheiro ia para o contexto em cache, relido repetidas vezes. O modelo sabia trabalhar sozinho por longos períodos, e as pessoas passaram a iniciar sessões autônomas longas.
O que se sabe sobre Monitoramento, quotas e atribuição de custos?
Quando a latência sobe, a Airbnb examina três métricas: TimeToFirstToken, OutputTokenCount e a taxa de geração derivada (OTPS = OutputTokenCount / (InvocationLatency − TimeToFirstToken) × 1000). No exemplo, a latência subiu 40%, mas a taxa de geração ficou igual: alguém havia alterado o prompt de sistema, e as respostas ficaram 50% mais longas. Os autores recomendam marcar no dashboard as mudanças de prompt e de modelo como deploys. Com as quotas, a confusão é outra.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.