Início 23/11Turma 3 ao vivo de Vibe Coding & Agentes de IA: 3 semanas, 9 aulas ao vivoTurma 3 (23/11) →
LançamentoArtigo científico · Para P&DAWS Machine Learning Blog→ original

Airbnb troca o modelo dos agentes de código, e o gasto dos usuários mais intensivos cai 7 vezes

A Airbnb escolhe os modelos dos seus agentes de código pelo custo da tarefa inteira, não por benchmarks. O Modelo A ganhou mais de 3 pontos nos testes, mas em produção cada requisição ficou três vezes mais cara, e o número de requisições também triplicou. Os usuários mais intensivos foram migrados para um modelo com custo por tarefa 6 vezes menor, e o gasto deles caiu 7 vezes. A lição: confira os resultados dos testes com a conta real depois do lançamento.

Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
Airbnb troca o modelo dos agentes de código, e o gasto dos usuários mais intensivos cai 7 vezes
Fonte: AWS Machine Learning Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalAWS Machine Learning Blog ↗
Editor-chefe
Custo por tarefatodos os tokens que o agente gasta em uma tarefa, pela tabela de preços
Effort low→high+0,8 ponto, mas custo por tarefa 2,5 vezes maior
Dado-chave #3max_tokens de 4096 para 1024 reduziu a reserva de quota em 65%

Imagine a cena: você troca o modelo do agente de código da equipe por aquele que tem o melhor desempenho nos testes e, algumas semanas depois, o financeiro envia uma fatura várias vezes maior que a esperada. Foi exatamente o que aconteceu na Airbnb. Nas tarefas internas, o Modelo A somou mais de três pontos sobre o líder anterior, com um preço aproximadamente igual.

Em produção, porém, cada requisição ficou três vezes mais cara, e os engenheiros passaram a enviar três vezes mais requisições. Quando os usuários mais intensivos foram migrados para outro modelo, o gasto deles com o modelo principal caiu cerca de 7 vezes. A empresa explicou no blog da AWS como evitar essa armadilha no Amazon Bedrock: em vez de olhar o preço por milhão de tokens, calcular o preço da tarefa inteira (cost per task), isto é, o custo de todos os tokens que o agente gastou para levar uma tarefa até o resultado.

Por que os benchmarks não respondem à pergunta principal

Todas as semanas, milhares de funcionários usam o AirChat, ferramenta interna para executar agentes de código. Todas as requisições passam por um gateway de LLM sobre o Bedrock. Em cinco semanas, saíram oito novos modelos, e em meados de outubro cerca de dois terços das requisições já iam para eles. Cada modelo muda ao mesmo tempo o número de tokens de saída, o preço, a latência e a carga sobre as quotas, e os gráficos do anúncio não mostram como ele vai se sair no trabalho dos seus engenheiros.

Por isso, a Airbnb tem dois sistemas. Antes do lançamento, ela mede, em tarefas próprias, a nota e o custo por tarefa de cada modelo e de cada nível de reasoning effort, a configuração que define quanto o modelo “pensa” antes de responder. Depois do lançamento, observa o que mudou em produção.

O agente faz muitas requisições por tarefa, e a cada uma o modelo relê todo o contexto acumulado. Por isso, são contados quatro tipos de tokens: entrada comum, leitura de cache, escrita em cache e saída. A média inclui também as tentativas malsucedidas. Em um dos modelos, passar de effort low para high rendeu +0,8 ponto, mas com custo por tarefa 2,5 vezes maior. Com base nesses dados, definem-se tetos de effort que o gateway de fato impõe.

A avaliação é rápida: no dia do lançamento, uma única requisição dispara uma campanha em sete conjuntos de tarefas, e na manhã seguinte o modelo já tem nota e custo. Cada tarefa é uma pasta com instruções, Dockerfile, script de verificação e solução de referência. Para começar, os autores recomendam o framework aberto Harbor. O mais difícil é escrever a rubrica: as tarefas longas rodam em várias rodadas com um revisor simulado, e um modelo-juiz avalia o trabalho por oito critérios. Se o revisor precisou resgatar o agente mais de uma vez, a nota final fica limitada a 25 pontos de 100.

Quando uma boa nota virou conta alta

O Modelo A entrou em produção com o effort limitado ao nível high, e os usuários foram orientados a usar low ou medium. Algumas semanas depois, o gasto por usuário estava várias vezes maior. Os tokens de saída respondiam por apenas um décimo do custo de cada requisição; a maior parte do dinheiro ia para o contexto em cache, relido repetidas vezes. O modelo sabia trabalhar sozinho por longos períodos, e as pessoas passaram a iniciar sessões autônomas longas.

Mais tarde, saiu um modelo que obteve nota maior nas mesmas tarefas, com custo por tarefa cerca de 6 vezes menor. Os usuários do Modelo A foram migrados para ele por meio de uma mudança de configuração. Na primeira semana completa, o número de requisições permaneceu o mesmo, e o gasto do grupo com o modelo principal caiu cerca de 7 vezes.

Monitoramento, quotas e atribuição de custos

Quando a latência sobe, a Airbnb examina três métricas: TimeToFirstToken, OutputTokenCount e a taxa de geração derivada (OTPS = OutputTokenCount / (InvocationLatency − TimeToFirstToken) × 1000). No exemplo, a latência subiu 40%, mas a taxa de geração ficou igual: alguém havia alterado o prompt de sistema, e as respostas ficaram 50% mais longas. Os autores recomendam marcar no dashboard as mudanças de prompt e de modelo como deploys.

Com as quotas, a confusão é outra. O Bedrock reserva para cada requisição os tokens de entrada sem cache, as escritas em cache e o max_tokens. As leituras de cache não entram na quota, então uma requisição pode ser barata para a quota e cara para a fatura.

No exemplo, com quota de 1 milhão de tokens por minuto e 300 requisições por minuto, o dashboard mostrava cerca de 30%, mas, com o coeficiente de 5:1 para tokens de saída, o uso real chegava a cerca de 77%. A reserva por requisição era de 4696 tokens, embora as respostas coubessem em aproximadamente 800 tokens no p99. Reduzir o max_tokens para 1024 diminuiu a reserva para 1624 tokens, cerca de 65% a menos, e a quota passou a comportar mais requisições.

As respostas cortadas são monitoradas pelo stopReason.

Para cada modelo importante, a Airbnb mantém um equivalente, definido pelos resultados da avaliação, para o qual é possível rebalancear o tráfego por configuração. Para modelos com status Legacy, é configurado um alarme em LegacyModelInvocations. Os custos por equipe são calculados por tags de IAM roles e por application inference profiles, enquanto os metadados da requisição vão apenas para os logs, não para a fatura.

O que levar para a sua equipe

  • Calcule o preço da tarefa inteira, não o preço por milhão de tokens.
  • Depois do lançamento, confronte o resultado da avaliação com a participação do cache e o número de requisições por pessoa.
  • Limite max_tokens e effort, e mantenha um modelo reserva.

Limitação: os preços usados são os da tabela pública, não os descontos reais, e é preciso ter um conjunto próprio de tarefas com um avaliador confiável.

História

Perguntas frequentes sobre a notícia

Por que os benchmarks não respondem à pergunta principal?

Todas as semanas, milhares de funcionários usam o AirChat, ferramenta interna para executar agentes de código. Todas as requisições passam por um gateway de LLM sobre o Bedrock. Em cinco semanas, saíram oito novos modelos, e em meados de outubro cerca de dois terços das requisições já iam para eles. Cada modelo muda ao mesmo tempo o número de tokens de saída, o preço, a latência e a carga sobre as quotas, e os gráficos do anúncio não mostram como ele vai se sair no trabalho dos seus engenheiros.

Quando uma boa nota virou conta alta?

O Modelo A entrou em produção com o effort limitado ao nível high, e os usuários foram orientados a usar low ou medium. Algumas semanas depois, o gasto por usuário estava várias vezes maior. Os tokens de saída respondiam por apenas um décimo do custo de cada requisição; a maior parte do dinheiro ia para o contexto em cache, relido repetidas vezes. O modelo sabia trabalhar sozinho por longos períodos, e as pessoas passaram a iniciar sessões autônomas longas.

O que se sabe sobre Monitoramento, quotas e atribuição de custos?

Quando a latência sobe, a Airbnb examina três métricas: TimeToFirstToken, OutputTokenCount e a taxa de geração derivada (OTPS = OutputTokenCount / (InvocationLatency − TimeToFirstToken) × 1000). No exemplo, a latência subiu 40%, mas a taxa de geração ficou igual: alguém havia alterado o prompt de sistema, e as respostas ficaram 50% mais longas. Os autores recomendam marcar no dashboard as mudanças de prompt e de modelo como deploys. Com as quotas, a confusão é outra.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…