OpenAI lança Decisions API: decisões de agentes até 10 vezes mais rápidas

A OpenAI levou a Decisions API do beta público para a disponibilidade geral. É um endpoint dedicado, baseado no GPT-6 Luna, que responde a perguntas com um conjunto de respostas definido previamente e, segundo a empresa, faz isso até 10 vezes mais rápido que a mesma Luna via Responses API. O preço: $0.10 por milhão de tokens de entrada, $0.01 por milhão de tokens em cache, e nenhuma cobrança por tokens de saída.

A ideia é simples. Aplicações e agentes tomam dezenas de pequenas decisões em um único fluxo: em qual categoria encaixar um documento recebido, para qual fila enviar um chamado, se devem continuar, repetir ou pedir esclarecimento. Cada decisão é trivial. Mas, quando um modelo generativo completo cuida delas, latência e custo se acumulam ao longo da cadeia, e o produto interativo começa a ficar lento.

Três tipos de resposta em vez de texto livre

O desenvolvedor descreve a pergunta e as respostas permitidas e fornece o contexto em texto, imagens ou JSON nativo. A API devolve um entre três tipos de resultado:

• predicate: probabilidade de 0 a 1 de que uma condição seja verdadeira, por exemplo, se o produto aparece danificado na foto;
• choice: uma das opções fornecidas, mais as probabilidades e o confidence. Serve para escolhas como «continuar / repetir / esclarecer»;
• score: nota em uma escala ordenada de rubrica, por exemplo, a gravidade de um dano. O valor é calculado como a média dos índices dos níveis, ponderada pelas probabilidades.

A lógica econômica fica clara. Como o resultado é montado como uma distribuição de probabilidades sobre as opções definidas, o modelo não precisa gerar texto, e não há o que cobrar pela saída. Todo o custo está na entrada. Digamos que um classificador receba 500 tokens por chamada. Um milhão de chamadas sai por $50. Se 400 desses tokens forem um prefixo em cache com a instrução e a rubrica, o total cai para cerca de $14. É uma conta aproximada, feita com as tarifas publicadas, mas mostra a ordem de grandeza.

O que mudou desde o beta

• integração nativa com o GPT-Live: a decisão é disparada por um gatilho em `session.triggers` a partir de um evento como `session.input_transcript.delta`, e a aplicação recebe um `decision.event`;
• cache de prompt para contexto repetido, com entradas em cache de 30 minutos e 12 horas;
• processamento de inferência regional nos EUA e na UE, com Zero Data Retention para clientes elegíveis;
• entradas JSON nativas e imagens diretamente nas instruções da pergunta;
• até 400 perguntas por requisição, o dobro do limite anterior;
• capacidade adicional em várias regiões da Ásia para reduzir a latência.

Números dos clientes

A OpenAI apresenta cinco casos externos. Todos vêm de avaliações das próprias empresas; não há benchmarks independentes.

• Box: roteamento de documentos, escolha de rota ~5x mais rápida em 30 certificados de seguro, com a mesma precisão da Responses API. Os casos com baixa confiança são encaminhados para revisão humana.
• Datadog: avaliação do risco de comandos shell gerados por um agente, antes de sua execução. No p95, 40 vezes mais rápido que modelos frontier, com precisão comparável, o que permitiu colocar a Decisions no caminho crítico (hot path) da remediação automática.
• Ramp: atribuição dos gastos com IA ao trabalho real. 4 vezes mais rápido e 30% mais barato que o GPT-6 Luna, sem perda de precisão.
• Sierra: escolha da próxima ação em conversas ao vivo com clientes. p95 abaixo de 280 ms, cerca de 3 vezes mais rápido e 90% mais barato por chamada que a abordagem anterior, sem queda nos resultados para os clientes.
• SpeakBox: a integração com o GPT-Live reduziu o tempo até a próxima ação de 1.4 s para 0.13 s, mais de 90%.

Dentro da OpenAI, a API já é usada pelas equipes dots, Personal Finance (categorização de descrições de transações) e Communications (marcação de publicações por tema e avaliação de se elas reforçam as narrativas-chave ou as contestam).

Por onde começar

O caso da Datadog mostra onde a API é mais útil: como camada de proteção antes de ações irreversíveis de um agente. Avaliar o risco de um comando em frações de segundo permite checar cada passo, e não apenas uma amostra. O esquema da Box, que encaminha casos incertos para pessoas, se apoia no campo confidence da resposta do tipo choice.

A ordem prática é esta. Encontre a decisão que o aplicativo toma com mais frequência. Formule a pergunta e o conjunto fechado de respostas. Reúna exemplos do tráfego real e rode-os no Decisions Playground com seus próprios textos ou imagens. Compare com a versão atual na Responses API em precisão, p95 e custo. Defina os limiares de probabilidade e confidence com base em dados rotulados, e não no olhômetro: deles depende quantos casos irão para revisão manual. Para agentes de voz, o passo seguinte é conectar a mesma pergunta como gatilho no GPT-Live.