AWS adiciona medição de consumo em fluxos de voz: 12 minutos de áudio equivalem a 720 unidades

Em um agente de voz, a conversa dura vinte minutos, mas parte do tempo o cliente fica em silêncio, ouve a resposta ou procura o número do pedido. O que exatamente entrará na fatura do modelo? A AWS adicionou ao SageMaker AI um mecanismo que permite aos fornecedores de modelos de streaming enviar o consumo real ao AWS Marketplace ao longo da sessão. Se o produto contabiliza segundos de áudio processado, 12 minutos desse áudio se transformam em 720 unidades cobráveis.

É uma mudança útil para equipes que vendem ou implantam reconhecimento e síntese de fala por meio do Marketplace. Ela permite vincular o pagamento pela parte de software ao consumo. Ao mesmo tempo, o custo da infraestrutura do SageMaker continua sendo uma linha separada: um endpoint ativo continua gerando custo.

Por que a resposta do servidor não basta

Em uma API comum, tudo é relativamente simples: envia-se uma requisição, recebe-se o resultado, e o servidor indica o volume de uso em um cabeçalho da resposta. Nesse momento, o trabalho já terminou e o consumo é conhecido.

Em uma interface de voz, a conexão dura mais. O cliente envia som continuamente e recebe a transcrição; a sessão pode durar meio minuto ou meia hora. O cabeçalho transmitido no estabelecimento da conexão não permite informar regularmente o novo consumo. Já a cobrança por hora da parte de software pode incluir períodos em que o modelo está disponível, mas não processa nada.

A AWS resolveu o problema com uma segunda conexão WebSocket entre o SageMaker e o servidor do modelo. A primeira transporta os dados para processamento e os resultados; a segunda, pequenas mensagens de faturamento. Um identificador de requisição comum vincula as duas conexões a uma mesma conversa.

O fornecedor define o que significa uma unidade cobrável. As mensagens usam o nome inference.count, mas isso não obriga a tratar cada requisição como uma unidade: podem ser, por exemplo, segundos de áudio. As regras de contagem e o preço devem corresponder à oferta no Marketplace.

Como contar o consumo durante a conversa

Imagine um serviço de transcrição de chamadas com cobrança por segundo de áudio. O servidor acumulou mais 30 segundos de processamento e enviou uma mensagem com 30 unidades usadas. Depois processou mais 30 segundos e informou outras 30. Cada registro contém o incremento desde o relatório anterior, portanto reenviar o total acumulado inflaria o consumo.

A AWS recomenda informar o uso de forma gradual e enviar o último registro logo após o fim da sessão. Assim, em caso de queda repentina, menos áudio processado fica sem contabilização. Uma conexão aberta, por si só, não significa áudio cobrável: isso depende das regras de cada produto.

O canal tem limites: uma mensagem por segundo por conexão, no máximo 512 bytes e exatamente um registro em cada quadro de texto. Várias unidades acumuladas podem ser enviadas em um único registro. Para proteger contra repetições, existe o ClientToken: um duplicado com o mesmo token na mesma conexão é descartado.

A primeira parceira foi a Deepgram, que usa o mecanismo para cobrar reconhecimento e síntese de fala. Na integração dela, o servidor calcula o consumo automaticamente; o aplicativo cliente não precisa de configuração adicional de medição.

Onde a contagem pode se perder

A principal escolha do fornecedor é o comportamento em caso de falha do canal de faturamento. Por padrão, o processamento continua mesmo que esse canal não tenha sido aberto ou tenha caído. A conversa é mantida, mas o envio do consumo cessa. É possível tornar o canal obrigatório: nesse caso, sua perda interrompe o processamento.

Essa decisão deve levar em conta o produto. Para um contact center, interromper uma conversa pode custar mais do que segundos não contabilizados. Além disso, um canal obrigatório não garante a cobrança correta: mensagens com erros ainda podem ser descartadas. A entrega via TCP também não confirma que o consumo chegou à fatura.

Antes do lançamento, a AWS recomenda um teste com volume conhecido: enviar 12 minutos de áudio contabilizável, obter no total 720 unidades e conferir os registros do servidor com os relatórios do vendedor e as cobranças ao comprador. Também é preciso testar separadamente quedas e mensagens inválidas. Conclusão prática para o comprador: esclarecer a definição da unidade e calcular a infraestrutura à parte. Para o fornecedor: incluir a conciliação das cobranças na preparação da release.