AWS incorpora la medición de uso en flujos de voz: 12 minutos de audio equivalen a 720 unidades

La conversación de un agente de voz dura veinte minutos, pero durante parte de ese tiempo el cliente guarda silencio, escucha una respuesta o busca un número de pedido. ¿Qué se incluye exactamente en la factura del modelo? AWS ha incorporado en SageMaker AI un mecanismo que permite a los proveedores de modelos en streaming comunicar el consumo real a AWS Marketplace durante la sesión. Si el producto cuenta segundos de audio procesado, 12 minutos de ese audio se convierten en 720 unidades facturables.

Es un cambio útil para los equipos que venden o despliegan reconocimiento y síntesis de voz a través de Marketplace. Permite vincular el coste del software al consumo. La infraestructura de SageMaker sigue siendo una partida independiente: un endpoint activo sigue generando costes.

Por qué no basta con una sola respuesta del servidor

En una API convencional, todo es relativamente sencillo: se envía una solicitud, se recibe el resultado y el servidor indica el consumo en una cabecera de respuesta. En ese momento, el trabajo ya ha terminado y se conoce el uso total.

En una interfaz de voz, la conexión permanece abierta más tiempo. El cliente envía audio continuamente y recibe la transcripción; la sesión puede durar medio minuto o media hora. Una cabecera enviada al establecer la conexión no permite comunicar periódicamente el nuevo consumo. Además, la facturación del software por horas puede incluir periodos en los que el modelo está disponible, pero no procesa nada.

AWS ha resuelto este problema con una segunda conexión WebSocket entre SageMaker y el servidor del modelo. La primera transporta los datos que se van a procesar y los resultados; la segunda, pequeños mensajes de facturación. Un identificador de solicitud compartido vincula ambas conexiones con la misma conversación.

El proveedor define qué representa una unidad facturable. Los mensajes utilizan el nombre inference.count, pero eso no obliga a contar cada solicitud como una unidad independiente: pueden ser, por ejemplo, segundos de audio. Las reglas de cómputo y el precio deben coincidir con la oferta de Marketplace.

Cómo medir el consumo durante la conversación

Imaginemos un servicio de transcripción de llamadas que cobra por segundo de audio. El servidor acumula otros 30 segundos de procesamiento y envía un mensaje con 30 unidades consumidas. Después procesa otros 30 segundos y comunica otras 30 unidades. Cada registro contiene el incremento desde el informe anterior, de modo que enviar repetidamente el total acumulado inflaría el consumo.

AWS recomienda comunicar el uso de forma incremental y enviar el último registro inmediatamente después de finalizar la sesión. Así, si la conexión se interrumpe de forma inesperada, quedará menos audio procesado sin contabilizar. Una conexión abierta no implica por sí sola que haya audio facturable: eso depende de las reglas de cada producto.

El canal tiene límites: un mensaje por segundo y por conexión, un máximo de 512 bytes y exactamente un registro en cada trama de texto. Se pueden enviar varias unidades acumuladas en un solo registro. Para evitar duplicados, se utiliza ClientToken: un duplicado con el mismo token se descarta dentro de una misma conexión.

El primer socio es Deepgram, que utiliza el mecanismo para facturar el reconocimiento y la síntesis de voz. En su integración, el servidor calcula el consumo automáticamente; la aplicación cliente no necesita ninguna configuración adicional de medición.

Dónde puede fallar la medición

La principal decisión para el proveedor es qué ocurre si falla el canal de facturación. Por defecto, el procesamiento continúa aunque ese canal no llegue a abrirse o se interrumpa. La conversación se mantiene, pero deja de comunicarse el consumo. El proveedor puede hacer que el canal sea obligatorio: en ese caso, perderlo detendrá el procesamiento.

Esta decisión debe tomarse en función del producto. Para un centro de contacto, interrumpir una conversación puede salir más caro que dejar unos segundos sin contabilizar. Aun así, exigir el canal no garantiza que los cargos sean correctos: los mensajes con errores pueden seguir descartándose. La entrega por TCP tampoco confirma que el consumo se haya incorporado a la factura.

Antes del lanzamiento, AWS recomienda realizar una prueba con un volumen conocido: enviar 12 minutos de audio contabilizable, obtener un total de 720 unidades y contrastar los registros del servidor con los informes del vendedor y los cargos al comprador. También hay que probar por separado las desconexiones y los mensajes incorrectos. La conclusión práctica para el comprador es averiguar cómo se define la unidad y calcular por separado el coste de la infraestructura. Para el proveedor, incorporar la conciliación de cargos a la preparación del lanzamiento.