OpenAI lanza Decisions API: las decisiones de los agentes, hasta 10 veces más rápidas

OpenAI ha pasado Decisions API de la beta pública a disponibilidad general. Es un endpoint dedicado sobre GPT-6 Luna que responde a preguntas con un conjunto de respuestas definido de antemano y que, según la compañía, lo hace hasta 10 veces más rápido que la misma Luna a través de Responses API. El precio: $0.10 por millón de tokens de entrada y $0.01 por los tokens en caché. Los tokens de salida no se pagan.

La idea es sencilla. Las aplicaciones y los agentes toman decenas de pequeñas decisiones en un solo escenario: a qué categoría asignar un documento entrante, a qué cola enviar una solicitud, si continuar, reintentar o pedir una aclaración. Cada decisión es trivial. Pero si la toma un modelo generativo completo, la latencia y el coste se acumulan en la cadena y el producto interactivo empieza a ir lento.

Tres tipos de respuesta en lugar de texto libre

El desarrollador describe la pregunta y las respuestas admisibles, y aporta el contexto en texto, imágenes o JSON nativo. La API devuelve uno de tres tipos de resultado:

• predicate: la probabilidad, de 0 a 1, de que una condición sea cierta; por ejemplo, que el producto muestre daños visibles;
• choice: una de las opciones proporcionadas, junto con las probabilidades y el confidence. Sirve para elecciones del tipo «continuar / reintentar / aclarar»;
• score: una puntuación en la escala ordenada de una rúbrica, por ejemplo la gravedad de un daño. El valor se calcula como la media de los índices de los niveles ponderada por probabilidades.

De aquí se deduce la economía. Como el resultado se construye como una distribución de probabilidades sobre las opciones dadas, el modelo no necesita generar texto y no hay salida que pagar. Todo el coste está en la entrada. Supongamos que un clasificador recibe 500 tokens por llamada. Un millón de llamadas costaría $50. Si 400 de esos tokens son un prefijo cacheable con la instrucción y la rúbrica, el total rondaría los $14. Es un cálculo aproximado con las tarifas publicadas, pero muestra el orden de magnitud.

Qué se ha añadido desde la beta

• integración nativa con GPT-Live: la decisión se lanza con un trigger en `session.triggers` ante un evento como `session.input_transcript.delta`, y la aplicación recibe `decision.event`;
• caché de prompt para el contexto repetitivo, con entradas en caché de 30 minutos y 12 horas;
• procesamiento regional de la inferencia en EE. UU. y la UE, y Zero Data Retention para los clientes que cumplan los requisitos;
• entradas JSON nativas e imágenes directamente en las instrucciones de la pregunta;
• hasta 400 preguntas en una sola solicitud, el doble del límite anterior;
• capacidad adicional en varias regiones de Asia para reducir la latencia.

Las cifras de los clientes

OpenAI presenta cinco casos externos. Todos proceden de las propias evaluaciones de las empresas; no hay benchmarks independientes.

• Box: enrutamiento de documentos, elección de ruta ~5x más rápida en 30 certificados de seguros, con la misma precisión que Responses API. Los casos dudosos se envían a revisión humana.
• Datadog: evaluación del riesgo de los comandos de shell generados por un agente antes de ejecutarlos. En p95 es 40 veces más rápido que los modelos frontier, con una precisión comparable, lo que ha permitido colocar Decisions en la ruta crítica de la remediación automática.
• Ramp: atribución del gasto en IA al trabajo real. 4 veces más rápido y un 30% más barato que GPT-6 Luna, sin pérdida de precisión.
• Sierra: elección de la siguiente acción en conversaciones reales con clientes. p95 por debajo de 280 ms, aproximadamente 3 veces más rápido y un 90% más barato por llamada que el enfoque anterior, sin caída en los resultados para los clientes.
• SpeakBox: la integración con GPT-Live redujo el tiempo hasta la siguiente acción de 1.4 s a 0.13 s, más de un 90%.

Dentro de OpenAI, ya usan la API los equipos de dots, Personal Finance (categorización de descripciones de transacciones) y Communications (etiquetado de publicaciones por temas y valoración de si refuerzan las narrativas clave o las cuestionan).

Por dónde empezar

El caso de Datadog muestra dónde resulta más útil la API: como capa de protección antes de las acciones irreversibles de un agente. Evaluar el riesgo de un comando en fracciones de segundo permite comprobar cada paso, y no solo una muestra. El esquema de Box, que deriva los casos dudosos a personas, se apoya en el campo confidence de la respuesta choice.

Un orden práctico sería este. Identifique la decisión que su aplicación toma con más frecuencia. Formule la pregunta y un conjunto cerrado de respuestas. Reúna ejemplos del tráfico real y pruébelos en Decisions Playground con sus propios textos o imágenes. Compare con la variante actual en Responses API en precisión, p95 y coste. Ajuste los umbrales de probabilidad y confidence a partir de datos etiquetados, no a ojo: de ellos depende cuántos casos acabarán en revisión manual. En el caso de los agentes de voz, el siguiente paso es conectar la misma pregunta como trigger en GPT-Live.