Los modelos de decisión concentraron el 26% de las solicitudes de Vercel AI Gateway y solo el 0,53% del gasto

Tu servicio recibe una consulta de un cliente y debe decidir si enviarla a soporte, pasarla a ventas o pedir una aclaración. Para ello, no siempre hace falta que un gran modelo de lenguaje gestione una conversación entera. A veces basta con una decisión breve entre unas pocas opciones. Según el informe de noviembre de Vercel, estas tareas ya representan el 26% de las solicitudes de AI Gateway y apenas el 0,53% del gasto estimado.

Es un buen motivo para revisar la arquitectura de un producto de IA. Si un modelo redacta respuestas, clasifica consultas y elige las acciones siguientes, conviene medir por separado el coste de cada etapa. Quizá parte del trabajo pueda encomendarse a modelos especializados más económicos.

Las decisiones breves ya son una categoría de tráfico propia

Vercel denomina decision models a los modelos que clasifican datos, asignan puntuaciones o eligen entre distintas opciones. En lugar de una respuesta extensa, la aplicación recibe un resultado breve que puede utilizar en el siguiente paso del programa. Según las estimaciones de la empresa, el coste medio de una solicitud a estos modelos es aproximadamente 70 veces menor que el de una solicitud a un modelo de lenguaje.

Imaginemos una tienda en línea. Un comprador escribe: «Mi pedido no ha llegado, quiero que me devuelvan el dinero». Primero, el sistema debe identificar el tipo de consulta. Después puede enviar el mensaje al componente encargado de atenderla, recuperar los datos del pedido y, solo entonces, preparar una respuesta completa. La generación de texto se mantiene donde aporta valor, mientras que el enrutamiento pasa a ser una operación independiente.

En octubre, casi un tercio de los equipos de pago de la pasarela utilizó estos modelos. Entre los equipos con un volumen mensual superior a 10.000 millones de tokens, la adopción alcanzó el 70%. A gran escala, incluso un pequeño ahorro por acción puede cambiar considerablemente la factura total.

Pero hay un detalle importante: casi todo el tráfico de esta categoría correspondió a Jev, de TypeSafe AI. Por tanto, la cifra del 26% refleja, ante todo, un uso intenso de un producto concreto dentro de una pasarela concreta. Todavía no demuestra que decenas de proveedores independientes hayan encontrado una demanda masiva.

Anthropic atrae a nuevos equipos y OpenAI capta una mayor proporción del gasto

OpenAI y Anthropic casi empataron en penetración entre los equipos de pago: en octubre, el 55% y el 54% de los equipos utilizaron sus modelos, respectivamente. Estas cuotas se solapan, ya que un mismo equipo puede trabajar con ambas empresas.

Entre los nuevos equipos, Anthropic se convirtió en el proveedor principal casi el doble de veces que OpenAI. Aquí importa la definición: Vercel considera principal al proveedor que recibió más solicitudes a modelos de lenguaje de un equipo durante su primer mes. No se trata de un contrato exclusivo ni de una elección definitiva del conjunto de tecnologías.

Mientras tanto, la cuota de OpenAI en el gasto de la pasarela pasó de aproximadamente el 9% en diciembre al 15% en octubre. La de Anthropic se redujo aproximadamente a la mitad durante el mismo periodo, hasta el 32%, aunque la empresa mantuvo el liderazgo en este indicador. Entre el 1% de los equipos con mayor gasto, más del 90% utiliza ambos proveedores.

Para quienes fundan una empresa, la señal práctica es que la popularidad en la adopción inicial y el volumen de trabajo pagado son indicadores distintos. Uno no permite deducir el otro con fiabilidad.

Los modelos cambian más rápido que la arquitectura del producto

Más de la mitad de las solicitudes a modelos de lenguaje de octubre se dirigió a versiones que llevaban menos de 60 días disponibles en la pasarela. Alrededor de la mitad de los equipos con un volumen de al menos 10 millones de tokens cambió de modelo principal durante el mes. Entre los que cambiaron, el 60% pasó a otro laboratorio.

Esta movilidad hace útil contar con un conjunto propio de tareas de evaluación y con la posibilidad de cambiar de proveedor sin rehacer la lógica de negocio. Antes de sustituir un modelo, conviene comparar la calidad con consultas reales, la latencia y el coste de obtener un resultado satisfactorio. Una solicitud barata sirve de poco si después exige una revisión manual.

El informe tiene limitaciones. Describe el tráfico anonimizado de Vercel AI Gateway correspondiente a octubre y estima el gasto a partir de las tarifas públicas. El tamaño de los equipos se define por su volumen de tokens; el texto proporcionado no indica el número absoluto de equipos. Tampoco aporta datos sobre la calidad de las decisiones ni latencias comparables.

Por tanto, un siguiente paso razonable es elegir una tarea de clasificación frecuente, reunir ejemplos reales y comparar un modelo especializado con la solución actual. Esa prueba mostrará si las impresionantes cifras de la pasarela se traducen en ahorro para tu producto.