Google lanza gemini-decision-1: un modelo que devuelve probabilidades en lugar de texto en 150–250 ms

Una escena conocida: tienes que decidir a qué cola enviar la consulta de un cliente. Tomas un modelo de lenguaje grande, le pides que «responda en formato JSON», esperas a que genere el texto token a token, luego parseas la respuesta y rezas para que no se haya perdido ninguna llave. Todo eso para una sola decisión del tipo «rama A o rama B». Google ha lanzado una herramienta que elimina por completo esa capa.

Qué se ha lanzado exactamente

El modelo se llama gemini-decision-1, está disponible como endpoint independiente y por ahora en versión preliminar en AI Studio. La diferencia principal con el Gemini habitual es que no genera tokens en absoluto. En su lugar, en un único forward pass evalúa las opciones de respuesta y devuelve probabilidades. Los tokens de salida son cero y el código puede ramificarse directamente según los números.

Como entrada se pueden enviar texto, imágenes, audio, vídeo y PDF, hasta 262 144 tokens en total. Sobre una misma entrada se pueden hacer hasta 1000 preguntas independientes. Hay tres tipos de preguntas:

• sí/no, con respuesta en el rango 0,01–0,99;
• elección entre 2 y 255 opciones;
• puntuación por rúbrica con media ponderada.

Las preguntas no se ven entre sí, por lo que las respuestas no se influyen mutuamente. Según el anuncio, la latencia casi no crece: 50–100 ms para el propio modelo y 150–250 ms de extremo a extremo, igual para una pregunta que para cien.

Cómo se ve con un ejemplo

Imagina un correo entrante a soporte con una captura de pantalla adjunta. Antes harías varias llamadas o un prompt largo pidiendo una salida estructurada. Ahora envías el correo y la captura una sola vez y añades tres preguntas:

• «¿Es un problema de pago?» — sí/no;
• «¿A qué equipo hay que derivarlo?» — elección entre cinco opciones;
• «¿Qué tan urgente es según la rúbrica?» — puntuación por criterios.

Como respuesta llegan tres conjuntos de números. Después, un simple if: si la probabilidad de pago es superior a 0,8, se envía a facturación. Sin parseo y sin reintentos por un formato defectuoso.

También resulta agradable el modelo de pago. La entrada común se paga una sola vez, y cada pregunta añade solo sus propias instrucciones y criterios. No hay cargos aparte por tokens de razonamiento, transcripción de audio ni OCR. Precio: 0,10 $ por 1 M de tokens de entrada y 0 $ por los de salida. En el nivel gratuito hay 200 solicitudes por minuto, 50 K tokens por minuto y 10 000 solicitudes al día. En el Tier 1 los límites suben a 1500 RPM y 1 M de TPM, y en el Tier 3, a 15 000 RPM y 10 M de TPM.

A quién le sirve y dónde está la trampa

El autor del análisis original lo considera el tipo de lanzamiento más infravalorado y apuesta por los agentes. Si tienes una cadena de diez pasos y en cada uno hay que elegir una herramienta, el ahorro, según su estimación, no es de unos pocos puntos porcentuales, sino de un orden de magnitud: menos latencia, menos dinero, sin parseo. Es una estimación del autor de la publicación, no un benchmark medido, pero la lógica se entiende. Muchas llamadas de LLM en producción son en esencia clasificadores: enrutamiento, moderación, filtros, triaje, puntuación por lista de verificación. Para ellas, la generación de texto era solo un adaptador.

Ahora, las limitaciones.

• Es una versión preliminar. Los límites, los precios y el comportamiento del modelo pueden cambiar antes del lanzamiento.
• No se admiten Batch API ni el almacenamiento en caché de contexto. Si tienes un contexto grande y repetitivo, por ejemplo una instrucción larga o una base de conocimiento, tendrás que pagarlo cada vez.
• La descripción no incluye métricas de calidad. Se desconoce lo bien calibradas que están las probabilidades y cómo maneja el modelo formulaciones sutiles de rúbricas. Si vas a tomar una decisión con consecuencias legales o económicas con un umbral de 0,7, comprueba primero la calibración con tus propios datos.
• Es un endpoint de Google, así que la dependencia del proveedor se mantiene.

Qué hacer en la práctica

Haz una lista de tus llamadas a LLM y marca aquellas en las que la respuesta acaba reduciéndose a una etiqueta, una bandera o un número. Son las primeras candidatas. Reúne una muestra etiquetada de unos cientos de ejemplos, pásala por el nivel gratuito de AI Studio y compara la precisión y la latencia con tu solución actual. Si la calidad no es peor y la latencia baja a 150–250 ms, conviene trasladar aquí el enrutamiento y la moderación. La generación de texto para el usuario, por supuesto, déjala en manos de los modelos habituales.