Alice AI elige sola el modelo para cada consulta: Alice AI LLM atiende el 80% del tráfico

Es un dolor conocido para cualquiera que haya construido un producto sobre LLM: un único modelo grande para todas las consultas es caro y lento; uno pequeño es rápido, pero se queda corto en lo complejo. En Alice AI, Yandex eligió un tercer camino: el asistente analiza la consulta y decide a quién entregársela.

Cómo funciona

La lógica es sencilla. Para las tareas cotidianas («qué tiempo hace», «reescribe este mensaje», «qué cocinar») Alice AI usa modelos que preparan la respuesta con rapidez. Si la consulta tiene muchas condiciones, exige estudiar varios documentos, hacer cálculos o elaborar un plan paso a paso, entra en juego el modo «Experto». Se puede activar a mano, pero por defecto la decisión la toma el propio sistema.

Imagine esta consulta: «Compara dos contratos de alquiler, ten en cuenta mi presupuesto y mis plazos y elabora un plan de mudanza». Ya no es charla trivial: hay que mantener presentes varias fuentes, restricciones y el orden de los pasos. A una consulta así se le asignan más recursos, y el usuario está dispuesto a esperar un poco más. En cambio, una pregunta sobre la receta de crepes no debe esperar lo mismo.

Una cifra del anuncio: cerca del 80% de las consultas se procesa hoy con Alice AI LLM, el modelo propio de Yandex. El flujo principal sigue este camino y «Experto» interviene donde una respuesta simple no basta.

Qué modelos hay dentro

La composición de «Experto» no está fijada. Yandex afirma que prueba distintos modelos cada día y planea actualizar el conjunto con regularidad. Pueden ser tanto modelos de la familia Alice AI como modelos de pesos abiertos de acceso público que funcionan en los servidores de Yandex. Para el usuario esto significa que no hay dependencia de un solo modelo: si aparece un modelo abierto que maneje mejor los cálculos o los documentos largos, puede incorporarse sin cambiar el producto.

Para los desarrolladores es un cambio revelador. El producto ya no es «nuestro modelo», sino un enrutador más un conjunto de modelos más control de calidad. El modelo se convierte en una pieza reemplazable.

El modelo no es todo el producto

Los autores del anuncio subrayan aparte que la calidad de la respuesta la determina no solo el modelo, sino también el arnés (harness). Con esta palabra suele designarse todo lo que rodea al modelo: instrucciones del sistema, acceso a herramientas y búsqueda, trabajo con documentos, verificaciones y reintentos. El mismo modelo con otro arnés puede responder de forma notablemente distinta. Yandex dice que mide la influencia del arnés con benchmarks. Los detalles de la metodología y los resultados están en el artículo completo en Habr. No figuran en el anuncio, así que no daremos cifras concretas de mejora.

Limitaciones y qué hacer

Hay cosas que el anuncio no deja ver. No está claro cómo se clasifica exactamente la consulta: con un modelo aparte, con heurísticas o de otra forma. No hay datos sobre con qué frecuencia se equivoca el enrutador: envía una tarea compleja a un modelo rápido o gasta recursos de «Experto» en una pregunta simple. Tampoco hay métricas de calidad frente a un único modelo potente. Todo enrutamiento añade un paso a la cadena, es decir, latencia y un punto de fallo más.

Conclusión práctica para los equipos que construyen sus productos con LLM:

• No envíe todo el tráfico por el modelo más caro. Clasifique sus consultas por complejidad y vea qué proporción necesita realmente un modelo potente. En Yandex, Alice AI LLM procesa cerca del 80% de las consultas; en su caso las cifras pueden ser otras.
• Dé al usuario un interruptor manual, como «Experto» en Alice. Reduce el costo de un error del enrutador.
• Mida el arnés por separado del modelo. Antes de cambiar de modelo, ejecute un benchmark con distintos prompts, conjuntos de herramientas y verificaciones.
• Mantenga una arquitectura modular para sustituir modelos sin reescribir el producto.

La carrera ya no es por un único modelo gigantesco, sino por quién arma mejor el sistema alrededor de varios. Alice AI es un ejemplo masivo y reciente de este enfoque.