Alice AI escolhe sozinha o modelo para cada pedido: Alice AI LLM atende 80% do tráfego

É uma dor conhecida de quem já construiu um produto sobre LLM: um único modelo grande para todos os pedidos é caro e lento; um pequeno é rápido, mas fica fraco em tarefas difíceis. Na Alice AI, a Yandex escolheu um terceiro caminho: o assistente analisa o pedido e decide a quem entregá-lo.

Como funciona

A lógica é simples. Para tarefas cotidianas («como está o tempo», «reescreva a mensagem», «o que cozinhar») a Alice AI usa modelos que preparam a resposta rapidamente. Se o pedido tem muitas condições, exige estudar vários documentos, fazer cálculos ou montar um plano passo a passo, entra o modo «Especialista». Ele pode ser ativado manualmente, mas por padrão a decisão é do próprio sistema.

Imagine o pedido: «Compare dois contratos de aluguel, considere meu orçamento e meus prazos e monte um plano de mudança». Isso já não é conversa fiada: é preciso manter em mente várias fontes, restrições e a ordem dos passos. Um pedido assim recebe mais recursos, e o usuário aceita esperar um pouco mais. Já uma pergunta sobre receita de panqueca não deve esperar tanto.

Um número do anúncio: cerca de 80% dos pedidos hoje são processados pelo Alice AI LLM, modelo próprio da Yandex. O fluxo principal segue por esse caminho, e o «Especialista» entra onde uma resposta simples não basta.

Quais modelos há por dentro

A composição do «Especialista» não é fixa. A Yandex afirma que testa modelos diferentes todos os dias e planeja atualizar o conjunto regularmente. Podem ser tanto modelos da família Alice AI quanto modelos de pesos abertos, de acesso público, rodando nos servidores da Yandex. Para o usuário, isso significa que não há dependência de um único modelo: se surgir um modelo aberto que lide melhor com cálculos ou documentos longos, ele pode ser incorporado sem mudar o produto.

Para os desenvolvedores, é uma mudança reveladora. O produto já não é «o nosso modelo», mas um roteador mais um conjunto de modelos mais controle de qualidade. O modelo se torna uma peça substituível.

O modelo não é todo o produto

Os autores do anúncio destacam à parte que a qualidade da resposta é definida não só pelo modelo, mas também pelo harness. Essa palavra geralmente designa tudo o que envolve o modelo: instruções de sistema, acesso a ferramentas e busca, trabalho com documentos, verificações e novas tentativas. O mesmo modelo com outro harness pode responder de forma bem diferente. A Yandex diz que mede a influência do harness com benchmarks. Os detalhes da metodologia e os resultados estão no artigo completo no Habr. Eles não constam no anúncio, por isso não citaremos números concretos de ganho.

Limitações e o que fazer

Há coisas que o anúncio não mostra. Não está claro como exatamente o pedido é classificado: por um modelo separado, por heurísticas ou de outra forma. Não há dados sobre com que frequência o roteador erra: manda uma tarefa difícil a um modelo rápido ou gasta recursos do «Especialista» numa pergunta simples. Também não há métricas de qualidade em comparação com um único modelo forte. Todo roteamento adiciona uma etapa à cadeia, ou seja, latência e mais um ponto de falha.

Conclusão prática para equipes que constroem seus produtos com LLM:

• Não envie todo o tráfego pelo modelo mais caro. Classifique seus pedidos por complexidade e veja qual fatia realmente precisa de um modelo forte. Na Yandex, o Alice AI LLM processa cerca de 80% dos pedidos; no seu caso os números podem ser outros.
• Dê ao usuário um seletor manual, como o «Especialista» na Alice. Ele reduz o custo de um erro do roteador.
• Meça o harness separadamente do modelo. Antes de trocar o modelo, rode um benchmark com diferentes prompts, conjuntos de ferramentas e verificações.
• Mantenha a arquitetura modular para trocar modelos sem reescrever o produto.

A corrida já não é por um único modelo gigante, mas por quem monta melhor o sistema em torno de vários. A Alice AI é um exemplo recente e de massa dessa abordagem.