ClawRouter reduziu custos de LLM API de $47 para $1.80 por semana — análise do roteador inteligente

Desenvolvedores que usam ativamente APIs de LLM em projetos de produção frequentemente enfrentam uma descoberta desagradável: uma parcela significativa das solicitações para modelos caros e principais são tarefas elementares que poderiam ser resolvidas por uma variante mais barata. Um autor do Habr descobriu precisamente isso: em uma semana de trabalho, ele gastou $47 em API de LLM, embora, segundo sua própria avaliação, metade dos prompts fosse trivial. Depois de instalar ClawRouter — um roteador de código aberto para solicitações de LLM — ele reproduziu a mesma semana por $1.

80. A economia ultrapassou 96%. Por trás desse número há uma lógica simples: nem todas as tarefas têm a mesma complexidade, mas sem roteamento, cada solicitação é cobrada pela taxa do modelo escolhido independentemente da dificuldade real.

Se você usa por padrão Claude Sonnet ou GPT-4o para tudo — você está pagando preços premium por respostas a perguntas triviais e transformações simples de texto.

O problema de custo das APIs de LLM torna-se cada vez mais relevante conforme os desenvolvedores transitam de experimentos para cargas de trabalho de produção. Se os custos são negligenciáveis no estágio de prototipagem, em produção eles escalam proporcionalmente à atividade do usuário. Uma solicitação para GPT-4o custa 20–30 vezes mais do que uma solicitação equivalente para GPT-4o Mini — ainda que para a maioria das tarefas a diferença na qualidade da resposta seja imperceptível. A arquitetura de "um prompt — um modelo caro" é a mais comum, embora a menos ideal.

ClawRouter é um servidor proxy de código aberto que fica entre sua aplicação e os provedores de LLM. Cada prompt de entrada passa por uma análise de 15 parâmetros: complexidade da tarefa, comprimento e estrutura do contexto, necessidade de raciocínio passo a passo, trabalho com código, requisitos de formatação de saída, sensibilidade a erros e outras características. Com base nessa classificação, a solicitação é automaticamente roteada para o modelo mais barato capaz de lidar com a tarefa em um nível de qualidade aceitável.

Uma pergunta simples vai para GPT-4o Mini ou Claude Haiku. Uma solicitação complexa e multietapas vai para GPT-4o ou Claude Sonnet. Tarefas com altos requisitos de precisão de raciocínio ou trabalho nuançado com código são direcionadas para modelos de primeira linha.

A integração é mínima: ClawRouter é compatível com o formato de API do OpenAI, portanto você apenas precisa alterar a URL base no código da sua aplicação. Nenhuma alteração de lógica é necessária. OpenAI, Anthropic, Google e vários outros provedores são suportados. Pontos positivos: o roteamento funciona de forma previsível, e logs detalhados explicam por que uma solicitação específica foi roteada para um modelo específico — isso ajuda a entender e melhorar a classificação. As regras podem ser flexivelmente ajustadas para se adequar a um projeto específico e tipo de tarefa.

Sobre as limitações: casos extremos às vezes são classificados incorretamente — o roteador subestima a complexidade da tarefa e a encaminha para um modelo mais barato, o que reduz a qualidade da resposta. Essas situações requerem ajuste manual dos valores de limite.

Entre as alternativas, existem várias ferramentas maduras. LiteLLM oferece capacidades ricas para gerenciar vários provedores, balanceamento de carga, lógica de fallback e análise detalhada, mas o limiar de entrada é mais alto. RouteLLM do Lmarena usa um classificador treinado em dados do mundo real. OpenRouter é uma opção baseada em nuvem sem a necessidade de implantar sua própria infraestrutura. Cada solução envolve diferentes compromissos entre complexidade de configuração, nível de controle e custo da camada de roteamento.

A conclusão-chave: cargas de trabalho do mundo real são heterogêneas. O pedido "projete a arquitetura para um sistema distribuído" e o pedido "corrija um erro de digitação no texto" requerem recursos fundamentalmente diferentes, mas sem roteamento ambos são processados por um único modelo caro. O roteamento inteligente elimina esse desequilíbrio automaticamente, sem alterações na lógica do aplicativo e sem sacrificar qualidade em tarefas complexas.

Para desenvolvedores individuais e pequenas equipes que gastam $50 ou mais por mês em APIs de LLM, ferramentas como ClawRouter se pagam na primeira semana. Para cargas de trabalho maiores, a economia pode ser ainda mais substancial.