Seu próprio LLM na nuvem: como caber em 16 GB de VRAM

As faturas de APIs de modelos de linguagem estão se tornando um dos itens de gasto mais imprevisíveis para equipes de tecnologia. Um autor do Habr publicou a primeira parte de um guia prático que propõe uma solução radical: implantar um LLM completo na nuvem usando apenas 16 gigabytes de memória de vídeo. Não é um exercício acadêmico, mas uma configuração funcional, com suporte a ferramentas, chamada de funções e integração com servidores MCP.

Para entender por que o tema ganha tanta atenção, basta ver como os agentes de IA mudaram no último ano. Claude, ChatGPT, DeepSeek e similares deixaram de ser simples chatbots há tempos. Antes de entregar a resposta final, um agente moderno pode gastar dezenas de milhares de tokens em raciocínio interno, chamar APIs externas, executar código, analisar arquivos e até interagir diretamente com o sistema operacional. Cada ação dessas consome tokens, e tokens são dinheiro. Com vários agentes em paralelo, tarefas em segundo plano e ferramentas próprias, a fatura mensal da API pode multiplicar em questão de uma semana de uso intenso.

Foi essa dor que levou a comunidade a procurar alternativas. A ideia de um LLM self-hosted não é nova, mas até pouco tempo atrás era território de entusiastas com acesso a hardware parrudo. O cenário mudou graças a vários processos paralelos: a quantização de modelos ficou bem mais eficiente, surgiram ambientes de execução otimizados como llama.cpp e vLLM, e os modelos open source chegaram perto dos comerciais em qualidade em diversas tarefas. Com isso, o que há um ano e meio exigia um cluster de GPUs hoje roda em uma única placa com 16 GB de memória, na classe da NVIDIA T4 ou da RTX 4060 Ti.

A diferença central em relação aos experimentos típicos com modelos locais é o foco em prontidão para produção. O autor não apenas roda um modelo para gerar texto, mas monta um serviço de API completo, compatível com o ecossistema de ferramentas a que os desenvolvedores estão acostumados. O suporte a function calling significa que o modelo pode chamar funções externas por meio de um esquema estruturado, exatamente como Claude ou GPT-4 fazem em suas APIs. A integração com servidores MCP, protocolo apresentado pela Anthropic para padronizar a interação dos modelos com ferramentas externas, acrescenta mais uma camada de compatibilidade. Na prática, o modelo self-hosted vira um substituto direto da API comercial para uma certa classe de tarefas.

Claro que a abordagem tem limitações, e seria ingênuo esperar que um modelo de 7-13 bilhões de parâmetros, comprimido por quantização para caber em 16 GB, tenha qualidade no nível do Claude 3.5 Sonnet ou do GPT-4o. Para tarefas complexas, que exigem raciocínio profundo, planejamento em várias etapas ou contexto extenso, os modelos comerciais continuam sem concorrência. Mas boa parte das cargas de produção é rotina: classificação, extração de dados, formatação, geração simples de texto, roteamento de requisições entre agentes. Nesses casos, um modelo local pode se mostrar não só suficiente, mas ideal em custo-benefício.

Essa tendência se encaixa em um quadro mais amplo, que analistas chamam de "inferência híbrida". Em vez de enviar todas as requisições a um único provedor, as equipes montam arquiteturas em camadas: um modelo local ou self-hosted cuida das tarefas simples, e as complexas vão para sistemas mais potentes na nuvem. Essa abordagem não só reduz custos, como também resolve questões de privacidade de dados e diminui a dependência de provedores externos. Protocolos padronizados como o MCP tornam essa arquitetura cada vez mais realista: modelos de origens diferentes começam a falar a mesma língua.

A publicação no Habr é a primeira parte de uma série, e o autor promete uma continuação com cenários mais avançados. Mas o simples fato de já ser possível implantar um LLM funcional, com suporte a ferramentas, em uma GPU que custa algumas centenas de dólares diz muito. A infraestrutura de inferência local de IA está amadurecendo a ponto de poder ser usada não só por pesquisadores, mas por equipes de produto comuns. Isso significa que o monopólio dos provedores de API em nuvem no mercado de inferência vai se corroer aos poucos, e talvez essa seja uma das tendências mais saudáveis do setor neste momento.