Grandes modelos de linguagem: por que rodá-los «de caixa» ainda é uma ilusão

O mercado de grandes modelos de linguagem abertos vive um verdadeiro boom. GLM, Kimi, DeepSeek e dezenas de outros projetos disputam o topo dos benchmarks, e o número de desenvolvedores cresce mais rápido do que a indústria consegue catalogá-los. Parece que a era de ouro da democratização da IA chegou: pegue um modelo, implante e use. Mas a realidade é bem menos animadora: praticamente nenhum LLM aberto de grande porte funciona direto da caixa, e nem o hardware de servidor mais potente poupa horas de depuração sofrida.

Foi essa a conclusão de um engenheiro que publicou no Habr uma análise detalhada de sua experiência ao rodar os modelos gigantes mais recentes. A tarefa era totalmente pragmática: percorrer os principais LLMs, testá-los e escolher um «cavalo de batalha» confiável para o dia a dia. A plataforma não era barata: servidores com NVIDIA B200 e H200, drivers recentes na versão 590.48.01 e imagens vLLM-OpenAI para inferência. Tudo parecia de manual. Mas, como se viu, ninguém chegou a escrever esse manual.

O problema não está nos modelos nem no hardware, mas no abismo entre publicar os pesos e conseguir de fato usá-los. Cada modelo exige seu próprio conjunto de gambiarras: configurações específicas de ambiente, patches de configuração e, às vezes, até imagens Docker customizadas. O lançamento do vLLM 0.16 simplificou um pouco as coisas, mas o autor afirma sem rodeios que os principais contornos continuam os mesmos. O framework aprendeu a tratar automaticamente parte dos casos extremos, mas o problema fundamental de compatibilidade não desapareceu.

É especialmente revelador que o autor tenha precisado buscar boa parte das soluções em fóruns técnicos chineses. Não é por acaso. A maioria dos modelos abertos de ponta do último ano sai de laboratórios chineses, e a comunidade de engenharia chinesa é a primeira a esbarrar nas armadilhas da implantação. A documentação em inglês, e nem se fala em russo, costuma atrasar semanas ou até meses. Para quem não lê chinês, isso cria uma barreira adicional e bastante perceptível.

A situação expõe um problema sistêmico de todo o ecossistema de LLMs abertos. Os desenvolvedores estão focados na corrida dos benchmarks: quem faz mais pontos em MMLU, HumanEval ou Arena Elo. Publicar os pesos no Hugging Face é visto como ponto final, e tudo o que vem depois, como implantação, otimização de inferência e integração a pipelines de produção, fica por conta dos usuários. Como resultado, até empresas com infraestrutura poderosa gastam um número desproporcional de horas de engenharia só para fazer o modelo responder a requisições.

Isso pesa ainda mais diante da rapidez com que o cenário muda. Novos modelos surgem literalmente toda semana. Se depurar cada um consome um ou dois dias de um engenheiro qualificado, o custo de simplesmente comparar cinco ou seis candidatos se torna significativo até para equipes grandes. E, depois de escolher o modelo, ainda é preciso ajustá-lo para tarefas específicas, configurar o monitoramento e garantir operação estável sob carga.

Há, porém, sinais positivos no horizonte. O projeto vLLM evolui ativamente e, a cada versão, assume mais trabalho rotineiro de compatibilidade. Surgem formatos de modelo padronizados e configurações unificadas. Provedores de nuvem que oferecem inferência como serviço tiram parte do peso dos usuários finais. Mas a indústria ainda está longe de um cenário em que baixar e rodar um LLM aberto seja tão simples quanto instalar um aplicativo.

O paradoxo do momento é que um modelo «aberto» já não significa «acessível». Os pesos estão publicados e a licença permite uso comercial, mas entre baixar o arquivo e ter um serviço funcionando há todo um campo de decisões nada óbvias que exigem profunda especialização. Enquanto os desenvolvedores de modelos não tratarem a implantação com a mesma seriedade do treinamento, os engenheiros continuarão juntando receitas em fóruns, sejam chineses, ingleses ou russos.