Gemma 4 e Qwen Coder contra a nuvem: LLMs locais no trabalho real

Modelos locais como Gemma 4 e Qwen Coder estão numa posição curiosa: de um lado, ninguém os leva muito a sério; de outro, pouca gente testou o que eles realmente fazem no trabalho do dia a dia, e não em benchmarks sintéticos.

O problema dos testes do YouTube O YouTube está cheio de testes de LLMs locais.

Mas todos seguem o mesmo roteiro: pegam um modelo grande, rodam de qualquer jeito e pedem um bubble sort. Claro que o modelo dá conta. Isso não impressiona ninguém. A pergunta que importa é outra: um modelo local consegue escrever código funcional, refatorar arquivos com bugs e extrair dados de HTML, como em projetos reais? A maioria dos testes ignora os parâmetros. E são justamente eles que muitas vezes decidem tudo. Um temperature errado, a janela de contexto, o esquema de quantização — e o resultado despenca. Conseguir um resultado ruim com um modelo local é fácil. Conseguir um bom resultado exige tempo.

Gemma 4 e

Qwen: quais modelos, em quais condições Vyacheslav testou vários modelos e escolheu os que de fato cabem nos 16 GB de memória de vídeo de uma placa comum: Gemma 4 (Google) — modelo generalista e bem equilibrado Qwen 3.6 (Alibaba) — equilíbrio entre desempenho e velocidade Qwen Coder — especializado em geração e análise de código Execução via llama.cpp com parâmetros otimizados * GPU optimization e escolha correta de quantization para a memória A primeira parte do problema é simplesmente subir a API do llama.cpp. A segunda é escolher os parâmetros certos. Qual nível de quantização? Qual temperature? Até quantos tokens expandir o contexto? Esses valores precisam ser ajustados para cada tarefa, e não chutados.

Resultados em ambiente agêntico O autor não testou os modelos em

exemplos isolados, mas em um ambiente agêntico real — com cadeias de ações em que um erro em uma etapa quebra todo o resto.

• Escrever código funcional na primeira tentativa Refatorar uma base de código com lógica e bugs já existentes Extrair dados estruturados de HTML Seguir instruções complexas dentro do contexto da tarefa Se adaptar a mudanças de requisitos durante a sessão Os resultados mostraram que, com os parâmetros bem ajustados, os modelos locais entregam, em tarefas típicas, um desempenho no nível das soluções em nuvem, sem latência de rede.

Para que servem LLMs locais Pode parecer uma questão acadêmica.

Mas há cenários em que uma API na nuvem não é opção: dados sensíveis, ambientes isolados, exigências regulatórias e o custo da API em escala. Modelos locais dão controle. Você sabe onde o processamento acontece. Nada de surpresas com logging de dados. Isso faz diferença quando você lida com informações confidential ou trabalha em um ambiente onde APIs na nuvem são proibidas.

O que isso significa Os LLMs locais saíram da fase experimental.

Eles estão prontos para o trabalho real — se você estiver disposto a investir tempo no ajuste dos parâmetros. Para as empresas, isso significa que o investimento em uma placa de vídeo pode substituir APIs na nuvem em toda uma classe de problemas, da programação ao processamento de informações sensíveis.