llm-checker: utilitário mostra quais LLMs seu hardware consegue executar

Uma das perguntas mais frequentes que entusiastas da execução local de modelos de linguagem fazem a si mesmos soa enganosamente simples: meu hardware vai conseguir? Até agora, a resposta tinha que ser reunida a partir de benchmarks espalhados, discussões no Reddit e testes de tentativa e erro. Uma nova ferramenta de código aberto, llm-checker, tenta responder essa pergunta com um único comando no terminal.

llm-checker é um utilitário CLI que examina a configuração de hardware de um computador e fornece um veredicto concreto: quais modelos de linguagem do ecossistema Ollama você consegue executar, com qual velocidade e com qual qualidade. A ferramenta analisa três componentes principais — GPU, memória RAM e processador — e com base nesses dados produz um relatório personalizado para mais de 35 modelos, desde modelos compactos de um parâmetro até modelos impressionantes de 32 bilhões de parâmetros.

Para entender por que isso é importante, vale a pena lembrar o contexto. Nos últimos dois anos, o movimento para executar grandes modelos de linguagem localmente se transformou de um hobby marginal em uma direção completa. Ollama se tornou o padrão de facto para quem quer executar um LLM em seu próprio computador sem assinaturas em nuvem e sem enviar dados para servidores de terceiros.

Llama, Mistral, Gemma, Phi, DeepSeek, Qwen — o número de modelos disponíveis cresce a cada mês, e cada um deles tem seus próprios requisitos de hardware. O problema é que esses requisitos em lugar nenhum estão sistematizados em relação a configurações específicas. Uma pessoa com uma RTX 3060 com 12 gigabytes de memória de vídeo e 32 gigabytes de RAM é forçada a descobrir por si mesma se consegue executar Llama 3.

1 com 8 bilhões de parâmetros em quantização Q4, ou nem deveria tentar.

É exatamente essa lacuna entre a abundância de modelos e a opacidade dos requisitos de hardware que llm-checker fecha. O utilitário funciona da forma mais direta possível: você executa um comando, ele consulta o sistema, compara as características com uma base de conhecimento interna sobre modelos e fornece o resultado. Cada modelo é avaliado em três eixos — compatibilidade (ele será executado?), velocidade (a geração de tokens será confortável?) e qualidade (será necessário sacrificar precisão pelo desempenho?). Estes não são scores abstratos, mas informações praticamente úteis que economizam horas de experimentação.

Atenção especial merece a abordagem para curar a lista de modelos. Os autores deliberadamente recusaram fazer parsing automático de todo o catálogo Ollama e em vez disso moderam a lista manualmente. Essa é uma decisão principiada: o catálogo Ollama contém centenas de modelos de qualidade variável, incluindo modelos desatualizados, experimentais e francamente inúteis. A curadoria manual significa que os usuários recebem recomendações apenas para modelos verificados e atuais que realmente valem a pena executar. Em um mundo onde o número de LLMs abertos dobra a cada poucos meses, tal filtro não é uma limitação, mas uma vantagem.

Tecnicamente, a ferramenta resolve uma tarefa não trivial. O desempenho de um LLM local depende de muitos fatores: a quantidade de memória de vídeo determina se o modelo caberá inteiramente na GPU; a velocidade da RAM afeta o offloading de camadas que não couberam em VRAM; a arquitetura do processador é importante para modelos que funcionam em modo CPU. A quantização adiciona outra dimensão — o mesmo modelo em formato Q8 pode não caber na memória, mas em Q4 funciona, embora com perda notável de qualidade. llm-checker assume todos esses cálculos e os traduz em recomendações compreensíveis.

Em um contexto mais amplo, o surgimento de tais ferramentas sinaliza a maturação do ecossistema de IA local. Quando a tecnologia sai do círculo de desenvolvedores e entusiastas, ela precisa de pontes entre complexidade e simplicidade. llm-checker é uma dessas pontes. Não faz nada revolucionário do ponto de vista tecnológico, mas resolve um problema real do usuário que tem sido ignorado até agora.

É claro que a ferramenta tem limitações óbvias. A vinculação a Ollama significa que usuários de llama.cpp, vLLM ou outros backends ficam de fora. A moderação manual da lista de modelos é simultaneamente uma força e uma fraqueza, porque a relevância depende da atividade dos mantenedores. O desempenho real sempre diferirá das previsões, porque é afetado por dezenas de variáveis que é impossível contabilizar remotamente — desde a temperatura da GPU sob carga até processos de fundo no sistema.

No entanto, llm-checker aponta na direção certa. À medida que a execução local de LLM se torna convencional — e todos os trends apontam para isso — a necessidade de ferramentas simples de diagnóstico e recomendação só crescerá. Hoje é um utilitário CLI para usuários avançados. Amanhã, funcionalidade similar poderia muito bem se tornar uma parte incorporada do próprio Ollama ou seus análogos. Porque a melhor maneira de atrair usuários para a IA local é remover a barreira da incerteza e fornecer uma resposta honesta a uma pergunta simples: o que exatamente posso executar agora.