Local AI escolhe um modelo de acordo com o hardware e instala o Ollama a partir de um arquivo de 42 MB

Os modelos locais no Windows deixaram de ser algo exótico há muito tempo, mas sua instalação ainda parece uma pequena missão de administração de sistemas. É preciso encontrar o Ollama, escolher a tag correta do modelo, estimar o consumo de VRAM, esperar o download de vários gigabytes e selecionar uma interface. Para um desenvolvedor experiente, isso representa uma noite de configuração. Para alguém que só quer um chat privado no próprio computador, há vários pontos em que é fácil desistir.

O desenvolvedor conhecido como OlegChe77 reuniu essas etapas no Local AI, um utilitário de código aberto para Windows 10 e 11. Um único arquivo de cerca de 42 MB identifica a configuração do computador, recomenda um modelo adequado do catálogo, instala o Ollama e abre um chat. As conversas são encaminhadas para o endereço local 127.0.0.1; a internet é necessária para baixar componentes e verificar atualizações.

Como e a instalacao na pratica

Suponha que o computador tenha uma RTX 3070 com 8 GB de VRAM e 32 GB de RAM. O Local AI obtém as especificações da placa de vídeo por meio do nvidia-smi, consulta a quantidade de RAM pela API do Windows e verifica o espaço livre especificamente na unidade que abrigará a futura pasta de modelos. Em seguida, o programa estima o consumo total de memória: multiplica o tamanho do arquivo do modelo por 1,2 e acrescenta uma margem de 0,6 GB para contexto e buffers.

Se o resultado couber em 95% da VRAM, o modelo será considerado adequado para a GPU. Se ele ocupar no máximo 70% da RAM, o modo misto ou a execução na CPU será permitido. Entre as principais opções, o programa recomenda o maior modelo que caiba integralmente na VRAM. Sem uma placa de vídeo dedicada, a seleção fica limitada a modelos de até 5 GB.

Essa é uma proteção útil contra um erro óbvio: o usuário não baixará um modelo pesado que claramente não cabe nem na memória nem no disco. Mas isso é uma heurística, e não uma medição do desempenho real. A velocidade depende da quantização, do tamanho do contexto, da versão do Ollama, dos drivers e da parte do modelo que o mecanismo realmente colocar na GPU.

Os detalhes de engenharia valem mais do que o botao

O projeto é interessante pela forma como aborda problemas comuns de aplicativos para desktop. O instalador do Ollama ocupa cerca de 1,6 GB, por isso o download permite retomada por HTTP Range. Antes de executá-lo, o Local AI verifica a assinatura digital do arquivo e espera que Ollama seja o signatário válido. O modelo é baixado pela API do mecanismo, e o progresso é exibido na interface.

A interface é escrita em HTML, CSS e JavaScript, enquanto o backend é desenvolvido em Python. A janela é aberta por meio de pywebview e WebView2; em caso de falha, Edge ou Chrome é usado no modo de aplicativo. A API local é protegida por um token de sessão aleatório e pela validação do cabeçalho Host, de modo que uma página web comum não deve obter acesso irrestrito às funções de sistema do programa.

O autor também implementou a migração do armazenamento de modelos entre unidades, a reversão em caso de erro, o encerramento dos processos do Ollama por WinAPI e o armazenamento dos chats no localStorage. O código-fonte foi publicado sob a licença MIT, e há um modo de demonstração que dispensa o download do Ollama e dos modelos.

Onde ainda e preciso ter cautela

O executável pronto não é assinado, portanto o Windows SmartScreen exibe um aviso, e o antivírus pode desconfiar do empacotamento feito com PyInstaller. O código-fonte é aberto, mas isso não substitui a auditoria de uma compilação específica. Em um computador de trabalho, é mais prudente examinar o repositório e compilar o aplicativo por conta própria.

Há também uma ressalva mais séria: o autor não executou uma remoção real do Ollama junto com modelos reais. Esse cenário foi verificado no modo de demonstração e em uma cópia do aplicativo com diretórios substituídos. A reinstalação do Ollama em outra pasta e a atualização do mecanismo real também não foram testadas ao vivo. Portanto, por enquanto, é melhor considerar experimental a função "remover tudo" e salvar antecipadamente os modelos e chats necessários.

A conclusão prática é simples: o Local AI já serve como uma interface conveniente para executar o Ollama em casa e como uma boa coleção de padrões para desenvolvedores de aplicativos Windows. No entanto, a recomendação automática de modelos deve ser encarada como um ponto de partida, enquanto as operações de migração, atualização e remoção devem ser testadas em uma máquina de testes. O projeto encurta o caminho até o primeiro chat local, mas não elimina a cautela habitual da engenharia.