Ollama e LiteLLM: guia no Habr mostra como rodar um chat com LLM local em Python sem nuvem

Saiu no Habr um guia introdutório detalhado sobre desenvolvimento com LLMs locais em Python. Em vez de começar pelas APIs na nuvem, o autor propõe a dupla Ollama e LiteLLM: instalar o modelo no próprio computador, montar o ambiente e obter a primeira resposta direto do main.py.

Por que rodar localmente A maioria dos materiais introdutórios sobre

LLMs leva o iniciante para a nuvem logo no primeiro passo: crie uma conta, gere uma chave de API, cadastre um cartão, fique de olho nos limites. Para um desenvolvedor que só quer entender a mecânica básica, isso é ruído extra e totalmente desnecessário. O novo guia sugere outro caminho: subir tudo localmente primeiro, para enxergar a lógica de funcionamento do modelo sem cobrança, sem serviços externos e sem o medo de gastar dinheiro sem querer com testes.

A abordagem tem outra vantagem: deixa todo o caminho da requisição transparente. O artigo destrincha a cadeia elo por elo: o código Python envia a mensagem ao LiteLLM, que a repassa ao Ollama, e o Ollama conversa com o modelo local e devolve a resposta ao programa. Esse tipo de explicação é útil também para quem não é iniciante.

Ele ajuda a identificar rapidamente onde está o problema quando o modelo não responde, o serviço não está rodando ou o código aponta para o endereço errado.

«Isso não é “mágica de AI”, e sim um fluxo de software comum».

O que compõe o stack O autor separa logo de cara o papel de cada

ferramenta, já que é fácil confundi-las. Aqui, o Ollama cuida da execução do modelo local e do acesso a ele por meio de um servidor local. O LiteLLM é uma biblioteca Python com uma interface unificada para chamar modelos.

Com isso, o código que hoje funciona com um modelo local pode, mais tarde, ser migrado com relativa facilidade para um provedor na nuvem, sem reescrever a aplicação do zero. Para um primeiro contato, é um meio-termo prático entre simplicidade e preparo para o futuro. A primeira parte da série funciona como um roteiro sem teoria desnecessária.

O leitor não precisa sair projetando agentes, conectando memória ou construindo uma interface complexa. A tarefa é mais simples e mais útil: confirmar que o modelo local funciona, que o Python consegue alcançá-lo e que a resposta volta ao código sem infraestrutura externa. Por isso, o material se lê como um checklist prático para uma primeira noite de trabalho, e não como uma visão geral abstrata de tecnologias.

instalar o Ollama no Windows, macOS ou Linux; baixar o modelo qwen2.5:3b e testar a resposta direto no terminal; * em hardware mais fraco, trocar para o qwen2.5:1.

5b; criar um ambiente virtual Python e instalar o LiteLLM; escrever um main.py mínimo que envia a requisição para http://localhost:11434. Um ponto positivo à parte é a escolha do modelo inicial.

O qwen2.5:3b é apresentado como uma opção compacta e bastante prática para um notebook comum, sobretudo se o idioma russo for necessário. Para quem tem poucos recursos, o autor já oferece um plano B com uma versão mais leve.

Isso deixa o material concreto, e não abstrato: o artigo não promete milagres, mas ajuda de fato a chegar à primeira resposta funcional sem perder tempo com configurações logo no início.

Primeira chamada a partir do Python O ponto-chave do texto é um exemplo mínimo em Python.

Nele, a função completion é importada do LiteLLM, o modelo é definido no formato ollama_chat/qwen2.5:3b, o api_base local é informado e a pergunta do usuário é passada na lista messages. É um detalhe importante: mesmo uma única requisição segue a mesma estrutura de um futuro diálogo.

Na prática, além de mostrar uma chamada isolada, o autor já prepara a base para um chat de console com histórico de mensagens e contexto. Também vale destacar que o artigo não para no caminho feliz. No final, são analisadas as falhas mais comuns: Connection refused, quando o Ollama não está rodando; Model not found, quando o nome do modelo no código não bate com o instalado; primeira resposta lenta demais por causa do carregamento do modelo na memória; erro ModuleNotFoundError, quando o pacote foi instalado no ambiente errado; e problemas de codificação no PowerShell.

Para um desenvolvedor iniciante, esse bloco costuma valer mais que a teoria, porque é justamente nesses detalhes que a maioria dos primeiros experimentos quebra. O autor já anunciou a continuação da série: na segunda parte, a requisição isolada vai virar um pequeno chat de console, e depois entram o histórico de mensagens e o contexto. Ou seja, não se trata de um snippet solto, e sim de uma porta de entrada bem organizada para um percurso mais longo — da execução local do modelo até uma aplicação completa.

Esse formato é especialmente útil para quem quer ir além de rodar uma demo e transformar, etapa por etapa, um LLM em parte de um projeto Python comum.

O que isso significa O interesse por modelos locais voltou a crescer,

e materiais como este reduzem a barreira de entrada melhor do que qualquer panorama genérico. A dupla Ollama e LiteLLM mostra que dá para montar o primeiro protótipo funcional sem nuvem e sem chaves de API e, se for o caso, escalar depois a mesma arquitetura. Para desenvolvedores de língua russa, é uma boa ponte entre a curiosidade por LLMs e o código de verdade. São justamente instruções assim que costumam transformar interesse em prática.