Início 23/11Turma 3 ao vivo de Vibe Coding & Agentes de IA: 3 semanas, 9 aulas ao vivoTurma 3 (23/11) →
LançamentoAnálise · No radarHabr AI→ original

Habr AI mostra como adicionar memória e contexto a um chat LLM em Python com Ollama e LiteLLM

Na terceira parte da série sobre chat LLM em Python, o autor adiciona o que impede o diálogo de ser um conjunto de requisições isoladas: o histórico de mensagens. O aplicativo agora envia ao modelo não só a pergunta nova, mas também as falas anteriores, salva pares user/assistant e corta a memória para as últimas seis mensagens. Isso já basta para um chat local com Ollama e LiteLLM entender referências como "deixe mais curto" ou "fale mais sobre o segundo ponto".

Processado por IA de Habr AI; editado por Hamidun News
Habr AI mostra como adicionar memória e contexto a um chat LLM em Python com Ollama e LiteLLM
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo

Um chat de console simples com um LLM deixa de ser um chat de verdade se o modelo enxerga apenas a pergunta atual. Na nova parte do guia prático sobre Python, Ollama e LiteLLM, o autor mostra o passo mais importante depois da integração básica: como adicionar o histórico de mensagens e transformar uma sequência de requisições separadas em um diálogo coerente, com contexto.

O problema da versão anterior era que, a cada turno, o programa enviava ao modelo apenas a instrução de sistema e a última mensagem do usuário. Para uma pessoa, essa limitação passa quase despercebida até surgirem perguntas dependentes, como "deixe isso mais curto" ou "adicione prática a isso". Sem as mensagens anteriores, o modelo não sabe a que se referem os pronomes e os esclarecimentos, e por isso pode responder de forma aleatória ou perder o fio da conversa. É exatamente isso que separa uma chamada avulsa ao modelo de uma interface de diálogo.

A análise destaca um ponto que costuma ser simplificado nas discussões sobre LLMs: o modelo não tem memória oculta de longo prazo entre as chamadas. A memória nesse chat não é criada pelo Ollama nem pelo LiteLLM, mas pelo aplicativo, que guarda a conversa e a reenvia ao modelo a cada nova requisição. No exemplo didático, usa-se uma lista comum de Python, conversation_history, onde as mensagens com os papéis user e assistant são adicionadas em sequência. O system prompt não fica no histórico; ele é adicionado separadamente a cada montagem da requisição.

Em termos de arquitetura, a mudança parece pequena, mas altera radicalmente o comportamento do programa. A função de envio agora recebe não só o user_message atual, mas também o histórico. Depois, a lista messages é montada em ordem estrita: system, depois todas as falas passadas e, por fim, a nova pergunta do usuário. Após a resposta do modelo, o aplicativo salva os dois lados da troca: pergunta e resposta. Não é um detalhe decorativo: se apenas as mensagens do usuário forem registradas, a próxima requisição ficará incompleta, porque o modelo verá que uma pergunta foi feita, mas não como ele mesmo respondeu.

O limite do histórico também é tratado à parte. O exemplo introduz a constante MAX_HISTORY_MESSAGES = 6, e a função auxiliar trim_history mantém apenas as últimas seis mensagens, ou seja, as três últimas trocas. Para um protótipo local, é um meio-termo prático: o histórico não cresce indefinidamente, as requisições não incham e o modelo ainda recebe o contexto mais próximo. É uma boa forma de mostrar que, em aplicações com LLM, a memória sempre precisa equilibrar qualidade da resposta, latência e custo ou carga, mesmo com um modelo local.

O artigo usa uma configuração local baseada em Ollama, LiteLLM e no modelo qwen2.5:3b. Essa stack é boa para aprendizado porque permite montar um chat funcional sem API externa e sem infraestrutura complexa. Os exemplos mostram bem como a reação do sistema muda depois que o histórico é adicionado: o pedido "fale mais sobre o segundo" passa a se referir corretamente à lista anterior, e a frase "deixe mais curto" deixa de ser tratada como um comando abstrato isolado. Ou seja, o modelo não fica mais inteligente por conta própria, mas o aplicativo lhe dá o contexto que antes se perdia.

As limitações da versão também são apontadas com franqueza. Todo o histórico fica apenas na memória RAM da execução atual: se o script for fechado, o diálogo desaparece. Para uma CLI didática isso basta, mas um bot de Telegram, um serviço web ou um assistente para clientes vai precisar de armazenamento persistente, ao menos em arquivo, SQLite ou um banco de dados completo. Os próximos passos costumam incluir ainda a sumarização de diálogos longos, a filtragem de mensagens irrelevantes e um gerenciamento mais flexível da janela de contexto.

A principal conclusão desta parte é bem pé no chão e, por isso, útil: a memória em um chat LLM não é uma função mágica separada do modelo, mas uma responsabilidade comum do código ao redor dele. Poucas linhas com conversation_history, a ordem correta de messages e um limite simples para o tamanho do histórico já transformam um script de demonstração na base de um assistente mais realista. Para os desenvolvedores, é um bom exemplo de que o valor de uma interface de chat muitas vezes nasce não da escolha do modelo, mas de quão cuidadosamente o aplicativo reúne e transmite o contexto da conversa.

História
ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…