Por que a IA esquece a conversa: a janela de contexto dos LLMs

A janela de contexto de uma rede neural é uma característica de arquitetura. É ela que explica por que a IA não funciona como uma pessoa com memória, e sim como um especialista que relê toda a conversa do zero a cada vez antes de formular a resposta.

Por que a IA esquece partes da conversa?

A IA não esquece no sentido comum: ela não tem memória de trabalho nem de longo prazo. O modelo recebe a conversa inteira a cada vez, mas o volume de informação que consegue processar ao mesmo tempo é limitado pela janela de contexto. Quando a conversa fica longa demais, as mensagens mais antigas saem desse limite e o modelo deixa de vê-las.