Habr explica por que modelos de linguagem e o RAG clássico perdem a noção das conexões

O Habr publicou uma análise sobre por que a euforia em torno dos grandes modelos de linguagem e do RAG começa a esbarrar em limites de arquitetura. A ideia central é simples: o modelo pode trabalhar com segurança com documentos, mas isso não significa que ele realmente entenda o conhecimento e as conexões entre os fatos.

Por que o RAG decolou

O RAG virou rapidamente a forma padrão de «conectar» um grande modelo de linguagem aos dados corporativos. A lógica é clara: o modelo formula bem as respostas, resume textos complexos e mantém o estilo, mas, sem memória externa, fica limitado ao que aprendeu previamente.

Basta adicionar uma busca em documentos e o sistema passa a parecer um analista universal: responde com base em regulamentos, resume contratos, monta relatórios e ajuda a encontrar os trechos necessários sem retreinar o modelo.

Em volumes pequenos de dados, essa abordagem realmente impressiona. Se a base de conhecimento tem dezenas de arquivos e as perguntas são bastante diretas, o RAG clássico recupera trechos relevantes quase sem erros, os passa ao contexto do modelo e obtém uma resposta coerente. Por isso o esquema pegou rápido em suporte, assistentes internos, serviços jurídicos, produtos educacionais e análise de dados: é relativamente simples de implantar e o retorno prático aparece logo.

Onde começa a falha

O problema é que o RAG, por natureza, continua sendo uma camada de busca acoplada ao modelo, e não um sistema de conhecimento completo. Ele sabe encontrar trechos de texto semelhantes, mas não garante a compreensão de causalidade, hierarquias e vínculos ocultos entre entidades.

Quando a informação está espalhada por vários documentos, a resposta muitas vezes não pode ser tirada de um único parágrafo: ela precisa ser montada a partir de vários fatos e etapas intermediárias de raciocínio. Para uma pessoa, isso é natural; para o RAG clássico, já é um caso-limite.

• o sistema devolve os trechos mais parecidos, não necessariamente os mais importantes;
• à medida que a base de conhecimento cresce, é fácil que um trecho crítico não entre no contexto;
• uma janela de contexto grande não resolve o problema de seleção e ordem dos dados;
• o modelo ainda pode misturar fontes e generalizar de forma ousada demais.

Por isso, o modelo pode dizer com sinceridade que não há dados suficientes, embora a cadeia de fatos necessária já esteja nos documentos.

O artigo traz um exemplo simples: se em um texto Alice está ligada a Bob, e em outro Bob estudou as pinturas de Leonardo da Vinci, uma pessoa consegue construir a conexão intermediária. Um sistema de busca baseado em similaridade textual costuma procurar uma confirmação direta e não dá esse passo sozinho. É assim que aparece a distância entre «buscar o que é parecido» e trabalhar de fato com conhecimento.

Para que servem as ontologias

O autor conduz à ideia de que a próxima etapa dos sistemas de IA corporativos é uma representação mais explícita do conhecimento. Quando se contam centenas de milhares ou milhões de documentos, guardar o significado como um conjunto de chunks e representações vetoriais fica inconveniente. É preciso uma estrutura em que entidades, suas propriedades e suas relações sejam definidas de forma explícita, e não reconstruídas toda vez, na hora, a partir de pedaços de texto. Caso contrário, o sistema continua dependendo da sorte da busca e da qualidade da formulação da consulta.

É aqui que as ontologias voltam a ser relevantes, um tema que por muito tempo pareceu acadêmico demais para a IA aplicada. Na lógica do artigo, não se trata de abandonar os modelos de linguagem ou o RAG, mas de criar a camada seguinte por cima deles. O modelo continua necessário para a comunicação em linguagem natural, mas a própria base de conhecimento deve descrever o mundo não só com texto, e sim com relações. Essa abordagem é mais difícil de implementar, mas se adapta melhor a tarefas em que importam dependências, causalidade, cruzamentos entre objetos e longas cadeias de inferência.

O que isso significa

O boom do RAG não vai desaparecer, mas o mercado vai aos poucos encostando no teto da tecnologia. Se um sistema de IA precisa fazer mais do que buscar parágrafos, ou seja, explicar vínculos entre fatos e tirar conclusões consistentes sobre grandes volumes de dados, só uma base vetorial já não basta. A próxima onda será das soluções que combinarem modelos de linguagem com estruturas de conhecimento mais rigorosas.