Sber: grafo de conhecimento Yago quase não ajudou a busca, enquanto o LightRAG somou 12 p.p. de precisão
O Sber investigou por que um grafo de conhecimento, sozinho, não salva a busca. A primeira abordagem, com o grafo Yago pronto, rendeu apenas +3 p.p. isoladamente e quase não afetou o resultado geral. Já o LightRAG, construído sobre documentos próprios, resolveu 74% das perguntas que a busca antes deixava passar e acrescentou 12 p.p. de precisão no benchmark completo.
Processado por IA de Habr AI; editado por Hamidun News
O Sber contou como tentou melhorar a qualidade da busca interna com um grafo de conhecimento e RAG híbrido. A primeira tentativa, com um grafo universal pronto, quase não teve efeito. Já a mudança para o LightRAG e para um corpus próprio de documentos elevou de forma visível a precisão das respostas.
Por que o grafo não decolou
A busca em parte dos serviços do Sber já usava esquemas vetoriais e híbridos, mas a equipe esbarrou nas limitações típicas dessa abordagem. Um documento precisa ser comprimido em um único vetor, e por isso nuances se perdem; a proximidade semântica nem sempre significa que o documento realmente responde à pergunta; e consultas multi-hop, que exigem passar por várias entidades e documentos, são mal resolvidas pela busca vetorial comum. Daí surgiu a hipótese: se um grafo de conhecimento for adicionado como fonte separada de contexto, as respostas ficarão mais precisas e estáveis.
Para testar, a equipe usou o SimpleQA da OpenAI traduzido para o russo, com 4326 perguntas factuais, e um esquema llm-as-a-judge para avaliação automática. O primeiro protótipo foi construído sobre o Yago 4.5, um dos maiores grafos de conhecimento abertos, carregado no Apache Jena Fuseki, com uma API e um agente por cima dos dados. O pipeline era clássico: extração de entidades da consulta, consulta em template ao banco de grafos, ranqueamento dos nós e relações encontrados e, por fim, resumo da resposta por um LLM. No papel, tudo parecia convincente, mas nos números o ganho foi fraco.
13 experimentos seguidos
Depois das primeiras medições, a equipe montou uma bancada de testes separada e rodou 13 experimentos com 184 medições. Primeiro testou o grafo puro e depois a combinação do grafo com a busca comum, por meio de um reranker que reunia um único top de candidatos para a resposta. A conclusão básica foi desagradável: no ruSimpleQA, o grafo isolado rendeu apenas +3 p.p., e junto com a busca atual o resultado não saiu da margem de erro estatístico.
- Conectaram fontes adicionais, incluindo o IMDB, mas sem agregação complexa de dados no nível do banco
- Tentaram ranquear entidades por relevância, por exemplo pelo número de ligações de cada nó
- Alteraram os limites após o ranqueamento para equilibrar a completude do contexto e seu tamanho
- Testaram um percurso inteligente do grafo com até três níveis de profundidade e busca em largura de um ou dois saltos
- Adicionaram busca vetorial sobre embeddings de nós e algoritmos de grafos, como a busca de rota entre entidades
Os problemas não estavam só na infraestrutura, mas na natureza do próprio grafo. Para os embeddings era preciso usar descrições de entidades curtas e pobres, e por isso a busca vetorial sobre o grafo também era instável. O Yago se mostrou universal demais: cobre bem o mundo em geral, mas reflete mal a temática específica e as relações que importam para as consultas reais dos usuários. Além disso, cada etapa da cadeia do agente acrescentava um novo erro, da extração da entidade ao resumo final.
A virada para o LightRAG
Depois disso, a equipe mudou de estratégia: em vez de um grafo universal do mundo, decidiu construir o grafo diretamente a partir dos próprios documentos. Escolheu o LightRAG, um framework GraphRAG com busca em dois níveis, que combina relações locais entre entidades com uma visão temática mais ampla. O sistema primeiro extrai nós e relações do texto, depois os descreve, vetoriza os valores e armazena o grafo junto com os embeddings. Essa abordagem ajuda a não perder contexto entre chunks e não obriga o LLM a colar às cegas pedaços aleatórios de documentos diferentes.
“Lixo na entrada, com alta probabilidade, gera lixo na saída.”
O Sber indexou com o LightRAG um corpus de documentos escolhido para as perguntas que a busca em produção não respondia e rodou os benchmarks de novo. Desta vez o efeito foi claro: o LightRAG deu respostas corretas a 74% de algumas centenas de perguntas antes não cobertas e somou 12 p.p. de precisão no conjunto completo de 4326 consultas. Outro ponto positivo é o custo: o artigo diz que o LightRAG é cerca de 30–40 vezes mais barato que o Microsoft GraphRAG na etapa de indexação, com qualidade comparável.
O próximo passo é testar com tráfego de produção e acelerar a indexação, que por enquanto chega a cerca de 200 documentos por hora, mesmo em uma H100.
O que isso significa
A experiência do Sber mostra algo simples: um grafo de conhecimento grande, por si só, não deixa a busca mais inteligente. Importa muito mais o quanto o grafo está ligado ao seu domínio, como ele se conecta à busca vetorial e com quais falhas reais você o mede.
Para as equipes que constroem busca RAG, é um bom sinal para não correr atrás de uma demo bonita com grafo público, mas investir em um corpus de qualidade, retrieval híbrido e avaliação honesta em cenários reais.
- 18 de nov. de 2026Cinco IAs tentaram corrigir o mesmo bug: duas conseguiram, três quebraram ainda mais
- 18 de nov. de 2026Desenvolvedor dá "mãos" a chat de IA na web: servidor MCP com 14 ferramentas e 21 mil linhas de código
- 18 de nov. de 2026OpenAI lança o GPT-6.2 Astra: segundo lugar no ranking e preço 20% menor
- 18 de nov. de 2026Três utilitários de "economia de tokens" aumentaram a conta de agentes de IA em 18–46%
Perguntas frequentes sobre a notícia
Por que o grafo não decolou?
A busca em parte dos serviços do Sber já usava esquemas vetoriais e híbridos, mas a equipe esbarrou nas limitações típicas dessa abordagem. Um documento precisa ser comprimido em um único vetor, e por isso nuances se perdem; a proximidade semântica nem sempre significa que o documento realmente responde à pergunta; e consultas multi-hop, que exigem passar por várias entidades e documentos, são mal resolvidas pela busca vetorial comum.
O que se sabe sobre 13 experimentos seguidos?
Depois das primeiras medições, a equipe montou uma bancada de testes separada e rodou 13 experimentos com 184 medições. Primeiro testou o grafo puro e depois a combinação do grafo com a busca comum, por meio de um reranker que reunia um único top de candidatos para a resposta. A conclusão básica foi desagradável: no ruSimpleQA, o grafo isolado rendeu apenas +3 p.p., e junto com a busca atual o resultado não saiu da margem de erro estatístico.
O que se sabe sobre A virada para o LightRAG?
Depois disso, a equipe mudou de estratégia: em vez de um grafo universal do mundo, decidiu construir o grafo diretamente a partir dos próprios documentos. Escolheu o LightRAG, um framework GraphRAG com busca em dois níveis, que combina relações locais entre entidades com uma visão temática mais ampla. O sistema primeiro extrai nós e relações do texto, depois os descreve, vetoriza os valores e armazena o grafo junto com os embeddings.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.