Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
LançamentoArtigo científico · Para P&DHabr AI→ original

Sber: grafo de conhecimento Yago quase não ajudou a busca, enquanto o LightRAG somou 12 p.p. de precisão

O Sber investigou por que um grafo de conhecimento, sozinho, não salva a busca. A primeira abordagem, com o grafo Yago pronto, rendeu apenas +3 p.p. isoladamente e quase não afetou o resultado geral. Já o LightRAG, construído sobre documentos próprios, resolveu 74% das perguntas que a busca antes deixava passar e acrescentou 12 p.p. de precisão no benchmark completo.

Processado por IA de Habr AI; editado por Hamidun News
Sber: grafo de conhecimento Yago quase não ajudou a busca, enquanto o LightRAG somou 12 p.p. de precisão
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Dado-chave #1Conectaram fontes adicionais, incluindo o IMDB, mas sem agregação complexa de dados no nível do banco
Dado-chave #2Tentaram ranquear entidades por relevância, por exemplo pelo número de ligações de cada nó
Dado-chave #3Alteraram os limites após o ranqueamento para equilibrar a completude do contexto e seu tamanho

O Sber contou como tentou melhorar a qualidade da busca interna com um grafo de conhecimento e RAG híbrido. A primeira tentativa, com um grafo universal pronto, quase não teve efeito. Já a mudança para o LightRAG e para um corpus próprio de documentos elevou de forma visível a precisão das respostas.

Por que o grafo não decolou

A busca em parte dos serviços do Sber já usava esquemas vetoriais e híbridos, mas a equipe esbarrou nas limitações típicas dessa abordagem. Um documento precisa ser comprimido em um único vetor, e por isso nuances se perdem; a proximidade semântica nem sempre significa que o documento realmente responde à pergunta; e consultas multi-hop, que exigem passar por várias entidades e documentos, são mal resolvidas pela busca vetorial comum. Daí surgiu a hipótese: se um grafo de conhecimento for adicionado como fonte separada de contexto, as respostas ficarão mais precisas e estáveis.

Para testar, a equipe usou o SimpleQA da OpenAI traduzido para o russo, com 4326 perguntas factuais, e um esquema llm-as-a-judge para avaliação automática. O primeiro protótipo foi construído sobre o Yago 4.5, um dos maiores grafos de conhecimento abertos, carregado no Apache Jena Fuseki, com uma API e um agente por cima dos dados. O pipeline era clássico: extração de entidades da consulta, consulta em template ao banco de grafos, ranqueamento dos nós e relações encontrados e, por fim, resumo da resposta por um LLM. No papel, tudo parecia convincente, mas nos números o ganho foi fraco.

13 experimentos seguidos

Depois das primeiras medições, a equipe montou uma bancada de testes separada e rodou 13 experimentos com 184 medições. Primeiro testou o grafo puro e depois a combinação do grafo com a busca comum, por meio de um reranker que reunia um único top de candidatos para a resposta. A conclusão básica foi desagradável: no ruSimpleQA, o grafo isolado rendeu apenas +3 p.p., e junto com a busca atual o resultado não saiu da margem de erro estatístico.

  • Conectaram fontes adicionais, incluindo o IMDB, mas sem agregação complexa de dados no nível do banco
  • Tentaram ranquear entidades por relevância, por exemplo pelo número de ligações de cada nó
  • Alteraram os limites após o ranqueamento para equilibrar a completude do contexto e seu tamanho
  • Testaram um percurso inteligente do grafo com até três níveis de profundidade e busca em largura de um ou dois saltos
  • Adicionaram busca vetorial sobre embeddings de nós e algoritmos de grafos, como a busca de rota entre entidades

Os problemas não estavam só na infraestrutura, mas na natureza do próprio grafo. Para os embeddings era preciso usar descrições de entidades curtas e pobres, e por isso a busca vetorial sobre o grafo também era instável. O Yago se mostrou universal demais: cobre bem o mundo em geral, mas reflete mal a temática específica e as relações que importam para as consultas reais dos usuários. Além disso, cada etapa da cadeia do agente acrescentava um novo erro, da extração da entidade ao resumo final.

A virada para o LightRAG

Depois disso, a equipe mudou de estratégia: em vez de um grafo universal do mundo, decidiu construir o grafo diretamente a partir dos próprios documentos. Escolheu o LightRAG, um framework GraphRAG com busca em dois níveis, que combina relações locais entre entidades com uma visão temática mais ampla. O sistema primeiro extrai nós e relações do texto, depois os descreve, vetoriza os valores e armazena o grafo junto com os embeddings. Essa abordagem ajuda a não perder contexto entre chunks e não obriga o LLM a colar às cegas pedaços aleatórios de documentos diferentes.

“Lixo na entrada, com alta probabilidade, gera lixo na saída.”

O Sber indexou com o LightRAG um corpus de documentos escolhido para as perguntas que a busca em produção não respondia e rodou os benchmarks de novo. Desta vez o efeito foi claro: o LightRAG deu respostas corretas a 74% de algumas centenas de perguntas antes não cobertas e somou 12 p.p. de precisão no conjunto completo de 4326 consultas. Outro ponto positivo é o custo: o artigo diz que o LightRAG é cerca de 30–40 vezes mais barato que o Microsoft GraphRAG na etapa de indexação, com qualidade comparável.

O próximo passo é testar com tráfego de produção e acelerar a indexação, que por enquanto chega a cerca de 200 documentos por hora, mesmo em uma H100.

O que isso significa

A experiência do Sber mostra algo simples: um grafo de conhecimento grande, por si só, não deixa a busca mais inteligente. Importa muito mais o quanto o grafo está ligado ao seu domínio, como ele se conecta à busca vetorial e com quais falhas reais você o mede.

Para as equipes que constroem busca RAG, é um bom sinal para não correr atrás de uma demo bonita com grafo público, mas investir em um corpus de qualidade, retrieval híbrido e avaliação honesta em cenários reais.

História

Perguntas frequentes sobre a notícia

Por que o grafo não decolou?

A busca em parte dos serviços do Sber já usava esquemas vetoriais e híbridos, mas a equipe esbarrou nas limitações típicas dessa abordagem. Um documento precisa ser comprimido em um único vetor, e por isso nuances se perdem; a proximidade semântica nem sempre significa que o documento realmente responde à pergunta; e consultas multi-hop, que exigem passar por várias entidades e documentos, são mal resolvidas pela busca vetorial comum.

O que se sabe sobre 13 experimentos seguidos?

Depois das primeiras medições, a equipe montou uma bancada de testes separada e rodou 13 experimentos com 184 medições. Primeiro testou o grafo puro e depois a combinação do grafo com a busca comum, por meio de um reranker que reunia um único top de candidatos para a resposta. A conclusão básica foi desagradável: no ruSimpleQA, o grafo isolado rendeu apenas +3 p.p., e junto com a busca atual o resultado não saiu da margem de erro estatístico.

O que se sabe sobre A virada para o LightRAG?

Depois disso, a equipe mudou de estratégia: em vez de um grafo universal do mundo, decidiu construir o grafo diretamente a partir dos próprios documentos. Escolheu o LightRAG, um framework GraphRAG com busca em dois níveis, que combina relações locais entre entidades com uma visão temática mais ampla. O sistema primeiro extrai nós e relações do texto, depois os descreve, vetoriza os valores e armazena o grafo junto com os embeddings.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…