Autor do Habr montou um sistema de busca agêntica com modelos open source e testou onde ele quebra

O Habr publicou a análise de um experimento que hoje muitas equipes repetem: uma busca agêntica com modelos abertos, no lugar de um serviço pronto como o Deep Research. O autor deixa o motivo claro desde o início. Economizar na assinatura não lhe interessa. Ele quer descobrir qual é o mínimo de stack tecnológico necessário para o agente encontrar uma informação específica, apresentar uma fonte que possa ser verificada e não inventar um link. O anúncio não traz números. O custo das execuções e as falhas concretas ficaram para o texto completo, e aqui nos baseamos apenas na formulação do problema divulgada.

Que problema o autor resolve

O título promete três coisas: quem o agente encontrou, quanto gastou e onde tudo quebrou. É uma boa moldura para o teste. Uma busca agêntica é fácil de mostrar num exemplo bem-sucedido, mas difícil de medir com honestidade. A tarefa de "encontrar uma pessoa ou um fato específico" não foi escolhida por acaso. Ela tem uma resposta de referência, o que permite distinguir uma descoberta real de uma invenção plausível.

Há ainda o requisito de "controle próprio sobre as fontes". Os agentes comerciais navegam pela web por conta própria, e o usuário vê apenas o relatório final. Num sistema montado em casa, é possível limitar os domínios, registrar cada requisição em log e salvar a página da qual a citação foi extraída.

Do que costuma ser feito um stack desse tipo

O autor não lista os componentes no anúncio, então o que segue é o esquema geral usado para construir sistemas parecidos. Não é a descrição da arquitetura dele.

• Camada de busca: um metabuscador ou uma API de resultados que devolve uma lista de URLs.
• Carregador de páginas: obtém o HTML, o limpa até virar texto legível e lida com JavaScript e bloqueios.
• Planejador: uma LLM aberta que divide a pergunta em subconsultas e decide quando parar.
• Extrator: tira da página o fato necessário, junto com a citação literal.
• Verificador: confirma que o URL existe e que a citação realmente está na página.

O último item responde à pergunta central do autor. O link inventado surge quando o modelo monta a resposta de memória, e não a partir do documento carregado. Se cada URL da resposta passa pela checagem "página aberta, citação encontrada", a alucinação de link deixa de ser um erro invisível e vira um resultado rejeitado.

Onde esses sistemas costumam quebrar

O título diz diretamente que algo quebrou. Os pontos de falha típicos da busca agêntica são bem conhecidos, e é provável que o autor descreva parte deles.

O primeiro ponto é a qualidade dos resultados de busca. Se a camada de busca não devolveu a página certa, nem um modelo forte consegue inventá-la ou encontrá-la. O segundo são as cadeias longas de passos. Modelos abertos pequenos sustentam pior um plano ao longo de dezenas de chamadas de ferramentas e tendem a entrar em loop ou a encerrar a busca cedo demais. O terceiro é o contexto. Páginas brutas enchem a janela rapidamente, e os tokens gastos na leitura determinam diretamente o custo. O quarto são homônimos e dados desatualizados. O agente pode combinar, com confiança, fatos sobre pessoas diferentes.

Como usar essa abordagem na prática

Se você está construindo um sistema parecido, aproveite da formulação do autor os critérios de avaliação, e não a arquitetura específica. Monte um conjunto de perguntas com respostas conhecidas e calcule várias métricas sobre ele:

• proporção de respostas com link funcionando;
• proporção de respostas em que a citação aparece literalmente na página;
• custo de uma resposta bem-sucedida, e não de uma execução;
• número de passos até a parada e proporção de execuções em loop.

O custo da resposta bem-sucedida pesa mais do que o preço da execução. Um modelo barato que falha em metade dos casos pode sair mais caro do que um modelo caro. Para comparar o seu stack com os resultados do autor, é preciso ter os números reais dele, e eles estão apenas no artigo completo no Habr.