Crawl4AI limpa paginas da web para RAG e limita o rastreamento a 25 documentos

Os sistemas RAG tem uma caracteristica desagradavel: um modelo caro nao resolve o problema se menus, rodapes, blocos repetidos e paginas irrelevantes entrarem na base de conhecimento. O usuario pergunta sobre a devolucao de um produto, mas a busca apresenta a navegacao do site e uma lista de artigos relacionados. A resposta parece segura, mas se baseia no texto errado.

A AWS apresentou um pipeline pratico para esses casos: o Crawl4AI rastreia as paginas permitidas, faz a limpeza, salva o conteudo principal em Markdown e adiciona metadados a cada documento. Os arquivos vao para o S3, enquanto o Amazon Bedrock Knowledge Bases cuida da fragmentacao, dos embeddings, da indexacao e da busca.

Quando o crawler integrado e suficiente

A AWS recomenda comecar pelo Amazon Bedrock Web Crawler padrao. Voce fornece URLs iniciais ou mapas do site e configura os limites do rastreamento e a frequencia das requisicoes. Ele respeita o robots.txt, consegue aguardar o conteudo carregado por JavaScript e, depois do primeiro rastreamento completo, sincroniza apenas as paginas adicionadas, alteradas ou removidas.

Essa e uma opcao sensata para documentacao ou sites de referencia nos quais o texto util ja esta bem separado da apresentacao. Nao e necessario implantar um crawler proprio, manter seu estado ou administrar seu dimensionamento.

O Crawl4AI entra em cena quando e preciso controlar o conteudo antes da ingestao. Por exemplo, a pagina de um servico municipal pode ter um cabecalho, um catalogo de secoes, noticias e apenas um bloco com as regras para obter uma autorizacao. O pipeline pode selecionar esse bloco com um seletor CSS, remover o restante do ruido e preservar titulos, listas e tabelas em Markdown. A URL de origem, o horario do rastreamento, o tipo de conteudo e uma categoria personalizada podem ser anexados ao documento; depois, esses campos podem ser usados para filtrar a busca.

Como o pipeline funciona

De acordo com uma programacao, o EventBridge inicia uma tarefa do ECS no Fargate. Ela le as configuracoes no Systems Manager Parameter Store, rastreia os sites definidos e verifica os limites tanto para as URLs iniciais quanto depois dos redirecionamentos. A abrangencia do rastreamento pode ser limitada por dominio, caminho, profundidade, padroes de URL e numero maximo de paginas. Isso impede que o crawler entre inesperadamente em uma secao vizinha ou comece a coletar o site inteiro.

Para cada pagina processada com sucesso, sao criados dois arquivos: um documento Markdown e um arquivo adjacente chamado page.md.metadata.json. Esse e exatamente o nome esperado pela fonte do S3 no Bedrock. O arquivo de metadados tem um limite de 10 KB; o exemplo da AWS interrompe o processamento antes de gravar qualquer um dos dois arquivos caso o limite seja excedido.

Depois que o conjunto atual de documentos e enviado, a tarefa inicia um ingestion job. O Bedrock analisa os novos materiais, cria fragmentos e embeddings e, em seguida, atualiza o indice vetorial. Em uma base de conhecimento gerenciada, o proprio servico dimensiona o armazenamento.

O que verificar antes da producao

A principal armadilha e a fragmentacao dos documentos. Em uma base de conhecimento gerenciada, o modo padrao cria fragmentos de 300 tokens com sobreposicao de 20%. E possivel definir outro tamanho fixo ou desativar completamente a fragmentacao para arquivos preparados com antecedencia. No entanto, a estrategia escolhida nao pode ser alterada em uma fonte existente: para experimentar, sera necessario criar uma nova.

Por isso, comece selecionando algumas paginas tipicas e um conjunto de perguntas reais dos usuarios. Compare o Web Crawler integrado com o Markdown limpo e verifique os fragmentos encontrados e os links para as fontes. O filtro heuristico do Crawl4AI pode remover nao apenas a navegacao, mas tambem um bloco util, portanto uma amostra representativa precisa ser analisada manualmente.

Este exemplo foi projetado para ingestao em lote a partir de sites publicos conhecidos, e nao para acesso a internet durante a geracao de uma resposta. Secoes autenticadas tambem exigem trabalho separado com sessoes, Secrets Manager e seguranca. A conclusao pratica e simples: comece com o crawler padrao do Bedrock e adicione o Crawl4AI somente quando a limpeza, a extracao precisa e os metadados personalizados melhorarem de forma perceptivel as respostas as suas perguntas de avaliacao.