Crawl4AI limpia paginas web para RAG y limita el rastreo a 25 documentos

Los sistemas RAG tienen una caracteristica desagradable: un modelo caro no sirve de mucho si menus, pies de pagina, bloques repetidos y paginas irrelevantes acaban en la base de conocimiento. El usuario pregunta por la devolucion de un producto, pero la busqueda le entrega la navegacion del sitio y una lista de articulos relacionados. La respuesta parece convincente, pero se apoya en el texto equivocado.

AWS mostro una canalizacion practica para estos casos: Crawl4AI rastrea las paginas permitidas, las limpia, guarda el contenido principal en Markdown y agrega metadatos a cada documento. Los archivos se almacenan en S3, mientras que Amazon Bedrock Knowledge Bases se encarga de la fragmentacion, los embeddings, la indexacion y la busqueda.

Cuando basta con el rastreador integrado

AWS recomienda comenzar con el Amazon Bedrock Web Crawler estandar. Se le proporcionan direcciones iniciales o mapas del sitio y se configuran los limites del rastreo y la frecuencia de las solicitudes. Respeta robots.txt, puede esperar al contenido cargado mediante JavaScript y, tras el primer rastreo completo, sincroniza unicamente las paginas agregadas, modificadas o eliminadas.

Es una opcion razonable para documentacion o sitios de consulta en los que el texto util ya esta bien separado de la presentacion. No es necesario desplegar un rastreador propio, conservar su estado ni supervisar su escalado.

Crawl4AI entra en escena cuando se necesita controlar el contenido antes de cargarlo. Por ejemplo, la pagina de un servicio municipal puede incluir una cabecera, un catalogo de secciones, noticias y un unico bloque con las normas para obtener un permiso. La canalizacion puede seleccionar ese bloque con un selector CSS, eliminar el resto del ruido y conservar encabezados, listas y tablas en Markdown. Al documento se le pueden adjuntar la direccion de origen, la hora del rastreo, el tipo de contenido y una categoria personalizada; estos campos serviran despues para filtrar las busquedas.

Como funciona la canalizacion

EventBridge inicia, conforme a una programacion, una tarea de ECS en Fargate. Esta lee la configuracion desde Systems Manager Parameter Store, rastrea los sitios indicados y comprueba los limites tanto para las direcciones iniciales como despues de las redirecciones. La amplitud del rastreo puede limitarse por dominio, ruta, profundidad, patrones de URL y numero maximo de paginas. Esto evita que el rastreador pase inesperadamente a una seccion vecina o empiece a recopilar todo el sitio.

Por cada pagina procesada correctamente se crean dos archivos: un documento Markdown y un archivo adyacente llamado page.md.metadata.json. La fuente de S3 en Bedrock espera exactamente este nombre. El archivo de metadatos esta limitado a 10 KB; en el ejemplo de AWS, el procesamiento se detiene antes de escribir cualquiera de los dos archivos si se supera ese limite.

Una vez cargado el conjunto actual de documentos, la tarea inicia un ingestion job. Bedrock analiza los materiales nuevos, crea fragmentos y embeddings y, a continuacion, actualiza el indice vectorial. En una base de conocimiento administrada, el propio servicio escala el almacenamiento.

Que comprobar antes de produccion

La principal trampa es la fragmentacion de documentos. En una base de conocimiento administrada, el modo predeterminado crea fragmentos de 300 tokens con un solapamiento del 20%. Es posible definir otro tamano fijo o desactivar por completo la fragmentacion para archivos preparados previamente. Sin embargo, la estrategia elegida no puede cambiarse en una fuente existente: para experimentar hay que crear una nueva.

Por eso, conviene empezar con varias paginas representativas y un conjunto de preguntas reales de los usuarios. Compare el Web Crawler integrado con el Markdown limpio y revise los fragmentos encontrados y los enlaces a las fuentes. El filtro heuristico de Crawl4AI puede eliminar no solo la navegacion, sino tambien un bloque util, por lo que es necesario revisar manualmente una muestra representativa.

Este ejemplo esta pensado para la carga por lotes desde sitios publicos conocidos, no para acceder a internet mientras se genera una respuesta. Las secciones autenticadas tambien exigen trabajo adicional con sesiones, Secrets Manager y seguridad. La conclusion practica es sencilla: empiece con el rastreador estandar de Bedrock y agregue Crawl4AI solo cuando la limpieza, la extraccion precisa y los metadatos personalizados mejoren de forma apreciable las respuestas a sus preguntas de evaluacion.