Machine Learning Mastery explicó cómo construir long-context RAG sin tokens extra

El 15 de abril de 2026, Machine Learning Mastery publicó un análisis práctico sobre cómo construir RAG con contexto largo sin desperdiciar tokens extras y sin perder la calidad de las respuestas. La conclusión principal del artículo es simple: incluso los modelos con ventanas de cientos de miles y millones de tokens no eliminan RAG, sino que fuerzan la reconstrucción de su arquitectura.

Por Qué el Contexto Largo No Salva

Hace poco tiempo, el consejo estándar para RAG sonaba así: dividir documentos en fragmentos pequeños, convertirlos en embeddings y recuperar los fragmentos más relevantes. Esto fue impulsado por las limitaciones de los propios LLMs: el contexto era caro y se agotaba rápidamente. Ahora los desarrolladores tienen modelos con ventanas de un millón de tokens, y la tentación es obvia — simplemente cargar la regulación completa, todas las instrucciones o toda la base de conocimiento en el prompt.

Pero en la práctica, este enfoque rápidamente se encuentra con dos problemas. El primero es el efecto Lost in the Middle, cuando el modelo se desempeña peor al notar información importante si está escondida en medio de un contexto largo. El segundo es el costo: procesar un enorme volumen de texto a través del modelo en cada solicitud es lento y caro.

Como resultado, RAG con contexto largo se transforma de una tarea de "cómo meter más texto" en una tarea de "cómo darle al modelo exactamente el contexto al que realmente prestará atención".

Cinco Técnicas que Funcionan

Machine Learning Mastery ofrece no una bala de plata, sino un conjunto de trucos prácticos que pueden combinarse en un pipeline. La idea es no solo buscar documentos, sino administrar el orden, volumen y método de entrega de contexto al modelo. Este es un cambio notable del enfoque RAG antiguo, donde después de la recuperación los fragmentos encontrados se enviaban casi automáticamente al prompt sin lógica adicional en cada paso y control de calidad.

• Reranking después de recuperación — primero tomar un conjunto expandido de candidatos, luego reordenarlos con un modelo separado.
• Caching de contexto — cargar un documento grande en caché una vez y luego pasar solo la pregunta y referencia a este contexto al modelo.
• Chunking dinámico + filtros de metadatos — dividir documentos en bloques significativos y filtrarlos por secciones, fechas, páginas y otros metadatos.
• Recuperación híbrida — combinar búsqueda semántica y búsqueda exacta por palabra clave para no perder coincidencias literales en consultas técnicas.
• Expansión de consulta — ampliar la pregunta original con formulaciones adicionales si el usuario la hizo demasiado genéricamente o conversacionalmente.

La parte más interesante no es la lista en sí, sino cómo se interconectan las técnicas. Por ejemplo, el artículo recomienda primero recuperar no los top-5, sino, digamos, top-20 candidatos de la base de datos vectorial, luego pasarlos a través de un reranker y solo después colocar los mejores documentos en el prompt estratégicamente: el más relevante al principio, el segundo más importante al final, el resto en medio. De esta manera el desarrollador no lucha contra las limitaciones de la atención del modelo, sino que se adapta a ellas.

Cómo Cambia el Pipeline

El artículo muestra claramente que RAG moderno para contexto largo se está volviendo más cercano a la ingeniería de búsqueda que al simple "retrieve-and-dump". Si tienes una base de conocimiento estática, como un manual voluminoso o regulaciones internas, el caching de contexto elimina la necesidad de reprocesar cientos de miles de tokens y reduce significativamente la latencia. Esto es especialmente útil para chatbots de soporte y asistentes internos que repetidamente responden desde el mismo corpus de documentos.

Otra capa importante es metadatos y búsqueda híbrida. La recuperación semántica entiende bien el significado, pero puede perder el nombre exacto de un parámetro, código de error o número de sección. La búsqueda por palabra clave, por el contrario, se aferra a coincidencias literales. Por lo tanto, el autor aconseja combinar ambos canales y traer sus resultados juntos a través de rank fusion. Encima de esto, se agrega filtrado por estructura del documento: secciones innecesarias, fechas o páginas se cortan primero, y solo entonces se ejecuta la búsqueda de similitud. Esto reduce ruido y hace el contexto final notablemente más limpio.

Finalmente, la expansión de consulta ayuda en casos donde el usuario formula una pregunta diferentemente de cómo se registra la información en los documentos. Si una persona pregunta "qué hacer si se activa la alarma de incendio," el sistema puede generar opciones adicionales como "procedimiento de evacuación," "punto de reunión," o "salida de emergencia." A través de esto, la recuperación encuentra no solo coincidencias directas, sino también instrucciones semánticamente cercanas. Para conocimiento corporativo, documentos de cumplimiento y documentación técnica, esto es especialmente valioso.

Qué Significa Esto

El artículo de Machine Learning Mastery fija un cambio importante: los modelos con contexto largo no mataron RAG, lo hicieron más maduro. Ahora no son los equipos que cargan la cantidad máxima de texto en el prompt los que ganan, sino aquellos que saben cómo clasificar, filtrar, cachear y reutilizar contexto adecuadamente. Para equipos de producto, esto significa costos de token más bajos, latencia más baja y respuestas más predecibles en corpus de documentos largos. Esto es exactamente lo que se convierte en el nuevo estándar para asistentes de IA corporativos.