Machine Learning Mastery explica cómo construir RAG de contexto largo sin gastar tokens de más

El 15 de abril de 2026, Machine Learning Mastery publicó una guía práctica sobre cómo construir RAG de contexto largo sin gastar tokens de más y sin perder calidad en las respuestas. La conclusión principal del artículo es sencilla: incluso los modelos con ventanas de cientos de miles o millones de tokens no eliminan la necesidad de RAG, sino que obligan a rediseñar su arquitectura.

Por qué un contexto largo no basta

Hace poco, el consejo estándar para RAG era dividir los documentos en fragmentos pequeños, convertirlos en embeddings y recuperar los más relevantes. Lo imponían las limitaciones de los propios LLM: el contexto era caro y se agotaba rápido. Ahora los desarrolladores tienen modelos con ventanas de un millón de tokens y la tentación es evidente: cargar en el prompt todo el reglamento, todas las instrucciones o la base de conocimiento entera.

Sin embargo, en la práctica este enfoque choca enseguida con dos problemas. El primero es el efecto Lost in the Middle: el modelo detecta peor la información importante si está enterrada en medio de un contexto largo. El segundo es el coste: pasar un volumen enorme de texto por el modelo en cada consulta es lento y caro.

Como resultado, el RAG de contexto largo deja de ser la tarea de «cómo meter más texto» y pasa a ser la de «cómo darle al modelo exactamente el contexto al que de verdad prestará atención».

Cinco técnicas que funcionan

Machine Learning Mastery no ofrece una bala de plata, sino un conjunto de métodos prácticos que se pueden combinar en un mismo pipeline. La idea es no limitarse a buscar documentos, sino controlar el orden, el volumen y la forma de entregar el contexto al modelo. Es un cambio notable frente al enfoque clásico de RAG, donde tras el retrieval los fragmentos encontrados se enviaban casi automáticamente al prompt, sin lógica adicional ni control de calidad en cada paso.

• Reranking tras el retrieval: primero se toma un conjunto ampliado de candidatos y luego se reordena con un modelo aparte.
• Context caching: se carga el documento grande en la caché una sola vez y después se pasa al modelo solo la pregunta y una referencia a ese contexto.
• Dynamic chunking + metadata filters: se divide los documentos en bloques con sentido y se filtran por secciones, fechas, páginas y otros metadatos.
• Hybrid retrieval: se combina la búsqueda semántica con la búsqueda exacta por palabras clave para no perder coincidencias literales en consultas técnicas.
• Query expansion: se amplía la pregunta original con formulaciones adicionales si el usuario la planteó de forma demasiado general o coloquial.

Lo más interesante no es la lista en sí, sino cómo se conectan las técnicas. Por ejemplo, el artículo recomienda extraer de la base vectorial no el top 5, sino, digamos, el top 20 de candidatos, pasarlos por un reranker y solo después colocar los mejores documentos en el prompt de forma estratégica: el más relevante al principio, el segundo en importancia al final y el resto entre ambos. Así el desarrollador no pelea contra las limitaciones de la atención del modelo, sino que se adapta a ellas.

Cómo cambia el pipeline

El artículo muestra bien que el RAG moderno para contexto largo se parece más a la ingeniería de búsqueda que al simple «retrieve-and-dump». Si tienes una base de conocimiento estática, como un manual extenso o un reglamento interno, el context caching evita reprocesar cientos de miles de tokens y reduce notablemente la latencia. Es especialmente útil para chatbots de soporte y asistentes internos que responden una y otra vez sobre el mismo corpus de documentos.

Otra capa importante son los metadatos y la búsqueda híbrida. El retrieval semántico entiende bien el significado, pero puede pasar por alto el nombre exacto de un parámetro, un código de error o un número de sección. La búsqueda por palabras clave, en cambio, se agarra a las coincidencias literales. Por eso el autor aconseja unir ambos canales y combinar sus resultados mediante rank fusion. Encima se añade el filtrado por la estructura del documento: primero se descartan secciones, fechas o páginas irrelevantes y solo después se lanza la similarity search. Esto reduce el ruido y deja el contexto final notablemente más limpio.

Por último, la query expansion ayuda cuando el usuario formula la pregunta de forma distinta a como está escrita la información en los documentos. Si alguien pregunta «qué hacer si suena la alarma de incendios», el sistema puede generar además variantes como «procedimiento de evacuación», «punto de reunión» o «salida de emergencia». Así, el retrieval encuentra no solo coincidencias directas, sino también instrucciones cercanas en significado. Es especialmente valioso para el conocimiento corporativo, los documentos de compliance y la documentación técnica.

Qué significa

El artículo de Machine Learning Mastery recoge un cambio importante: los modelos de contexto largo no han matado el RAG, lo han madurado. Ahora ganan no los equipos que cargan el máximo de texto en el prompt, sino los que saben ordenar, filtrar, cachear y reutilizar el contexto con criterio. Para los equipos de producto, esto supone menos gasto en tokens, menor latencia y respuestas más predecibles sobre corpus largos de documentos. Eso se está convirtiendo en el nuevo estándar para los asistentes de IA corporativos.