Habr explica por qué los modelos de lenguaje y el RAG clásico pierden el hilo de las conexiones

Habr ha publicado un análisis sobre por qué la euforia en torno a los grandes modelos de lenguaje y RAG empieza a chocar con límites de arquitectura. La idea central es sencilla: un modelo puede trabajar con seguridad con documentos, pero eso no significa que entienda de verdad el conocimiento ni los vínculos entre los hechos.

Por qué despegó RAG

RAG se convirtió rápidamente en la forma estándar de «conectar» un gran modelo de lenguaje a los datos corporativos. La lógica es clara: el modelo formula bien las respuestas, resume textos complejos y mantiene el estilo, pero sin memoria externa queda limitado a lo que aprendió de antemano.

Basta con añadir una búsqueda por documentos para que el sistema parezca un analista universal: responde sobre reglamentos, resume contratos, elabora informes y ayuda a localizar los fragmentos necesarios sin reentrenar el modelo.

Con volúmenes pequeños de datos, este enfoque causa de verdad una gran impresión. Si la base de conocimiento consta de decenas de archivos y las preguntas son bastante directas, el RAG clásico recupera casi sin errores los trozos de texto relevantes, los pasa al contexto del modelo y obtiene una respuesta coherente. Por eso el esquema se asentó rápido en soporte, asistentes internos, servicios jurídicos, productos educativos y analítica: se implanta con relativa facilidad y el retorno práctico llega pronto.

Dónde empieza el fallo

El problema es que RAG, por naturaleza, sigue siendo una capa de búsqueda añadida y no un sistema de conocimiento completo. Sabe encontrar fragmentos de texto similares, pero no garantiza entender la causalidad, las jerarquías ni los vínculos ocultos entre entidades.

Cuando la información está repartida entre varios documentos, la respuesta a menudo no se puede extraer de un solo párrafo: hay que construirla a partir de varios hechos y pasos intermedios de razonamiento. Para una persona es algo natural; para el RAG clásico, ya es un caso límite.

• el sistema devuelve los fragmentos más parecidos, no necesariamente los más importantes;
• al crecer la base de conocimiento, es fácil que un trozo de texto crítico no llegue al contexto;
• una ventana de contexto grande no resuelve el problema de la selección y el orden de los datos;
• el modelo todavía puede mezclar fuentes y generalizar con demasiada audacia.

Por eso el modelo puede afirmar con honestidad que no hay datos suficientes, aunque la cadena de hechos necesaria ya esté en los documentos.

El artículo da un ejemplo sencillo: si en un texto Alicia está relacionada con Bob, y en otro Bob estudió los cuadros de Leonardo da Vinci, una persona puede construir la conexión intermedia. Un buscador basado en similitud textual suele buscar una confirmación directa y no da ese paso por sí solo. Así se manifiesta la brecha entre «buscar lo parecido» y trabajar realmente con conocimiento.

Para qué sirven las ontologías

El autor lleva a la conclusión de que la próxima etapa de los sistemas de IA corporativos es una representación más explícita del conocimiento. Cuando se cuentan cientos de miles o millones de documentos, almacenar el significado como un conjunto de fragmentos y representaciones vectoriales resulta incómodo. Hace falta una estructura donde las entidades, sus propiedades y sus relaciones estén definidas de forma explícita, y no se reconstruyan cada vez sobre la marcha a partir de trozos de texto. De lo contrario, el sistema depende de la suerte de la búsqueda y de la calidad de la formulación de la consulta.

Aquí vuelven a cobrar relevancia las ontologías, un tema que durante mucho tiempo pareció demasiado académico para la IA aplicada. En la lógica del artículo, no se trata de renunciar a los modelos de lenguaje ni a RAG, sino de construir la siguiente capa por encima. El modelo sigue siendo necesario para comunicarse en lenguaje natural, pero la base de conocimiento debe describir el mundo no solo con texto, sino con relaciones. Este enfoque es más difícil de implementar, pero encaja mejor en tareas donde importan las dependencias, la causalidad, los cruces entre objetos y las cadenas largas de inferencia.

Qué significa

El auge de RAG no desaparece, pero el mercado va tocando poco a poco su techo. Si un sistema de IA debe hacer algo más que buscar párrafos, es decir, explicar los vínculos entre hechos y sacar conclusiones sólidas sobre grandes volúmenes de datos, una base vectorial por sí sola ya no basta. La siguiente ola será de las soluciones que combinen modelos de lenguaje con estructuras de conocimiento más rigurosas.