Habr explicó por qué los modelos de lenguaje y el RAG clásico pierden la comprensión de las relaciones

Habr publicó un análisis sobre por qué la euforia alrededor de los grandes modelos de lenguaje y RAG está comenzando a chocar contra limitaciones arquitectónicas. La idea principal es simple: un modelo puede trabajar con confianza con documentos, pero eso no significa que realmente entienda el conocimiento y las conexiones entre hechos.

Por qué RAG despegó

RAG rápidamente se convirtió en la forma estándar de "conectar" un gran modelo de lenguaje a datos corporativos. La lógica es clara: el modelo en sí formula bien las respuestas, parafraseá textos complejos y mantiene el estilo, pero sin memoria externa está limitado por lo que fue entrenado previamente. Agregue búsqueda de documentos, y el sistema comienza a parecer un analista universal: responde según reglamentos, reformula contratos, monta reportes y ayuda a encontrar fragmentos necesarios sin reentrenar el modelo.

En conjuntos de datos pequeños, este enfoque realmente causa una fuerte impresión. Si la base de conocimiento consta de docenas de archivos y las preguntas son bastante directas, el RAG clásico recupera casi sin errores los fragmentos de texto relevantes, los pasa al contexto del modelo y obtiene una respuesta clara. Es por eso que el esquema rápidamente se arraigó en soporte, asistentes internos, servicios legales, productos educativos y análisis: es relativamente simple de implementar, y los resultados prácticos aparecen rápidamente.

Dónde comienzan los fallos

El problema es que RAG por su naturaleza sigue siendo una capa de búsqueda, no un sistema de conocimiento completo. Puede encontrar fragmentos de texto similares, pero no garantiza la comprensión de causalidad, jerarquías y conexiones ocultas entre entidades. Cuando la información está dispersa en diferentes documentos, la respuesta a menudo no puede tomarse de un párrafo: debe armarse a partir de varios hechos y pasos intermedios de razonamiento. Para un humano esto es natural, pero para RAG clásico ya es un escenario límite.

• el sistema devuelve los fragmentos más similares, no necesariamente los más importantes;
• conforme crece la base de conocimiento, un trozo de texto crítico fácilmente no entra en el contexto;
• una ventana de contexto grande no resuelve el problema de selección y ordenamiento de datos;
• el modelo aún puede mezclar fuentes y generalizar demasiado audazmente.

Debido a esto, el modelo puede honestamente decir que los datos son insuficientes, aunque la cadena de hechos necesaria ya está en los documentos. El artículo proporciona un ejemplo simple: si en un texto Alicia está conectada con Bob, y en otro Bob estudió cuadros de Leonardo da Vinci, un humano es capaz de construir una conexión intermedia. Un sistema de búsqueda basado en similitud de texto a menudo busca confirmación directa y no da este paso por sí mismo. Esto muestra la brecha entre "encontrar similitud" y el trabajo real con conocimiento.

Por qué se necesitan ontologías

El autor lleva a la idea de que la siguiente etapa en la evolución de los sistemas de IA corporativa es una representación más explícita del conocimiento. Cuando se trata de cientos de miles o millones de documentos, almacenar significado como un conjunto de chunks y representaciones vectoriales se vuelve incómodo. Se necesita una estructura donde las entidades, sus propiedades y conexiones estén definidas explícitamente, en lugar de ser reconstruidas cada vez sobre la marcha a partir de fragmentos de texto.

De lo contrario, el sistema permanece dependiente de la suerte de la búsqueda y la calidad de la formulación de la consulta. Aquí es donde las ontologías vuelven a ser relevantes — un tema que durante mucho tiempo pareció demasiado académico para la IA aplicada. En la lógica del artículo, esto no es un intento de abandonar modelos de lenguaje o RAG, sino una forma de crear la siguiente capa sobre ellos.

El modelo aún es necesario para la comunicación en lenguaje natural, pero la base de conocimiento en sí debe describir el mundo no solo a través de texto, sino a través de conexiones. Este enfoque es más complejo de implementar, pero es mejor para tareas donde importan las dependencias, causalidad, intersecciones entre objetos y largas cadenas de inferencia.

Qué significa esto

El auge de RAG no desaparece a ningún lado, pero el mercado gradualmente está alcanzando su límite. Si un sistema de IA debe no solo buscar párrafos, sino explicar conexiones entre hechos y hacer conclusiones estables en grandes conjuntos de datos, una base de datos vectorial sola ya no es suficiente. La siguiente iteración pertenecerá a aquellas soluciones que combinen modelos de lenguaje con estructuras de conocimiento más rigurosas.