Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
Безопасность и правоРазбор · На радарHabr AI→ оригинал

Смысл.ИИ: агентный RAG по документам компании собрали на Kotlin без Python

Сотрудник спрашивает у ИИ «какой срок согласования отпуска по регламенту», а ответ лежит в одном из файлов компании. Система «Смысл.ИИ» на Kotlin и LangChain4j ищет по документам в несколько раундов: если первый поиск промахнулся, агент уточняет запрос. В языковую модель уходят только найденные фрагменты, а не весь корпус. Команды на JVM получают пример, как построить такой RAG без Python.

AI-обработка оригинала Habr AI; редакция Hamidun News
Смысл.ИИ: агентный RAG по документам компании собрали на Kotlin без Python
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Два сервиса на Spring Bootdata-processor грузит файлы, assistant ведёт чат
Ключевой факт #2Apache Doris ищет по словам и по смыслу в одном хранилище
Ключевой факт #3Valkey Streams передаёт токены ответа на сервер с SSE-соединением

Представьте, что сотрудник спрашивает корпоративного ИИ-ассистента: «Какой срок согласования отпуска по регламенту?» Ответ лежит в одном из внутренних файлов, и задача системы — найти нужный фрагмент и ответить по нему, а не по «знаниям модели из интернета». Такой подход называется RAG: перед ответом языковая модель (LLM) получает найденные в документах куски текста. «Агентный» RAG отличается тем, что модель сама решает, что искать, и может сделать несколько поисков подряд, если первый не сработал. Автор B2B-системы «Смысл.ИИ» (smysl.ai) выпустил первый обзор цикла из трёх статей: всё построено на JVM, то есть на Kotlin, Spring Boot и библиотеке LangChain4j, а не на привычном Python. Для Java- и Kotlin-команд это редкий разбор работающего продукта, а не туториала.

Какую проблему решает продукт

В средней и крупной компании внутренних документов много, а найти ответ на конкретный вопрос долго: нужно обойти папки и файловые хранилища, потом спросить коллег. Многие упрощают это так: загружают файлы во внешний чат вроде ChatGPT «просто проанализировать». Корпус при этом оказывается вне контура компании.

В «Смысл.ИИ» библиотека хранится в инфраструктуре самой системы. В LLM уходят только найденные фрагменты, то есть чанки или целые страницы, а не весь корпус. Модель подключается по API. В демо стоит внешний провайдер, но тот же контур можно направить на модель в своём облаке или on-prem, если там развёрнута совместимая точка доступа.

Задача намеренно узкая: вопрос по корпоративным файлам и ответ с опорой на них, с указанием источников. Это не LMS, не замена всей базы знаний и не платформа агентов.

Чем это отличается от обычного RAG

Классический RAG работает в один проход: поиск, все найденные фрагменты в контекст, ответ. Здесь у LLM есть инструменты (tools). Агент может искать в несколько раундов: уточнить запрос или добрать недостающие фрагменты, а потом отвечать. Если первый поиск принёс не ту редакцию регламента, это можно исправить до ответа. Цена такого подхода понятна: больше вызовов модели и выше задержка. Замеров автор не приводит, поэтому выигрыш в точности по тексту оценить нельзя.

Загрузка устроена так: парсинг файла, нарезка на чанки, запись фрагментов в индекс. Поддерживаются PDF, DOCX, TXT, MD и HTML; парсинг и нарезку делает Docling.

Как устроен стек

Бэкенд состоит из двух сервисов на Kotlin и Spring Boot. Первый, data-processor, отвечает за загрузку и тяжёлую обработку файлов. Второй, assistant, на LangChain4j ведёт чат, агента и поиск. Автор объясняет разделение разной нагрузкой, а не модой на микросервисы: конвейер документов и AI-контур можно развивать и выкатывать независимо.

Три решения стоит запомнить:

  • Apache Doris хранит фрагменты и даёт полнотекстовый и семантический поиск в одном месте, без связки «поисковик плюс векторная база». Автор признаёт, что у Qdrant тоже есть оба режима, а на чистом векторном поиске специализированные базы часто сильнее. Но ему важнее единый контур для гибридного поиска и запас по нагрузке.
  • Valkey Streams решает проблему стриминга. Ответ LLM генерирует один инстанс assistant, а SSE-соединение клиента может прийти на другой. Токены пишутся в Valkey, и тот инстанс, который держит соединение, читает их оттуда.
  • GraalVM Native Image даёт быстрый старт и меньшие накладные расходы по сравнению с обычной JVM. Платой становится более долгая сборка.

Остальное: PostgreSQL для метаданных и чатов, Keycloak для аутентификации по OIDC, Caddy как прокси, S3-совместимое хранилище для файлов, React на фронтенде, хостинг демо на VK Cloud.

Ограничения и что дальше

Исходники закрыты, публичного доступа к демо нет, только скриншоты и, возможно, короткое видео. Демо-библиотека собрана из документов вымышленной компании. Бэкенд-обвязку автор почти не разбирает, а сам текст называет описанием работающего продукта, а не чек-листом внедрения «под ключ». Цифр качества, скорости и стоимости пока нет.

По ходу работы автор нашёл ограничения в зависимостях и оформил issues в Docling и Docling Java, а также PR в LangChain4j.

Следующие две статьи посвящены конвейеру обработки документов от Docling до индекса в Doris и агенту: инструменты, поиск по корпусу, ответ с источниками и потоковая передача токенов. Для JVM-команд это шанс увидеть конкретные решения до того, как они решат переписывать всё на Python.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: какую проблему решает продукт?

В средней и крупной компании внутренних документов много, а найти ответ на конкретный вопрос долго: нужно обойти папки и файловые хранилища, потом спросить коллег. Многие упрощают это так: загружают файлы во внешний чат вроде ChatGPT «просто проанализировать». Корпус при этом оказывается вне контура компании. В «Смысл.ИИ» библиотека хранится в инфраструктуре самой системы. В LLM уходят только найденные фрагменты, то есть чанки или целые страницы, а не весь корпус. Модель подключается по API.

Что известно по теме: чем это отличается от обычного RAG?

Классический RAG работает в один проход: поиск, все найденные фрагменты в контекст, ответ. Здесь у LLM есть инструменты (tools). Агент может искать в несколько раундов: уточнить запрос или добрать недостающие фрагменты, а потом отвечать. Если первый поиск принёс не ту редакцию регламента, это можно исправить до ответа. Цена такого подхода понятна: больше вызовов модели и выше задержка. Замеров автор не приводит, поэтому выигрыш в точности по тексту оценить нельзя.

Что известно по теме: как устроен стек?

Бэкенд состоит из двух сервисов на Kotlin и Spring Boot. Первый, data-processor, отвечает за загрузку и тяжёлую обработку файлов. Второй, assistant, на LangChain4j ведёт чат, агента и поиск. Автор объясняет разделение разной нагрузкой, а не модой на микросервисы: конвейер документов и AI-контур можно развивать и выкатывать независимо. Три решения стоит запомнить: Apache Doris хранит фрагменты и даёт полнотекстовый и семантический поиск в одном месте, без связки «поисковик плюс векторная база».

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…