Смысл.ИИ: агентный RAG по документам компании собрали на Kotlin без Python
Сотрудник спрашивает у ИИ «какой срок согласования отпуска по регламенту», а ответ лежит в одном из файлов компании. Система «Смысл.ИИ» на Kotlin и LangChain4j ищет по документам в несколько раундов: если первый поиск промахнулся, агент уточняет запрос. В языковую модель уходят только найденные фрагменты, а не весь корпус. Команды на JVM получают пример, как построить такой RAG без Python.
AI-обработка оригинала Habr AI; редакция Hamidun News
Представьте, что сотрудник спрашивает корпоративного ИИ-ассистента: «Какой срок согласования отпуска по регламенту?» Ответ лежит в одном из внутренних файлов, и задача системы — найти нужный фрагмент и ответить по нему, а не по «знаниям модели из интернета». Такой подход называется RAG: перед ответом языковая модель (LLM) получает найденные в документах куски текста. «Агентный» RAG отличается тем, что модель сама решает, что искать, и может сделать несколько поисков подряд, если первый не сработал. Автор B2B-системы «Смысл.ИИ» (smysl.ai) выпустил первый обзор цикла из трёх статей: всё построено на JVM, то есть на Kotlin, Spring Boot и библиотеке LangChain4j, а не на привычном Python. Для Java- и Kotlin-команд это редкий разбор работающего продукта, а не туториала.
Какую проблему решает продукт
В средней и крупной компании внутренних документов много, а найти ответ на конкретный вопрос долго: нужно обойти папки и файловые хранилища, потом спросить коллег. Многие упрощают это так: загружают файлы во внешний чат вроде ChatGPT «просто проанализировать». Корпус при этом оказывается вне контура компании.
В «Смысл.ИИ» библиотека хранится в инфраструктуре самой системы. В LLM уходят только найденные фрагменты, то есть чанки или целые страницы, а не весь корпус. Модель подключается по API. В демо стоит внешний провайдер, но тот же контур можно направить на модель в своём облаке или on-prem, если там развёрнута совместимая точка доступа.
Задача намеренно узкая: вопрос по корпоративным файлам и ответ с опорой на них, с указанием источников. Это не LMS, не замена всей базы знаний и не платформа агентов.
Чем это отличается от обычного RAG
Классический RAG работает в один проход: поиск, все найденные фрагменты в контекст, ответ. Здесь у LLM есть инструменты (tools). Агент может искать в несколько раундов: уточнить запрос или добрать недостающие фрагменты, а потом отвечать. Если первый поиск принёс не ту редакцию регламента, это можно исправить до ответа. Цена такого подхода понятна: больше вызовов модели и выше задержка. Замеров автор не приводит, поэтому выигрыш в точности по тексту оценить нельзя.
Загрузка устроена так: парсинг файла, нарезка на чанки, запись фрагментов в индекс. Поддерживаются PDF, DOCX, TXT, MD и HTML; парсинг и нарезку делает Docling.
Как устроен стек
Бэкенд состоит из двух сервисов на Kotlin и Spring Boot. Первый, data-processor, отвечает за загрузку и тяжёлую обработку файлов. Второй, assistant, на LangChain4j ведёт чат, агента и поиск. Автор объясняет разделение разной нагрузкой, а не модой на микросервисы: конвейер документов и AI-контур можно развивать и выкатывать независимо.
Три решения стоит запомнить:
- Apache Doris хранит фрагменты и даёт полнотекстовый и семантический поиск в одном месте, без связки «поисковик плюс векторная база». Автор признаёт, что у Qdrant тоже есть оба режима, а на чистом векторном поиске специализированные базы часто сильнее. Но ему важнее единый контур для гибридного поиска и запас по нагрузке.
- Valkey Streams решает проблему стриминга. Ответ LLM генерирует один инстанс assistant, а SSE-соединение клиента может прийти на другой. Токены пишутся в Valkey, и тот инстанс, который держит соединение, читает их оттуда.
- GraalVM Native Image даёт быстрый старт и меньшие накладные расходы по сравнению с обычной JVM. Платой становится более долгая сборка.
Остальное: PostgreSQL для метаданных и чатов, Keycloak для аутентификации по OIDC, Caddy как прокси, S3-совместимое хранилище для файлов, React на фронтенде, хостинг демо на VK Cloud.
Ограничения и что дальше
Исходники закрыты, публичного доступа к демо нет, только скриншоты и, возможно, короткое видео. Демо-библиотека собрана из документов вымышленной компании. Бэкенд-обвязку автор почти не разбирает, а сам текст называет описанием работающего продукта, а не чек-листом внедрения «под ключ». Цифр качества, скорости и стоимости пока нет.
По ходу работы автор нашёл ограничения в зависимостях и оформил issues в Docling и Docling Java, а также PR в LangChain4j.
Следующие две статьи посвящены конвейеру обработки документов от Docling до индекса в Doris и агенту: инструменты, поиск по корпусу, ответ с источниками и потоковая передача токенов. Для JVM-команд это шанс увидеть конкретные решения до того, как они решат переписывать всё на Python.
- 19 нояб. 2026 г.Инфостарт подключил Директ, Метрику и Wordstat к ChatGPT: 6 команд, общий доступ
- 19 нояб. 2026 г.Доли Amazon и Google в Anthropic оценили в $308 млрд при IPO по $83 за акцию
- 19 нояб. 2026 г.Gemini 4 Neon от Google работает вдвое быстрее Carbon и на 17% дешевле за задачу
- 19 нояб. 2026 г.Кодинг-агенты OpenAI в пересчёте на API стоят $2400 в день на исследователя
Вопросы и ответы по материалу
Что известно по теме: какую проблему решает продукт?
В средней и крупной компании внутренних документов много, а найти ответ на конкретный вопрос долго: нужно обойти папки и файловые хранилища, потом спросить коллег. Многие упрощают это так: загружают файлы во внешний чат вроде ChatGPT «просто проанализировать». Корпус при этом оказывается вне контура компании. В «Смысл.ИИ» библиотека хранится в инфраструктуре самой системы. В LLM уходят только найденные фрагменты, то есть чанки или целые страницы, а не весь корпус. Модель подключается по API.
Что известно по теме: чем это отличается от обычного RAG?
Классический RAG работает в один проход: поиск, все найденные фрагменты в контекст, ответ. Здесь у LLM есть инструменты (tools). Агент может искать в несколько раундов: уточнить запрос или добрать недостающие фрагменты, а потом отвечать. Если первый поиск принёс не ту редакцию регламента, это можно исправить до ответа. Цена такого подхода понятна: больше вызовов модели и выше задержка. Замеров автор не приводит, поэтому выигрыш в точности по тексту оценить нельзя.
Что известно по теме: как устроен стек?
Бэкенд состоит из двух сервисов на Kotlin и Spring Boot. Первый, data-processor, отвечает за загрузку и тяжёлую обработку файлов. Второй, assistant, на LangChain4j ведёт чат, агента и поиск. Автор объясняет разделение разной нагрузкой, а не модой на микросервисы: конвейер документов и AI-контур можно развивать и выкатывать независимо. Три решения стоит запомнить: Apache Doris хранит фрагменты и даёт полнотекстовый и семантический поиск в одном месте, без связки «поисковик плюс векторная база».
Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами
Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.