Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
Безопасность и правоОткрытые веса · В работуLanceDB Blog→ оригинал

Cognee хранит память агентов в LanceDB: у каждого теста своя папка вместо сервера

Агенту с памятью обычно нужны граф связей, векторная база для поиска по смыслу и свой код, чтобы всё это не разъехалось. Cognee собрала это в один конвейер и хранит векторы в LanceDB — базе, где данные лежат в обычных файлах. Поэтому каждый тест, пользователь и рабочее пространство получают свою папку на диске, а не отдельный сервер. Параллельные тесты не мешают друг другу, а проект с ноутбука переезжает в облако без переделки.

AI-обработка оригинала LanceDB Blog; редакция Hamidun News
Cognee хранит память агентов в LanceDB: у каждого теста своя папка вместо сервера
Источник: LanceDB Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникLanceDB Blog ↗
Главный редактор
Конвейер ECLизвлечь данные, собрать граф и эмбеддинги, загрузить
Ключевой факт #2Memify чистит устаревшие узлы и пересчитывает веса фактов без пересборки
Ключевой факт #3Данные и эмбеддинги лежат вместе — не нужен код синхронизации

Чтобы агент помнил, что происходило раньше, ему нужна память. Обычно её собирают из нескольких частей: векторная база ищет фрагменты текста по смыслу, графовая хранит связи между людьми, задачами и документами, рядом лежит хранилище самих файлов, а между ними написан клей, который следит, чтобы всё не разъехалось. Стартап Cognee делает движок памяти, который сводит эти части в один конвейер. Векторы он хранит в LanceDB — базе данных, где всё лежит в обычных файлах и не нужно поднимать сервер. Поэтому у каждого теста, пользователя и рабочего пространства получается своя отдельная папка, а не свой экземпляр базы. Об этом рассказали на блоге LanceDB.

Важная оговорка: это вендорский кейс, и конкретных измерений в нём нет. Про рост точности на вопросах, где нужно пройти несколько звеньев рассуждения, сказано качественно, цифры не приведены. Ценность материала в архитектурных решениях, а не в бенчмарках.

Как устроена память: три шага и граф

Cognee принимает файлы, API и базы данных и прогоняет их через конвейер Extract–Cognify–Load (ECL), то есть «извлечь — осмыслить — загрузить». На первом шаге данные забираются из источников. На втором контент режется на куски, из него выделяются сущности и связи, добавляется временной контекст. На третьем результат записывается в два места: структура графа идёт в графовое хранилище, эмбеддинги — в векторное.

В итоге агент может отвечать на вопросы, где нужно пройти несколько звеньев. Например: «Кто должен ревьюить релиз и когда его нельзя выкатывать?» Векторный поиск находит похожие фрагменты, а граф подсказывает, как факты связаны между собой. Авторы утверждают, что ответы получаются с более понятным происхождением: видно, из какого источника и по какой цепочке связей модель получила факт.

Отдельная часть — пайплайн Memify. После запуска в продакшн он чистит устаревшие узлы графа, усиливает связи и пересчитывает вес важных фактов. Обещание простое: качество поиска растёт без полной пересборки памяти. В примере из статьи по двум коротким чатам («следуем PEP8, добавляем type hints» и «релизы не по пятницам, Сьюзен проверяет PR») строится граф, а затем отдельный тип поиска достаёт из него правила для кода.

Почему LanceDB: папка вместо сервера

Главный инженерный довод — модель изоляции. Cognee хочет, чтобы у каждого разработчика, пользователя и тестового запуска было полностью независимое пространство. Классическая векторная база для этого требует серверов, портов и оркестрации. LanceDB хранит данные в файлах, поэтому рабочее пространство — это просто каталог на диске. Создать чистое хранилище для теста и удалить его после прогона почти ничего не стоит.

Практические плюсы, которые называют авторы:

  • параллельные тесты в CI не делят состояние, поэтому меньше плавающих багов;
  • демо и песочницы создаются и выбрасываются без поднятия сервисов;
  • новый разработчик стартует локально без отдельной инфраструктуры;
  • исходные данные и эмбеддинги лежат вместе, и не нужен код для их синхронизации.

Для многопользовательской разработки это заметная экономия. Каждый отдельный экземпляр векторной БД стоит денег и внимания, а каталог на диске не стоит ничего. LanceDB при этом даёт индексы, в которых можно настраивать полноту поиска, задержку и занимаемое место. Совет из материала разумный: сначала взять настройки по умолчанию, проверить поведение, и только потом подбирать индекс и квантование под целевые стоимость и задержку.

От ноутбука до продакшна

Локально команда работает с интерфейсом Cognee: подключает данные, строит память, смотрит ответы и граф рассуждений. Когда нужны масштаб и контроль, тот же проект переносится в облачный сервис Cognee (cogwit), где добавляются автомасштабирование и управление доступом. Утверждается, что структуры данных и API совпадают, поэтому переписывать систему не нужно.

Что это значит на практике

Идея полезна независимо от того, возьмёте вы Cognee или нет. Если ваш агент теряет контекст между сессиями, а тесты памяти падают из-за общего состояния, стоит перейти на изоляцию по папкам и хранить данные рядом с их векторами. Если нужны ответы по цепочке фактов, граф поверх векторного поиска выглядит оправданным усложнением.

Ограничения тоже понятны. Заявления о росте точности и экономии времени в тексте не подкреплены числами, а файловая изоляция удобна для разработки и тестов, но под высокой нагрузкой в продакшне работу с хранилищем придётся профилировать отдельно. Перед внедрением имеет смысл прогнать на собственных данных небольшой эксперимент и сравнить ответы с графом и без него.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как устроена память: три шага и граф?

Cognee принимает файлы, API и базы данных и прогоняет их через конвейер Extract–Cognify–Load (ECL), то есть «извлечь — осмыслить — загрузить». На первом шаге данные забираются из источников. На втором контент режется на куски, из него выделяются сущности и связи, добавляется временной контекст. На третьем результат записывается в два места: структура графа идёт в графовое хранилище, эмбеддинги — в векторное. В итоге агент может отвечать на вопросы, где нужно пройти несколько звеньев.

Что известно по теме: почему LanceDB: папка вместо сервера?

Главный инженерный довод — модель изоляции. Cognee хочет, чтобы у каждого разработчика, пользователя и тестового запуска было полностью независимое пространство. Классическая векторная база для этого требует серверов, портов и оркестрации. LanceDB хранит данные в файлах, поэтому рабочее пространство — это просто каталог на диске. Создать чистое хранилище для теста и удалить его после прогона почти ничего не стоит.

Что известно по теме: от ноутбука до продакшна?

Локально команда работает с интерфейсом Cognee: подключает данные, строит память, смотрит ответы и граф рассуждений. Когда нужны масштаб и контроль, тот же проект переносится в облачный сервис Cognee (cogwit), где добавляются автомасштабирование и управление доступом. Утверждается, что структуры данных и API совпадают, поэтому переписывать систему не нужно.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…