Feature Store from Scratch: Five Components for Minimal Working Implementation

Feature store — архитектурный слой, который централизует вычисление и хранение признаков для ML-моделей. Разбор показывает, как собрать минимальную рабочую реализацию с нуля и где AI-эпоха переписывает классическую схему.

Пять обязательных компонентов

Без каждого из них возникает либо дублирование кода, либо рассогласование между обучением и инференсом — классическая проблема training-serving skew. Ingestion pipeline — слой загрузки из источников (Kafka, S3, Postgres): вычисляет признаки и записывает в хранилище Offline store — исторические данные для обучения моделей (Parquet или Delta Lake в S3) Online store — низколатентное хранилище для инференса в реальном времени (Redis, DynamoDB) Feature registry — каталог метаданных: имя, тип, версия, владелец, lineage * Monitoring — отслеживание дрейфа данных и freshness каждого признака Минимальная реализация умещается в 200–300 строк Python: SQLite вместо полноценного offline store, Redis как online, YAML-файлы как реестр.

Как устроена минимальная реализация

Авторы предлагают начать с трёх файлов. `feature_store.py` — ядро с методами `write()` и `read()`, абстрагирующими offline/online split. `registry.yaml` — декларативные описания признаков. `pipeline.py` — ETL-скрипт, вызывающий `feature_store.write()` после каждой трансформации. Такая структура покрывает большинство реальных случаев. Усложнять стоит только когда появляются конкретные требования: высоконагруженный инференс, point-in-time lookups без data leakage или потоковые данные.

«Большинство команд переусложняют feature store на старте.

Начните с SQLite и YAML — вы удивитесь, как далеко это уезжает.»

Где AI переписывает правила Классическая схема строилась вокруг числовых и категориальных признаков.

LLM-эпоха добавила три новых требования. Векторные эмбеддинги стали первоклассными признаками. Хранить их в Redis можно, но поиск нужен по близости, а не по ключу — это тянет за собой векторные индексы (pgvector, Pinecone, Weaviate) и меняет схему online store. Автоматическая генерация фич. Раньше feature engineering был ручным процессом. Теперь LLM может предложить список признаков из описания задачи или сгенерировать трансформацию по примеру входных данных. LLM-ассистент для реестра. Документация признаков исторически заполнялась плохо. Языковая модель генерирует описания и теги автоматически, анализируя код трансформаций — без участия инженера.

Что это значит

Feature store перестал быть привилегией крупных ML-платформ — его можно собрать за день из open-source компонентов. AI не отменяет паттерн, а расширяет его: добавляются векторные хранилища и LLM-assisted metadata. Если вы строите ML-систему без feature store, самое время добавить этот слой.