Feature store do zero: cinco componentes para uma implementação mínima funcional

Feature store é a camada de arquitetura que centraliza o cálculo e o armazenamento de features para modelos de ML. A análise mostra como montar uma implementação mínima funcional do zero e onde a era da AI reescreve o esquema clássico.

Cinco componentes obrigatórios

Sem qualquer um deles, surge duplicação de código ou divergência entre treinamento e inferência, o clássico problema de training-serving skew.

• Ingestion pipeline — camada de carga a partir das fontes (Kafka, S3, Postgres): calcula as features e as grava no armazenamento
• Offline store — dados históricos para treinar os modelos (Parquet ou Delta Lake no S3)
• Online store — armazenamento de baixa latência para inferência em tempo real (Redis, DynamoDB)
• Feature registry — catálogo de metadados: nome, tipo, versão, responsável, lineage
• Monitoring — acompanhamento de drift de dados e de freshness de cada feature

A implementação mínima cabe em 200–300 linhas de Python: SQLite no lugar de um offline store completo, Redis como online store e arquivos YAML como registro.

Como funciona a implementação mínima

Os autores sugerem começar com três arquivos. `feature_store.py` é o núcleo, com os métodos `write()` e `read()`, que abstraem a separação entre offline e online. `registry.yaml` guarda as descrições declarativas das features. `pipeline.py` é o script de ETL que chama `feature_store.write()` após cada transformação.

Essa estrutura cobre a maioria dos casos reais. Só vale complicar quando surgem requisitos concretos: inferência de alta carga, point-in-time lookups sem data leakage ou dados em streaming.

«A maioria das equipes complica demais o feature store no começo.

Comece com SQLite e YAML — você vai se surpreender com o quanto isso aguenta.»

Onde a AI reescreve as regras

O esquema clássico foi construído em torno de features numéricas e categóricas. A era dos LLMs trouxe três novos requisitos.

Embeddings vetoriais passaram a ser features de primeira classe. É possível armazená-los no Redis, mas a busca precisa ser por proximidade, não por chave. Isso exige índices vetoriais (pgvector, Pinecone, Weaviate) e muda o esquema do online store.

Geração automática de features. Antes, o feature engineering era um processo manual. Agora um LLM pode sugerir uma lista de features a partir da descrição da tarefa ou gerar uma transformação a partir de um exemplo de dados de entrada.

Assistente LLM para o registro. A documentação das features sempre foi mal preenchida. O modelo de linguagem gera descrições e tags automaticamente, analisando o código das transformações, sem participação do engenheiro.

O que isso significa

O feature store deixou de ser privilégio das grandes plataformas de ML: dá para montá-lo em um dia com componentes open source. A AI não elimina o padrão, mas o amplia, com a adição de armazenamentos vetoriais e de metadados assistidos por LLM. Se você constrói um sistema de ML sem feature store, é hora de adicionar essa camada.