tencent-wedata-feature-engineering 1.0.0

Wedata Feature Engineering Library Development

Wedata Feature Engineering Library

Wedata 特征工程库，提供特征存储、特征管理、离在线同步等功能，适用于腾讯云 WeData 平台上的 ML 特征工程场景。

功能特性

• 特征表管理：创建、删除、修改特征表，支持 Iceberg 等多种存储引擎
• 特征数据读写：基于 Spark 的高效特征数据写入和读取
• 离在线同步：一键将离线特征表发布为在线特征表，支持周期性同步和一次性同步
• 在线特征服务：基于 Redis 的在线特征存储和实时查询
• 训练集构建：通过 Feature Lookup 自动关联多个特征表，构建训练数据集

安装

pip install tencent-wedata-feature-engineering

快速开始

from wedata.feature_store.feature_table_client import FeatureTableClient

# 初始化客户端（在 WeData Notebook 中自动获取环境配置）
client = FeatureTableClient(spark)

# 创建特征表
feature_table = client.create_table(
    name="user_features",
    database_name="my_feature_db",
    primary_keys=["user_id"],
    df=features_df,
    timestamp_key="event_timestamp"
)

# 发布为在线特征表
client.publish_table(
    table_name="user_features",
    data_source_name="my_datasource"
)

使用环境

本库需要在腾讯云 WeData 平台的 Notebook 或 CodeStudio 环境中使用，依赖平台提供的 Spark 引擎和 Feast 特征服务。

许可证

Apache 2.0