GrowingIO Importer是GrowingIO CDP平台元数据创建和数据导入工具

Project description

GrowingIO Importer

GrowingIO Importer是GrowingIO CDP平台元数据创建和数据导入工具。

入门

有关GrowingIO Importer请访问GrowingIO官方文档获取帮助。

环境依赖

	4.4
Python	3.8

安装

pip install gio-importer-v44

环境参数

import importers
print(importers.__path__)

根据路径信息，进入包目录，修改conf.cfg(导入工具配置信息)
需要修改有关FTP，API信息(找负责项目运维提供FTP，API-uri相关信息)

元数据导入

目前支持如下：

创建事件
创建事件属性
创建用户属性
绑定事件与事件属性
导出元数据
导入元数据

使用说明

创建事件

from importers import meta_importer

params = {
    'm': 'create_event',
    'key': '<事件名>',
    'name': '<事件显示名>',
    'desc': '<事件描述>'
}

meta_importer.do_meta(params)

参数	参数说明
-m	必选参数，项目名。
--key	必选参数，事件名。仅允许大小写英文、数字、以及下划线，并且不能以数字开头，限长30字符
--name	可选参数，事件显示名。默认同事件名，限长30字符
--desc	可选参数，事件描述，默认为空。若描述中有空格则需要加双引号

创建事件属性

from importers import meta_importer

params = {
    'm': 'create_event_variables',
    'key': '<事件属性名>',
    'type': '<事件属性数据类型>',
    'name': '<事件属性显示名>',
    'desc': '<事件属性描述>'
}

meta_importer.do_meta(params)

参数	参数说明
-m	必选参数，项目名。
--key	必选参数，事件名。仅允许大小写英文、数字、以及下划线，并且不能以数字开头，限长30字符
--type	必选参数，事件属性数据类型。可选值：string/int/double
--name	可选参数，事件显示名。默认同事件名，限长30字符
--desc	可选参数，事件描述，默认为空。若描述中有空格则需要加双引号

创建用户属性

from importers import meta_importer

params = {
    'm': 'create_user_variables',
    'key': '<用户属性名>',
    'type': '<用户属性数据类型>',
    'name': '<用户属性显示名>',
    'desc': '<用户属性描述>'
}

meta_importer.do_meta(params)

参数	参数说明
-m	必选参数，项目名。
--key	必选参数，标识符。仅允许大小写英文、数字、以及下划线，并且不能以数字开头，限长30字符
--type	必选参数，可选参数：string/int/date
--name	可选参数，用户显示名。默认同标识符，限长30字符
--desc	可选参数，用户属性描述，默认为空。若描述中有空格则需要加双引号

绑定事件与事件属性

python3 meta_importer.py -m bind_event_variables \
                         -k <事件名> \
                         -a <绑定事件属性名> \

参数	参数说明
-m	必选参数，项目名。
--key	必选参数，事件名。若事件不存在则创建，否则更新事件
--attr	必选参数，绑定事件属性名。多个属性名使用英文逗号分隔(需加单引号或者在特殊符号前加上)

导出元数据

from importers import meta_importer

params = {
    'm': 'bind_event_variables',
    'key': '<事件名>',
    'attr': '<绑定事件属性名集合>'
}

meta_importer.do_meta(params)

参数	参数说明
-m	必选参数，项目名。
--file	必选参数，导出文件名

导入元数据

from importers import meta_importer

params = {
    'm': 'import_meta',
    'file': '<文件名>'
}

meta_importer.do_meta(params)

参数	参数说明
-m	必选参数，项目名。
--file	必选参数，导入文件名

数据导入

目前支持如下：

用户属性数据导入
用户行为数据导入

使用说明

用户属性数据导入

from importers import data_importer

params = {
    'm': 'user_variables',
    'path': '<文件路径>',
    'datasource_id': '<数据源ID>',
    'format': '[CSV|TSV|Json]',
    'separator': ',',
    'skip_header': 'True',
    'attributes': 'userId,...'
}

data_importer.do_importer(params)

参数	参数说明
-m	必填参数. 用户属性数据导入-user_variables
-path	必填参数. 需要导入的数据所在的路径
-datasource_id	必填参数. 数据源ID
-format	可选参数. 导入数据格式,目前支持JSON,CSV,TSV三种格式.默认值:JSON
-qualifier	可选参数. CSV,TSV格式文本限定符.默认值:"
-separator	可选参数. CSV,TSV格式文本分割符.默认值:,
-skip_header	可选参数. CSV,TSV格式设置则自动跳过首行,此参数不需要设置值.
-attributes	可选参数. CSV,TSV格式导入文件的各列按顺序映射到属性名，逗号分隔.userId必须指定(需加单引号或者在特殊符号前加上)

用户行为数据导入

from importers import data_importer

params = {
    'm': 'events',
    'path': '<文件路径>',
    'datasource_id': '<数据源ID>',
    'format': '[CSV|TSV|Json]',
    'separator': ',',
    'skip_header': 'True',
    'attributes': 'userId,...,
    'event_start': '<数据起始日期 YYYY-MM-DD>',
    'event_end': '<数据结束日期 YYYY-MM-DD>'
}

data_importer.do_importer(params)

参数	参数说明
-m	必填参数. 用户行为数据导入-events
-path	必填参数. 需要导入的数据所在的路径
-datasource_id	必填参数. 数据源ID
-event_start	必选参数. 数据起始时间,导入用户行为数据时指定.格式:YYYY-MM-DD
-event_end	必选参数. 数据结束时间,导入用户行为数据时指定.格式:YYYY-MM-DD
-format	可选参数. 导入数据格式,目前支持JSON,CSV,TSV三种格式.默认值:JSON
-qualifier	可选参数. CSV,TSV格式文本限定符.默认值:"
-separator	可选参数. CSV,TSV格式文本分割符.默认值:,
-skip_header	可选参数. CSV,TSV格式设置则自动跳过首行,此参数不需要设置值.
-attributes	可选参数. CSV,TSV格式导入文件的各列按顺序映射到属性名，逗号分隔.userId,event,timestamp必须指定(需加单引号或者在特殊符号前加上)

数据导入之MYSQL

目前支持如下：

用户属性数据导入
用户行为数据导入

使用说明

用户属性数据导入

from importers import format_importer

params = {
    'm': 'user_variables',
    'format': 'mysql',
    'datasource_id': '<数据源ID>',
    'host': '<数据库连接地址>',
    'user': '<数据库连接用户>',
    'password': '<数据库连接密码>',
    'port': '<数据库连接端口号>',
    'sql': '<查询语句>'
}

format_importer.do_importer(params)

参数	参数说明
-m	必填参数. 用户属性数据导入-user_variables
-datasource_id	必填参数. 数据源ID
-format	必选参数. 导入数据格式,目前支持mysql、hive数据源
-host	必选参数. mysql数据库ip
-user	必选参数. 客户端用户名
-password	必选参数.客户端密码
-port	必选选参数. 客户端端口号
-sql	必选参数. sql语句

用户行为数据导入

from importers import format_importer

params = {
    'm': 'events',
    'format': 'mysql',
    'datasource_id': '<数据源ID>',
    'host': '<数据库连接地址>',
    'user': '<数据库连接用户>',
    'password': '<数据库连接密码>',
    'port': '<数据库连接端口号>',
    'sql': '<查询语句>',
    'start_time': '<数据起始日期>',
    'end_time': '<数据结束日期>'
}

format_importer.do_importer(params)

参数	参数说明
-m	必填参数. 用户属性数据导入-user_variables
-datasource_id	必填参数. 数据源ID
-format	必选参数. 导入数据格式,目前支持mysql、hive数据源
-host	必选参数. mysql数据库ip
-user	必选参数. 客户端用户名
-password	必选参数.客户端密码
-port	必选选参数. 客户端端口号
-sql	必选参数. sql语句
-start_time	必选参数. 数据起始时间,导入用户行为数据时指定.格式:YYYY-MM-DD
-end_time	必选参数. 数据结束时间,导入用户行为数据时指定.格式:YYYY-MM-DD

数据导入之HIVE

目前支持如下：

用户属性数据导入
用户行为数据导入

使用说明

用户属性数据导入

from importers import format_importer

params = {
    'm': 'user_variables',
    'format': 'hive',
    'datasource_id': '<数据源ID>',
    'host': '<数据库连接地址>',
    'user': '<数据库连接用户>',
    'password': '<数据库连接密码>',
    'port': '<数据库连接端口号>',
    'sql': '<查询语句>'
}

format_importer.do_importer(params)

参数	参数说明
-m	必填参数. 用户属性数据导入-user_variables
-datasource_id	必填参数. 数据源ID
-format	必选参数. 导入数据格式,目前支持mysql、hive数据源
-host	必选参数. mysql数据库ip
-user	必选参数. 客户端用户名
-password	必选参数.客户端密码
-port	必选选参数. 客户端端口号
-sql	必选参数. sql语句

用户行为数据导入

from importers import format_importer

params = {
    'm': 'events',
    'format': 'hive',
    'datasource_id': '<数据源ID>',
    'host': '<数据库连接地址>',
    'user': '<数据库连接用户>',
    'password': '<数据库连接密码>',
    'port': '<数据库连接端口号>',
    'sql': '<查询语句>',
    'start_time': '<数据起始日期>',
    'end_time': '<数据结束日期>'
}

format_importer.do_importer(params)

参数	参数说明
-m	必填参数. 用户属性数据导入-user_variables
-datasource_id	必填参数. 数据源ID
-format	必选参数. 导入数据格式,目前支持mysql、hive数据源
-host	必选参数. mysql数据库ip
-user	必选参数. 客户端用户名
-password	必选参数.客户端密码
-port	必选选参数. 客户端端口号
-sql	必选参数. sql语句
-start_time	必选参数. 数据起始时间,导入用户行为数据时指定.格式:YYYY-MM-DD
-end_time	必选参数. 数据结束时间,导入用户行为数据时指定.格式:YYYY-MM-DD

用户删除

目前支持如下：

触发用户删除任务
批量添加待删除用户

使用说明

触发用户删除任务

from importers import clear_user

params = {
    'm': 'clear_users',
    'now': True
}

clear_user.do_user(params)

python3 clear_user.py -m clear_users  -n True

参数	参数说明
-m	必填参数. 触发用户删除任务-clear_users
-now	必填参数. True - 立即执行离线任务,False - 天任务执行清理任务

批量添加待删除用户

from importers import clear_user

params = {
    'm': 'clear_users',
    'users': 'xxx,xxx,xxx'
}

clear_user.do_user(params)

参数	参数说明
-m	必填参数. 批量添加待删除用户-clear_users_meta
-users	必填参数. 添加待删除用户,多个用户以逗号(,)分隔

Project details

Release history Release notifications | RSS feed

This version

1.1.8

Apr 25, 2024

1.1.6

Apr 25, 2024

1.1.4

Apr 25, 2024

1.1.2

Apr 7, 2024

1.1.0

Apr 3, 2024

1.0.9

Apr 2, 2024

1.0.8

Mar 15, 2024

1.0.6

Mar 7, 2024

1.0.4

Mar 6, 2024

1.0.2

Feb 27, 2024

Download files

Download the file for your platform. If you're not sure which to choose, learn more about installing packages.

Source Distribution

gio_importer-1.1.8.tar.gz (40.7 kB view hashes)

Uploaded Apr 25, 2024 Source

Built Distribution

gio_importer-1.1.8-py3-none-any.whl (63.9 kB view hashes)

Uploaded Apr 25, 2024 Python 3

Hashes for gio_importer-1.1.8.tar.gz

Hashes for gio_importer-1.1.8.tar.gz
Algorithm	Hash digest
SHA256	`afea95ab7e108f38358831ee66907766d957e124c5b11cf6f300e703de42a3fd`
MD5	`c5a43c87309c75ba12d2518bd28172e1`
BLAKE2b-256	`8ff71834082ddc1987252ff9472b050341ba13bc742f705c35e08917b4ce2030`

Hashes for gio_importer-1.1.8-py3-none-any.whl

Hashes for gio_importer-1.1.8-py3-none-any.whl
Algorithm	Hash digest
SHA256	`68c434d7a427647bc5ddc5ddda90065f4e78890e486b12daa20893ffe6a65b26`
MD5	`9c0308bed293a29de0cdb8fd8d7501d8`
BLAKE2b-256	`98c65c10cdf0a35b3ba107aa148bb42f12761c5b191eb750c76afee50f7485ab`

gio-importer 1.1.8

Navigation

Verified details

Maintainers

Unverified details

GitHub Statistics

Meta

Classifiers

Project description

GrowingIO Importer

入门

环境依赖

安装

环境参数

元数据导入

使用说明

创建事件

创建事件属性

创建用户属性

绑定事件与事件属性

导出元数据

导入元数据

数据导入

使用说明

用户属性数据导入

用户行为数据导入

数据导入之MYSQL

使用说明

用户属性数据导入

用户行为数据导入

数据导入之HIVE

使用说明

用户属性数据导入

用户行为数据导入

用户删除

使用说明

触发用户删除任务

批量添加待删除用户

Project details

Verified details

Maintainers

Unverified details

GitHub Statistics

Meta

Classifiers

Release history Release notifications | RSS feed

Download files

Source Distribution

Built Distribution