quollio-core
Description (説明)
This Python library collects advanced metadata like table to table lineage or anomaly record and ingests them to QDC.
このPythonライブラリは、テーブル間のリネージやデータの統計値などのメタデータを取得し、データカタログのアセットに反映します。
Prerequisite (前提条件)
Before you begin to use this, you need to do the following.
- Add your assets to QDC with metadata agent.
- Issue client id and client secret on QDC for External API.
このシステムを使用する前に、以下の手順を実行する必要があります。
- Metadata Agentを使用して、データカタログにアセットを登録する。
- 外部API用の、データカタログ上で認証に必要なクライアントIDとシークレットを発行する。
Install (インストール)
Install with the following command.
下記のコマンドでインストールしてください。
$ pip install quollio-core
To see available commands and options, please run the following command. (ex: Snowflake)
コマンドやオプションの詳細については、下記のコマンドを実行してください。(例: Snowflake)
$ python -m quollio_core.snowflake -h
Then run commands with the options provided.
その後、オプションを指定してコマンドを実行してください。
| Command (コマンド) | Description (概要) |
|---|---|
| build_view | Build views for lineage and statistics. リネージと統計情報を生成するビューを作成します。 |
| load_lineage | Load lineage from created views to Quollio. 作成したビューからリネージデータをQuollioにロードします。 |
| load_stats | Load statistics from created views to Quollio. 作成したビューから統計情報をQuollioにロードします。 |
Development (開発)
Install (インストール)
Create .env file in the root level of repository and set the following environment variables.
リポジトリのルートレベルに.envファイルを作成し、下記の環境変数を設定してください。
AWS_REGION=[AWS region]
IMAGE_NAME=[Container image name you want to use]
QUOLLIO_CORE_VERSION=[The quollio core version you use]
To install local packages, run the following command.
ローカルパッケージをインストールするには、下記のコマンドを実行してください。
$ make install
Build (ビルド)
To build Docker image with local files, run the following command.
ローカルファイルでDocker imageをビルドするには、下記のコマンドを実行してください。
$ make build-local
Unit test (ユニットテスト)
To run unit tests, run the following command.
ユニットテストを実行するには、下記のコマンドを実行してください。
$ make test
Docs (ドキュメント)
To auto generate docs for dbt, run the following command. (ex. Snowflake)
dbtのドキュメントを自動生成するには、下記のコマンドを実行してください。(例: Snowflake)
$ cd quollio_core/dbt_projects/snowflake
$ dbt-osmosis yaml refactor \
--force-inheritance \
--project-dir ./ \
--profiles-dir ./profiles \
--vars '{query_role: <snowflake role>, sample_method: SAMPLE(10)}'
Push (プッシュ)
The push command in Makefile is for pushing the image to ECR. If you want to push the image to other container registry, please change the command.
Makefileのpushコマンドは、ECRにイメージをプッシュするためのものです。他のコンテナレジストリにイメージをプッシュする場合は、コマンドを変更してください。
License (ライセンス)
This library is licensed under the AGPL-3.0 License, but the dependencies are not licensed under the AGPL-3.0 License but under their own licenses. You may change the source code of the dependencies within the scope of their own licenses. Please refer to pyproject.toml for the dependencies.
このライブラリはAGPL-3.0ライセンスで保護されていますが、依存関係はAGPL-3.0ライセンスではなく、それぞれのライセンスで保護されています。依存関係のソースコードは、それぞれのライセンスの範囲内で変更することができます。依存関係については、pyproject.tomlを参照してください。
1 maintainer
Metadata
1 maintainer
Release files for quollio-core 0.8.7
For a detailed explanation of source distributions (sdists) and built distributions (wheels), please see the package formats documentation.
Source distribution (sdist)
| File | Size | Uploaded | |
|---|---|---|---|
| quollio_core-0.8.7.tar.gz | 70.2 kB | Details |
Built distribution (wheel)
| File | Interpreter | ABI | Platform | Reset |
|---|---|---|---|---|
| quollio_core-0.8.7-py3-none-any.whl | Python 3 | none | any | Details |
Total release size: 170.2 kB
Release files / quollio_core-0.8.7.tar.gz
| Download URL | quollio_core-0.8.7.tar.gz |
|---|---|
| Size | 70.2 kB |
| Tags | Source |
|
SHA-256 checksum How to use checksums |
14926797bf39bbf1c67c6ad32221c4e8a92cfe43f512e48986ce4c0cd323b877
|
|
BLAKE2b-256 checksum How to use checksums |
406abafa8791ea8c31364238eeeda9ca6b04a6841d977e7e13b2a9e748ec62a1
|
| Upload date | |
|
Uploaded using Trusted Publishing? What is trusted publishing? |
No |
| Uploaded via |
twine/7.0.0 CPython/3.13.14
|
Release files / quollio_core-0.8.7-py3-none-any.whl
| Download URL | quollio_core-0.8.7-py3-none-any.whl |
|---|---|
| Size | 100.0 kB |
| Tags | Python 3 |
|
SHA-256 checksum How to use checksums |
e9ac27e000a969171aa381a444ab0992650fad330574392aefabcd3f41812814
|
|
BLAKE2b-256 checksum How to use checksums |
1076739f4b0f79c12fd838e74826f6241a3fb662c439210954bedf56a6ca3641
|
| Upload date | |
|
Uploaded using Trusted Publishing? What is trusted publishing? |
No |
| Uploaded via |
twine/7.0.0 CPython/3.13.14
|
