Data warehouse definitions and schemas
Project description
dwh-definitions
Библиотека, описывающая структуру всех баз данных профкома ФФ. Реализована с помощью разделения всех баз данных в 4 категории - STG, DWH, ODS и DM.
Функционал
- Удобное и структурированное хранение данных
- Разграничение и удобное управление правами доступа
Разработка
- Backend разработка – https://github.com/profcomff/.github/wiki/%5Bdev%5D-Backend-разработка
- Работа с данными -https://github.com/profcomff/.github/wiki/%5Bdev%5D-Работа-с-данными
Quick start
- Перейдите в папку проекта
- Создайте виртуальное окружение командой:
python3 -m venv ./venv/
- Установите библиотеки
pip install -r requirements.txt
Использование
В своих базах данных мы используем postgres базы данных. Для того чтобы использовать данный репозиторий необходимо сделать несколько предварительных шагов
-
Проделай пункты из "Как начать работу локально" отсюда: https://github.com/profcomff/dwh-airflow
-
Склонируй этот репозиторий на свой компьютер командой
git clone https://github.com/profcomff/dwh-definitions
-
Создай виртуальное окружение Python. Для этого нужно:
- Установить python3.11 (если еще не установлен): https://www.python.org/downloads/
- Установить pip (если еще не установлен, команда в консоли
python -m ensurepip --upgrade
) - Создать в папке
dwh-definitions
новое виртуальное окружение python3.11 (команда в консолиpython3.11 -m venv venv
илиpython -m venv venv
) - Подключиться к этому виртуальному окружению (команда консоли на windows:
venv\Scripts\activate.bat
, на мак/линукс:source venv/bin/activate
) - Установить библиотеки командой
pip install -U -r requirements.dev.txt -r requirements.txt
Теперь у тебя на компьютере есть база данных, Airflow, описание базы данных в виде питона
-
Обнови схему базы данных командой
alembic upgrade head
. Это создаст в базе данных все те же таблицы, что есть в production базе данных. -
После этого в папках из /ddl можно создавать свои схемы таблиц. Пример таблицы можно посмотреть в /ddl/STG/union_member.py
Дальнейшие шаги:
Рассмотрим дальнейшие действия на примере тестовой таблицы Test. Допустим, что она лежит в /ddl/STG/test_table.py
- Импортировать созданную таблицу в __init__.py файл соответствующей папки. В нашем случае в /ddl/STG/__init__.py необходимо дописать строчку:
from .test_table import Test
- В строчку c __all__ = [] необходимо добавить название импортированной таблицы в кавычках. В нашем случае файл __init__.py будет выглядеть так:
from .test_table import Test
__all__ = ["Test"]
- Если у вас несколько таблиц, то в __all__ их надо перечислять через запятую. К примеру:
from .test_file_first import TestFirst, TestTrird
from .test_file_second import TestSecond
__all__ = ["TestFirst", "TestSecond", "TestTrird"]
При этом порядок перечисления таблиц в __all__ не важен
- После импортирования всех таблиц проведите миграцию, чтобы создались новые таблицы. Миграцию можно провести командами:
alembic revision --autogenerate -m "название_вашей_миграции"
alembic upgrade head
Перва команда создает ревизию - скрипт для перехода на новую версию базы данных. Вторая команда обновляет базу данных (в данном случае создает новую таблицу Test)
Параметризация и плагины
Никаких настроек кроме стандартных нет
Ссылки
- Backend разработка – https://github.com/profcomff/.github/wiki/%5Bdev%5D-Backend-разработка
- Работа с данными -https://github.com/profcomff/.github/wiki/%5Bdev%5D-Работа-с-данными
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
Built Distribution
File details
Details for the file profcomff_definitions-2024.8.30.7.tar.gz
.
File metadata
- Download URL: profcomff_definitions-2024.8.30.7.tar.gz
- Upload date:
- Size: 48.8 kB
- Tags: Source
- Uploaded using Trusted Publishing? Yes
- Uploaded via: twine/5.1.0 CPython/3.12.5
File hashes
Algorithm | Hash digest | |
---|---|---|
SHA256 | 0e7e2edfffeb8d55e23022c76d15d0584155fcbc10555b427965aa5879a68d3a |
|
MD5 | cfbb5205019b9e01f557175060cef4cb |
|
BLAKE2b-256 | 68bb70215eb45302442944f128bff4570e375ef38ad4b15c646ed6f530ae72a6 |
File details
Details for the file profcomff_definitions-2024.8.30.7-py3-none-any.whl
.
File metadata
- Download URL: profcomff_definitions-2024.8.30.7-py3-none-any.whl
- Upload date:
- Size: 22.2 kB
- Tags: Python 3
- Uploaded using Trusted Publishing? Yes
- Uploaded via: twine/5.1.0 CPython/3.12.5
File hashes
Algorithm | Hash digest | |
---|---|---|
SHA256 | d6e1e2401dc1493c3406dda9c69208fc0673fe322295e4215deada1eab526900 |
|
MD5 | 3d1fcbe320400fadba624af654d35be1 |
|
BLAKE2b-256 | 219aba46c3434263027c01cc45796e078f7ef06950177e97de3952309eddadfd |