Data warehouse definitions and schemas
Project description
dwh-definitions
Библиотека, описывающая структуру всех баз данных профкома ФФ. Реализована с помощью разделения всех баз данных в 4 категории - STG, DWH, ODS и DM.
Функционал
- Удобное и структурированное хранение данных
- Разграничение и удобное управление правами доступа
Разработка
- Backend разработка – https://github.com/profcomff/.github/wiki/%5Bdev%5D-Backend-разработка
- Работа с данными -https://github.com/profcomff/.github/wiki/%5Bdev%5D-Работа-с-данными
Quick start
- Перейдите в папку проекта
- Создайте виртуальное окружение командой:
python3 -m venv ./venv/
- Установите библиотеки
pip install -r requirements.txt
Использование
В своих базах данных мы используем postgres базы данных. Для того чтобы использовать данный репозиторий необходимо сделать несколько предварительных шагов
-
Проделай пункты из "Как начать работу локально" отсюда: https://github.com/profcomff/dwh-airflow
-
Склонируй этот репозиторий на свой компьютер командой
git clone https://github.com/profcomff/dwh-definitions
-
Создай виртуальное окружение Python. Для этого нужно:
- Установить python3.11 (если еще не установлен): https://www.python.org/downloads/
- Установить pip (если еще не установлен, команда в консоли
python -m ensurepip --upgrade
) - Создать в папке
dwh-definitions
новое виртуальное окружение python3.11 (команда в консолиpython3.11 -m venv venv
илиpython -m venv venv
) - Подключиться к этому виртуальному окружению (команда консоли на windows:
venv\Scripts\activate.bat
, на мак/линукс:source venv/bin/activate
) - Установить библиотеки командой
pip install -U -r requirements.dev.txt -r requirements.txt
Теперь у тебя на компьютере есть база данных, Airflow, описание базы данных в виде питона
-
Обнови схему базы данных командой
alembic upgrade head
. Это создаст в базе данных все те же таблицы, что есть в production базе данных. -
После этого в папках из /ddl можно создавать свои схемы таблиц. Пример таблицы можно посмотреть в /ddl/STG/union_member.py
Дальнейшие шаги:
Рассмотрим дальнейшие действия на примере тестовой таблицы Test. Допустим, что она лежит в /ddl/STG/test_table.py
- Импортировать созданную таблицу в __init__.py файл соответствующей папки. В нашем случае в /ddl/STG/__init__.py необходимо дописать строчку:
from .test_table import Test
- В строчку c __all__ = [] необходимо добавить название импортированной таблицы в кавычках. В нашем случае файл __init__.py будет выглядеть так:
from .test_table import Test
__all__ = ["Test"]
- Если у вас несколько таблиц, то в __all__ их надо перечислять через запятую. К примеру:
from .test_file_first import TestFirst, TestTrird
from .test_file_second import TestSecond
__all__ = ["TestFirst", "TestSecond", "TestTrird"]
При этом порядок перечисления таблиц в __all__ не важен
- После импортирования всех таблиц проведите миграцию, чтобы создались новые таблицы. Миграцию можно провести командами:
alembic revision --autogenerate -m "название_вашей_миграции"
alembic upgrade head
Перва команда создает ревизию - скрипт для перехода на новую версию базы данных. Вторая команда обновляет базу данных (в данном случае создает новую таблицу Test)
Параметризация и плагины
Никаких настроек кроме стандартных нет
Ссылки
- Backend разработка – https://github.com/profcomff/.github/wiki/%5Bdev%5D-Backend-разработка
- Работа с данными -https://github.com/profcomff/.github/wiki/%5Bdev%5D-Работа-с-данными
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
Built Distribution
Hashes for profcomff_definitions-2024.5.7.1.tar.gz
Algorithm | Hash digest | |
---|---|---|
SHA256 | 51a535ce236c414e7590f5ff9645d0facd38c6604a9d5bad065d31410a71396a |
|
MD5 | 94be2126e13e1728d6c08530369d3125 |
|
BLAKE2b-256 | 520ee19aef9cd56471ecdeea8b5e27dbb3611bbffd1e3bcda6bf3af885cd3c63 |
Hashes for profcomff_definitions-2024.5.7.1-py3-none-any.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 54eb80cce69b766fe1c9cbe08e56fd9ac6b7882078ad1c506e9e353eee7285ad |
|
MD5 | cc05a98ae32b53ae04d784ed6da46e04 |
|
BLAKE2b-256 | 9d87b9bb04584c980ad7646157bb300e38c6df97a237d063441f162e65807b39 |