Коннекторы для получения данных из API + загрузка в Clickhouse

Коннекторы дают возможность загружать данные из разных API. Проект работает на базе Docker и собирает данные в Clickhouse, но может также использоваться как обычная библиотека для получения данных без привязки к Docker или Clickhouse.

Ключевые преимущества:

  • автоматическое определение состава и типов столбцов, не нужно менять код при добавлении/удалении столбцов на стороне API
  • быстрое добавление стандартных методов
  • работа по принципу Airflow с фиксацией сбора данных в специальной таблице за каждый день
  • инкрементное обновление (получение N последних дней без перезагрузки всех данных)
  • централизованные правки при изменениях API (пользователю надо просто перезапустить контейнер)
  • может работать без Clickhouse - для обычного получения данных (пример - получение данных в Google Sheets, видео ниже)
  • уведомления об ошибках и ходе загрузки в Telegram

Список источников:

WB, OZON, Yandex Market, GetCourse, Yandex Direct, VK Ads, Yandex Metrika, Bitrix24.

Полезные ссылки:

Новые видео, статьи и полезности в Telegram-канале: https://t.me/+2kqVrjV5aXs0NTRi

Все наши курсы и коннекторы на платформе: https://directprobi.ru/platform?utm_source=github

Project links

Key dates

PyPI data
Data sourced directly from PyPI's database.
  • Released:
Newer release available (0.6.7)

1 maintainer

PyPI data
Data sourced directly from PyPI's database.
Avatar for morinad from gravatar.com morinad

Credits

Author: Александр Морин

Report project as malware

Download files

Download the file for your platform. If you're not sure which to choose, learn more about installing packages.

Source Distribution

morin-0.6.4.tar.gz (75.4 kB view details)

Uploaded Source

Built Distribution

If you're not sure about the file name format, learn more about wheel file names.

morin-0.6.4-py3-none-any.whl (90.3 kB view details)

Uploaded Python 3

File details

Details for the file morin-0.6.4.tar.gz.

File metadata

  • Download URL: morin-0.6.4.tar.gz
  • Upload date:
  • Size: 75.4 kB
  • Tags: Source
  • Uploaded using Trusted Publishing? No
  • Uploaded via: twine/4.0.2 CPython/3.11.0

File hashes

Hashes for morin-0.6.4.tar.gz
Algorithm Hash digest
SHA256 2eb92a1bdbb481320de08945d0dd3832ca784418363d956a9bffa95cbb0158a2
MD5 53ff2e751bde8d106c889661cadec87a
BLAKE2b-256 d6b72c6a73df2cd3402cd2809ab29f0b4fa9908654235fd98b81f11b37ecdbfe

See more details on using hashes here.

File details

Details for the file morin-0.6.4-py3-none-any.whl.

File metadata

  • Download URL: morin-0.6.4-py3-none-any.whl
  • Upload date:
  • Size: 90.3 kB
  • Tags: Python 3
  • Uploaded using Trusted Publishing? No
  • Uploaded via: twine/4.0.2 CPython/3.11.0

File hashes

Hashes for morin-0.6.4-py3-none-any.whl
Algorithm Hash digest
SHA256 a4d691f7c1f84ba64edfd30397a504889f21083f9727aa73be542c6efeaa9035
MD5 bab8d86232a8b2bffafe71301a9a1c31
BLAKE2b-256 1e640dd1f8c0fcd91db8c3e28675d02fc8810084aa7d6612fb5b683f4ebf19e1

See more details on using hashes here.

Release history Release notifications | RSS feed

0.6.7

2 files

0.6.6

2 files

This release

0.6.4 This release

2 files

0.6.3

2 files

0.6.2

2 files

0.6.1

2 files

0.6.0

2 files

0.5.28

2 files

0.5.27

2 files

0.5.26

2 files

0.5.24

2 files

0.5.23

2 files

0.5.22

2 files

0.5.21

2 files

0.5.20

2 files

0.5.19

2 files

0.5.18

2 files

0.5.17

2 files

0.5.16

2 files

0.5.15

2 files

0.5.14

2 files

0.5.13

2 files

0.5.12

2 files

0.5.11

2 files

0.5.10

2 files

0.5.9

2 files

0.5.8

2 files

0.5.7

2 files

0.5.6

2 files

0.5.5

2 files

0.5.4

2 files

0.5.3

2 files

0.5.2

2 files

0.5.1

2 files

0.5.0

2 files

0.4.57

2 files

0.4.56

2 files

0.4.55

2 files

0.4.54

2 files

0.4.53

2 files

0.4.52

2 files

0.4.51

2 files

0.4.50

2 files

0.4.49

2 files

0.4.48

2 files

0.4.47

2 files

0.4.46

2 files

0.4.45

2 files

0.4.44

2 files

0.4.43

2 files

0.4.42

2 files

0.4.41

2 files

0.4.40

2 files

0.4.39

2 files

0.4.38

2 files

0.4.36

2 files

0.4.35

2 files

0.4.34

2 files

0.4.33

2 files

0.4.32

2 files

0.4.31

2 files

0.4.30

2 files

0.4.29

2 files

0.4.28

2 files

0.4.27

2 files

0.4.26

2 files

0.4.25

2 files

0.4.24

2 files

0.4.23

2 files

0.4.22

2 files

0.4.21

2 files

0.4.20

2 files

0.4.19

2 files

0.4.18

2 files

0.4.17

2 files

0.4.16

2 files

0.4.15

2 files

0.4.14

2 files

0.4.13

2 files

0.4.11

2 files

0.4.10

2 files

0.4.9

2 files

0.4.8

2 files

0.4.7

2 files

0.4.6

2 files

0.4.5

2 files

0.4.4

2 files

0.4.3

2 files

0.4.2

2 files

0.4.1

2 files

0.4.0

2 files

0.3.62

2 files

0.3.61

2 files

0.3.60

2 files

0.3.59

2 files

0.3.58

2 files

0.3.57

2 files

0.3.56

2 files

0.3.55

2 files

0.3.54

2 files

0.3.53

2 files

0.3.52

2 files

0.3.51

2 files

0.3.49

2 files

0.3.48

2 files

0.3.47

2 files

0.3.46

2 files

0.3.45

2 files

0.3.44

2 files

0.3.43

2 files

0.3.42

2 files

0.3.41

2 files

0.3.40

2 files

0.3.39

2 files

0.3.38

2 files

0.3.37

2 files

0.3.36

2 files

0.3.35

2 files

0.3.34

2 files

0.3.33

2 files

0.3.32

2 files

0.3.30

2 files

0.3.29

2 files

0.3.27

2 files

0.3.26

2 files

0.3.25

2 files

0.3.24

2 files

0.3.23

2 files

0.3.22

2 files

0.3.21

2 files

0.3.20

2 files

0.3.19

2 files

0.3.18

2 files

0.3.17

2 files

0.3.16

2 files

0.3.15

2 files

0.3.14

2 files

0.3.13

2 files

0.3.11

2 files

0.3.10

2 files

0.3.9

2 files

0.3.8

2 files

0.3.7

2 files

0.3.6

2 files

0.3.5

2 files

0.3.4

2 files

0.3.3

2 files

0.3.2

2 files

0.3.1

2 files

0.2.35

2 files

0.2.34

2 files

0.2.33

2 files

0.2.32

2 files

0.2.31

2 files

0.2.30

2 files

0.2.29

2 files

0.2.28

2 files

0.2.27

2 files

0.2.26

2 files

0.2.25

2 files

0.2.24

2 files

0.2.23

2 files

0.2.22

2 files

0.2.21

2 files

0.2.20

2 files

0.2.19

2 files

0.2.18

2 files

0.2.17

2 files

0.2.16

2 files

0.2.15

2 files

0.2.13

2 files

0.2.12

2 files

0.2.11

2 files

0.2.10

2 files

0.2.9

2 files

0.2.8

2 files

0.2.7

2 files

0.2.6

2 files

Anthropic, PBC Visionary sponsor Bloomberg Visionary sponsor Hudson River Trading Visionary sponsor Meta Visionary sponsor NVIDIA Visionary sponsor Microsoft Sustainability sponsor Depot Continuous Integration AWS Cloud computing and Security Sponsor Datadog Monitoring Fastly CDN Google Download Analytics Sentry Error logging StatusPage Status page