Коннекторы для получения данных из API + загрузка в Clickhouse

Коннекторы дают возможность загружать данные из разных API. Проект работает на базе Docker и собирает данные в Clickhouse, но может также использоваться как обычная библиотека для получения данных без привязки к Docker или Clickhouse.

Ключевые преимущества:

  • автоматическое определение состава и типов столбцов, не нужно менять код при добавлении/удалении столбцов на стороне API
  • быстрое добавление стандартных методов
  • работа по принципу Airflow с фиксацией сбора данных в специальной таблице за каждый день
  • инкрементное обновление (получение N последних дней без перезагрузки всех данных)
  • централизованные правки при изменениях API (пользователю надо просто перезапустить контейнер)
  • может работать без Clickhouse - для обычного получения данных (пример - получение данных в Google Sheets, видео ниже)
  • уведомления об ошибках и ходе загрузки в Telegram

Список источников:

WB, OZON, Yandex Market, GetCourse, Yandex Direct, VK Ads, Yandex Metrika, Bitrix24.

Полезные ссылки:

Новые видео, статьи и полезности в Telegram-канале: https://t.me/+2kqVrjV5aXs0NTRi

Все наши курсы и коннекторы на платформе: https://directprobi.ru/platform?utm_source=github

Project links

Key dates

PyPI data
Data sourced directly from PyPI's database.
  • Released:
Newer release available (0.6.7)

1 maintainer

PyPI data
Data sourced directly from PyPI's database.
Avatar for morinad from gravatar.com morinad

Credits

Author: Александр Морин

Report project as malware

Download files

Download the file for your platform. If you're not sure which to choose, learn more about installing packages.

Source Distribution

morin-0.5.28.tar.gz (69.7 kB view details)

Uploaded Source

Built Distribution

If you're not sure about the file name format, learn more about wheel file names.

morin-0.5.28-py3-none-any.whl (85.0 kB view details)

Uploaded Python 3

File details

Details for the file morin-0.5.28.tar.gz.

File metadata

  • Download URL: morin-0.5.28.tar.gz
  • Upload date:
  • Size: 69.7 kB
  • Tags: Source
  • Uploaded using Trusted Publishing? No
  • Uploaded via: twine/4.0.2 CPython/3.11.0

File hashes

Hashes for morin-0.5.28.tar.gz
Algorithm Hash digest
SHA256 48b95c631c82f591ed118b0337c8099e5834492249e6a8196a518623073f4441
MD5 cad43c0723ddc2dc6749ae2ae52f7aa9
BLAKE2b-256 4a10728e3f07e2ae9553242641aed7352e8b490a26191660ca8261d6a7db9d1d

See more details on using hashes here.

File details

Details for the file morin-0.5.28-py3-none-any.whl.

File metadata

  • Download URL: morin-0.5.28-py3-none-any.whl
  • Upload date:
  • Size: 85.0 kB
  • Tags: Python 3
  • Uploaded using Trusted Publishing? No
  • Uploaded via: twine/4.0.2 CPython/3.11.0

File hashes

Hashes for morin-0.5.28-py3-none-any.whl
Algorithm Hash digest
SHA256 cd67ec0145ae4861d3003ee8f766c824de3bccd057b60fbde69b0c434f7c02f1
MD5 68da9c71a77d5d51349ee9917711e4e6
BLAKE2b-256 ac0e1dd22ccf2547fe01a5b3094d3d028fcfdd69dac654b44b90eb63d5a7411d

See more details on using hashes here.

Release history Release notifications | RSS feed

0.6.7

2 files

0.6.6

2 files

0.6.4

2 files

0.6.3

2 files

0.6.2

2 files

0.6.1

2 files

0.6.0

2 files

This release

0.5.28 This release

2 files

0.5.27

2 files

0.5.26

2 files

0.5.24

2 files

0.5.23

2 files

0.5.22

2 files

0.5.21

2 files

0.5.20

2 files

0.5.19

2 files

0.5.18

2 files

0.5.17

2 files

0.5.16

2 files

0.5.15

2 files

0.5.14

2 files

0.5.13

2 files

0.5.12

2 files

0.5.11

2 files

0.5.10

2 files

0.5.9

2 files

0.5.8

2 files

0.5.7

2 files

0.5.6

2 files

0.5.5

2 files

0.5.4

2 files

0.5.3

2 files

0.5.2

2 files

0.5.1

2 files

0.5.0

2 files

0.4.57

2 files

0.4.56

2 files

0.4.55

2 files

0.4.54

2 files

0.4.53

2 files

0.4.52

2 files

0.4.51

2 files

0.4.50

2 files

0.4.49

2 files

0.4.48

2 files

0.4.47

2 files

0.4.46

2 files

0.4.45

2 files

0.4.44

2 files

0.4.43

2 files

0.4.42

2 files

0.4.41

2 files

0.4.40

2 files

0.4.39

2 files

0.4.38

2 files

0.4.36

2 files

0.4.35

2 files

0.4.34

2 files

0.4.33

2 files

0.4.32

2 files

0.4.31

2 files

0.4.30

2 files

0.4.29

2 files

0.4.28

2 files

0.4.27

2 files

0.4.26

2 files

0.4.25

2 files

0.4.24

2 files

0.4.23

2 files

0.4.22

2 files

0.4.21

2 files

0.4.20

2 files

0.4.19

2 files

0.4.18

2 files

0.4.17

2 files

0.4.16

2 files

0.4.15

2 files

0.4.14

2 files

0.4.13

2 files

0.4.11

2 files

0.4.10

2 files

0.4.9

2 files

0.4.8

2 files

0.4.7

2 files

0.4.6

2 files

0.4.5

2 files

0.4.4

2 files

0.4.3

2 files

0.4.2

2 files

0.4.1

2 files

0.4.0

2 files

0.3.62

2 files

0.3.61

2 files

0.3.60

2 files

0.3.59

2 files

0.3.58

2 files

0.3.57

2 files

0.3.56

2 files

0.3.55

2 files

0.3.54

2 files

0.3.53

2 files

0.3.52

2 files

0.3.51

2 files

0.3.49

2 files

0.3.48

2 files

0.3.47

2 files

0.3.46

2 files

0.3.45

2 files

0.3.44

2 files

0.3.43

2 files

0.3.42

2 files

0.3.41

2 files

0.3.40

2 files

0.3.39

2 files

0.3.38

2 files

0.3.37

2 files

0.3.36

2 files

0.3.35

2 files

0.3.34

2 files

0.3.33

2 files

0.3.32

2 files

0.3.30

2 files

0.3.29

2 files

0.3.27

2 files

0.3.26

2 files

0.3.25

2 files

0.3.24

2 files

0.3.23

2 files

0.3.22

2 files

0.3.21

2 files

0.3.20

2 files

0.3.19

2 files

0.3.18

2 files

0.3.17

2 files

0.3.16

2 files

0.3.15

2 files

0.3.14

2 files

0.3.13

2 files

0.3.11

2 files

0.3.10

2 files

0.3.9

2 files

0.3.8

2 files

0.3.7

2 files

0.3.6

2 files

0.3.5

2 files

0.3.4

2 files

0.3.3

2 files

0.3.2

2 files

0.3.1

2 files

0.2.35

2 files

0.2.34

2 files

0.2.33

2 files

0.2.32

2 files

0.2.31

2 files

0.2.30

2 files

0.2.29

2 files

0.2.28

2 files

0.2.27

2 files

0.2.26

2 files

0.2.25

2 files

0.2.24

2 files

0.2.23

2 files

0.2.22

2 files

0.2.21

2 files

0.2.20

2 files

0.2.19

2 files

0.2.18

2 files

0.2.17

2 files

0.2.16

2 files

0.2.15

2 files

0.2.13

2 files

0.2.12

2 files

0.2.11

2 files

0.2.10

2 files

0.2.9

2 files

0.2.8

2 files

0.2.7

2 files

0.2.6

2 files

Anthropic, PBC Visionary sponsor Bloomberg Visionary sponsor Hudson River Trading Visionary sponsor Meta Visionary sponsor NVIDIA Visionary sponsor Microsoft Sustainability sponsor Depot Continuous Integration AWS Cloud computing and Security Sponsor Datadog Monitoring Fastly CDN Google Download Analytics Sentry Error logging StatusPage Status page