Помощь в подключениях и загрузке в БД
Project description
Коннекторы для получения данных из API + загрузка в Clickhouse
Коннекторы дают возможность загружать данные из разных API. Проект работает на базе Docker и собирает данные в Clickhouse, но может также использоваться как обычная библиотека для получения данных без привязки к Docker или Clickhouse.
Ключевые преимущества:
- автоматическое определение состава и типов столбцов, не нужно менять код при добавлении/удалении столбцов на стороне API
- быстрое добавление стандартных методов
- работа по принципу Airflow с фиксацией сбора данных в специальной таблице за каждый день
- инкрементное обновление (получение N последних дней без перезагрузки всех данных)
- централизованные правки при изменениях API (пользователю надо просто перезапустить контейнер)
- может работать без Clickhouse - для обычного получения данных (пример - получение данных в Google Sheets, видео ниже)
- уведомления об ошибках и ходе загрузки в Telegram
Список источников:
WB, OZON, Yandex Market, GetCourse, Yandex Direct, VK Ads, Yandex Metrika, Bitrix24.
Полезные ссылки:
- Подробная статья: http://directprobi.ru/blogs/dannye-api-v-clickhouse-na-python-docker-connectors-wb-ozon-yandex/
- Команды для работы с Docker: https://github.com/morinad/morin/blob/main/DOCKER.md
- Основное видео с демонстрацией: https://youtu.be/OHwtIrQyF68
- Ответы на вопросы: https://youtu.be/sK4mHmAbu4A
- Все полезные файлы на Boosty: https://boosty.to/morinad/posts/ae00106e-4e29-4010-9aff-433d28b620f8?share=post_link
- Применение коннекторов для Google Sheets без Clickhouse и Docker: https://youtu.be/KvuaLI8mGDU
Новые видео, статьи и полезности в Telegram-канале: https://t.me/+2kqVrjV5aXs0NTRi
Наши курсы по Power Query, Power BI и автоматизации:
- Основы Power BI (бесплатный курс): https://directprorf.ru/basics?utm_source=github
- Power BI для рекламных отчётов: https://directprorf.ru/powerbi?utm_source=github
- Из API в Excel и Power BI + коннекторы: https://directprorf.ru/excel?utm_source=github
- Коннекторы для Маркетплейсов: https://directprorf.ru/marketplaces?utm_source=github
- Продвинутый Power Query: https://directprorf.ru/pro?utm_source=github
- Создание коннекторов в Power Query: https://directprorf.ru/connectors?utm_source=github
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
Built Distribution
Filter files by name, interpreter, ABI, and platform.
If you're not sure about the file name format, learn more about wheel file names.
Copy a direct link to the current filters
File details
Details for the file morin-0.4.51.tar.gz.
File metadata
- Download URL: morin-0.4.51.tar.gz
- Upload date:
- Size: 56.7 kB
- Tags: Source
- Uploaded using Trusted Publishing? No
- Uploaded via: twine/4.0.2 CPython/3.11.0
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
43ea49efe6faaa0651ea2c8ee66129fda44785eac4b24d8fac2e60be021e3b93
|
|
| MD5 |
09a4ffa19e6fc74c04579a6a878060d6
|
|
| BLAKE2b-256 |
90eefb34e1e780903e5f7a2d1406824745db617e6313f0321c9af7cfb9faa43d
|
File details
Details for the file morin-0.4.51-py3-none-any.whl.
File metadata
- Download URL: morin-0.4.51-py3-none-any.whl
- Upload date:
- Size: 68.3 kB
- Tags: Python 3
- Uploaded using Trusted Publishing? No
- Uploaded via: twine/4.0.2 CPython/3.11.0
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
b3cf2867638f9aadec3cc05ed4c5dc5b36ec7dbf6afc80722b7fd136d2d86705
|
|
| MD5 |
931547d6d3fc2307191528fd14d1c890
|
|
| BLAKE2b-256 |
de392256add2861e8e4244059186d0ccf248fd07aca8e4e6e1669d2b8dcef652
|
