Skip to main content

Транслятор репликации в задачи Celery

Project description

Решение для синхронизации БД - RepliSync

Описание

Принцип работы

Параметры конфигурационного файла

Установка и настройка

Полезные ссылки

Версии

0.6.2

  • BOBUH-20060 Явное указание версий celery и psycopg2.

0.6.1

  • BOBUH-20060 Исправление потенциальной ошибки при write-in-chunks = False;
  • BOBUH-20060 Исправление логирования;
  • BOBUH-20060 Добавление учета разбиения сообщения на чанки.

0.6.0

  • BOBUH-20060 Добавлен конфиг isort;
  • BOBUH-20060 Добавление файлов с зависимостями и их использование в setup.py;
  • BOBUH-20060 Формирование корректного начального LSN. Ошибка была связана с установкой дефолтного значения параметра, которое не равнялось None и приводило к невыполнению условия по получению restart_lsn реплики;
  • BOBUH-20060 Определение максимального LSN и отправка именно его на фиксацию. Исключается случай, когда может прийти сообщение, где будет указан LSN меньше уже найденного максимального и его фиксация, которая может привести к повторному прогону сообщений;
  • BOBUH-20060 Разделение файлов CHANGES.md и README.md;
  • BOBUH-20060 Добавление файла MANIFEST.in;
  • BOBUH-20060 Доработка setup.py в части указания версии Python 3, формирования описания проекта;
  • BOBUH-20060 Оптимизация преобразования сообщений;

0.5.8

  • Добавлено логирование значения flush_lsn при отправке сообщения на уровне info, а также времени, потраченного на выполнение отправки сообщения, на уровне debug.

0.5.7

  • в Wal2JsonReceiver включен параметр write-in-chunks для чтения изменений из слота репликации по частям. Отправка изменений на обработку в рамках транзакции выполняется одним сообщением.
  • скорректирован учет bool параметров из .conf

0.5.6

  • Добавлен параметр includes_extra для задания служебных таблиц, изменения по которым также нужно передавать в сообщениях
  • Добавлен необязательный параметр output_dir для указания директории, в которой в виде файлов сохраняется информация о синхронизируемых данных для последующей обработки.

0.5.5

  • добавлена возможность указания очереди, в которую будет отправлена задача, если в изменениях присутствует определенная таблица. для этого в файл конфигурации необходимо добавить секцию [routing] и указать соответствие очереди и перечня таблиц (через запятую):
[routing]
replisync_users = auth_user
replisync_contragent = contragent_supplier, contragent_corporation, contragent_person, contragent_address 

0.5.4

  • Добавлен тип long_description в setup.py
  • Скорректирован .gitignore

0.5.3

  • Добавлена поддержка параметров task_default_routing_key task_default_queue в replisync.conf для возможности отделить replisync от общих очередей

Project details


Download files

Download the file for your platform. If you're not sure which to choose, learn more about installing packages.

Source Distribution

replisync-0.6.2.tar.gz (16.0 kB view details)

Uploaded Source

Built Distribution

replisync-0.6.2-py3-none-any.whl (16.3 kB view details)

Uploaded Python 3

File details

Details for the file replisync-0.6.2.tar.gz.

File metadata

  • Download URL: replisync-0.6.2.tar.gz
  • Upload date:
  • Size: 16.0 kB
  • Tags: Source
  • Uploaded using Trusted Publishing? No
  • Uploaded via: twine/3.4.2 importlib_metadata/4.8.1 pkginfo/1.7.1 requests/2.26.0 requests-toolbelt/0.9.1 tqdm/4.62.3 CPython/3.9.7

File hashes

Hashes for replisync-0.6.2.tar.gz
Algorithm Hash digest
SHA256 cda8cd9d1bdbdca06b2e66884c02d8196ecb27d26f3ca92bf257f1e2741124be
MD5 04ff9eb47b0432a723da6241df5a671f
BLAKE2b-256 a55fd2bbedc8957b0b833805ac3df0b90bb1dd335af283bf04c116c230fe8999

See more details on using hashes here.

File details

Details for the file replisync-0.6.2-py3-none-any.whl.

File metadata

  • Download URL: replisync-0.6.2-py3-none-any.whl
  • Upload date:
  • Size: 16.3 kB
  • Tags: Python 3
  • Uploaded using Trusted Publishing? No
  • Uploaded via: twine/3.4.2 importlib_metadata/4.8.1 pkginfo/1.7.1 requests/2.26.0 requests-toolbelt/0.9.1 tqdm/4.62.3 CPython/3.9.7

File hashes

Hashes for replisync-0.6.2-py3-none-any.whl
Algorithm Hash digest
SHA256 263487696b271ffcc68ecb9a873e1b1c1fed23ffb2da43dd5946e753af58991e
MD5 e22b4a46a4904842b4a04a6691094efc
BLAKE2b-256 762ec1ec48de6b4dc32781d5804a9f7d2f9a191a11727f5691eb039d3bb2ca76

See more details on using hashes here.

Supported by

AWS AWS Cloud computing and Security Sponsor Datadog Datadog Monitoring Fastly Fastly CDN Google Google Download Analytics Microsoft Microsoft PSF Sponsor Pingdom Pingdom Monitoring Sentry Sentry Error logging StatusPage StatusPage Status page