m-scheduler-partitioning 0.1.7

Mobio scheduler partitioning libs

Thư viện scheduler multiple partitions của Profiling

nop: maximum partitions now support is 1000
delays: maximum time delays now support is 3600 seconds (1 hour)

sample code:

from mobio.libs.m_scheduler_partitioning.m_scheduler import MobioScheduler
from mobio.libs.m_scheduler_partitioning.scheduler_models.scheduler_state_model import SchedulerStateModel


class SampleScheduler(MobioScheduler):
    def process(self):
        if self.url_connection:
            SchedulerStateModel(self.url_connection).set_busy(
                worker_id=self.node_id
            )
        print("Hi there ! :)")


if __name__ == "__main__":
    SampleScheduler(root_node="test-scheduler", nop=100, delays=1, url_connection="mongodb://test_user:test_password@0.0.0.0:27017/test_db")

Change logs

• 0.1.2

  • log state of worker

  • get free worker

  • Để không bị mất 50k cho anh Lợi, thêm 2 index này:

        * db.scheduler_state.createIndex({"expiry_time": 1}, {expireAfterSeconds: 5, name: "expiry_time_1"})
        * db.scheduler_state.createIndex({"root_node": 1, "state":1}, {name: "root_node_1_state_1"})
    

• 0.1.3

  • fix issue khi worker rebalance không tự động cập nhật danh sách partitions.

• 0.1.4

  • fix issue register worker
  • cơ chế đảm bảo việc register worker với hệ thống csdl

• 0.1.5

  • Refix issue register worker
  • Thử nghiệm cơ chế đảm bảo 1 partition chỉ nằm trên 1 worker.
  • NOTE: phần này chưa đảm bảo được việc đủ partitions trên các workers

• 0.1.6

  • Sử dụng threading để quản lý heart_beat và expiry_time
  • Kiểm tra trạng thái subscribe của worker mỗi khi chuẩn bị process data (Đảm bảo rằng việc subscribe phải diễn ra thành công tránh 2 worker cùng xử lý 1 partition)