spark-dash 0.3.3

Spark-worker의 CPU 사용량을 확인하며 Scale in/out을 할 수 있는 dashboard를 제공합니다.

spark-dash

Pypi

• spark-dash

usage

1. Run streamlit

$ run-dashboard
 
  Local URL: http://localhost:8501
  Network URL: http://172.31.41.91:8501

2. Explore dashboard
   

   1. main dashboard
      
      

      a. 현재 spark 관련 container의 CPU 및 MEM 사용량을 보여줍니다.

      b. 자동 Scale in/out까지 시간 진행률(60초 중에 얼마나 왔는지)

      c. 수동 Scale in/out 버튼

   2. Scale log dashboard
      
      

      a. 데이터를 나타낼 log file 선택

      b. 선택된 log file을 DataFrame으로 표출

      c. 선택된 log file에서 시간별 Worker의 수를 line plot으로 표출

      d. 선택된 log file에서 Scale In/Out이 일어난 횟수를 bar plot으로 표출

   3. Usage log dashboard
      

      
      

      a. 데이터를 나타낼 log file 선택

      b. 선택된 log file을 DataFrame으로 표출

      c. 선택된 log file에서 CPU 사용량을 line plot으로 표출

      d. 선택된 log file에서 현재 CPU 사용상태를 bar plot으로 표출

Configure

$ cat config.ini
[limit]
max_cpu_use=1   # 10%
min_cpu_use=1   # 10%

[scale]
min_cnt=1
max_cnt=10

scale in/out이 일어나는 cpu %와 최대/최소 worker의 갯수를 config.ini 파일에 지정

dependency