[Airflow] Flower worker auto scale

[Airflow] Flower worker auto scale

 

Flower는 Celery 클러스터를 모니터링하고 관리하기 위한 웹 기반 도구다.

 

Flower는 Celery 이벤트를 이용하여 작업 진행 상황 및 내역등을 실시간으로 모니터링 할 수 있으며,

웹을 통해 작업자 인스턴스 종료 및 다시 시작 등의 remote 컨트롤이 가능하다. 

 

Worker auto scale

플라워에서 다음과 같은 설정을 조정할 수 있는 칸을 확인할 수 있다.

Airflow 공식 문서에서의 work_autoscale에 대한 설명은 다음과 같다. 

work_autoscale

부하에 따라 풀 크기를 동적으로 조정하는 데 사용되는 최대 및 최소 풀 프로세스 수이다.
항상 최소 프로세스를 유지하지만, 필요한 경우 최대로 늘린다.
max_concurrency, min_concurrency를 제공하여 자동 확장을 활성화 한다.

자동 확장 옵션을 사용할 수 있는 경우 worker_concurrency는 무시된다.

 

워커의 리소스와 특성에 따라 해당 수치를 조절한 후,

Auto scale을 Apply 하면 하단에 다음과 같이 적용 된 모습을 확인 할 수 있다.

 

참고

https://flower.readthedocs.io/en/latest/

https://airflow.apache.org/docs/apache-airflow-providers-celery/stable/configurations-ref.html#worker-autoscale