💾 Data/Airflow
[Airflow] Flower worker auto scale
heywantodo
2024. 7. 29. 13:49
728x90
반응형
[Airflow] Flower worker auto scale
Flower는 Celery 클러스터를 모니터링하고 관리하기 위한 웹 기반 도구다.
Flower는 Celery 이벤트를 이용하여 작업 진행 상황 및 내역등을 실시간으로 모니터링 할 수 있으며,
웹을 통해 작업자 인스턴스 종료 및 다시 시작 등의 remote 컨트롤이 가능하다.
Worker auto scale
플라워에서 다음과 같은 설정을 조정할 수 있는 칸을 확인할 수 있다.
Airflow 공식 문서에서의 work_autoscale에 대한 설명은 다음과 같다.
work_autoscale
부하에 따라 풀 크기를 동적으로 조정하는 데 사용되는 최대 및 최소 풀 프로세스 수이다.
항상 최소 프로세스를 유지하지만, 필요한 경우 최대로 늘린다.
max_concurrency, min_concurrency를 제공하여 자동 확장을 활성화 한다.
자동 확장 옵션을 사용할 수 있는 경우 worker_concurrency는 무시된다.
워커의 리소스와 특성에 따라 해당 수치를 조절한 후,
Auto scale을 Apply 하면 하단에 다음과 같이 적용 된 모습을 확인 할 수 있다.
참고
728x90
반응형