728x90
[Airflow] Flower worker auto scale
Flower는 Celery 클러스터를 모니터링하고 관리하기 위한 웹 기반 도구다.
Flower는 Celery 이벤트를 이용하여 작업 진행 상황 및 내역등을 실시간으로 모니터링 할 수 있으며,
웹을 통해 작업자 인스턴스 종료 및 다시 시작 등의 remote 컨트롤이 가능하다.
Worker auto scale
플라워에서 다음과 같은 설정을 조정할 수 있는 칸을 확인할 수 있다.
Airflow 공식 문서에서의 work_autoscale에 대한 설명은 다음과 같다.
work_autoscale
부하에 따라 풀 크기를 동적으로 조정하는 데 사용되는 최대 및 최소 풀 프로세스 수이다.
항상 최소 프로세스를 유지하지만, 필요한 경우 최대로 늘린다.
max_concurrency, min_concurrency를 제공하여 자동 확장을 활성화 한다.
자동 확장 옵션을 사용할 수 있는 경우 worker_concurrency는 무시된다.
워커의 리소스와 특성에 따라 해당 수치를 조절한 후,
Auto scale을 Apply 하면 하단에 다음과 같이 적용 된 모습을 확인 할 수 있다.
참고
반응형
'💾 Data > Airflow' 카테고리의 다른 글
[MySQL] INTERVAL (0) | 2024.09.12 |
---|---|
[Airflow] Docker compose Airflow에서 Cli 사용하기 (0) | 2024.04.03 |
[Airflow] 조건에 따라 Task 실행 (1) | 2024.01.04 |
[Airflow] Airflow Configuration (0) | 2023.12.18 |
[Airflow] Celery executor, Flower (0) | 2023.08.10 |