728x90
Airflow Dag Task 옵션 값
Airflow에는 dag 성능을 개선할 수 있는 다양한 옵션들에는 다음과 같은 것들이 있음
parallelism
에어플로우 클러스터 전체에서 동시에 수행될 수 있는 task 인스턴스의 개수를 결정
concurrency
Dag는 concurrency 값을 초과하는 task 인스턴스를 동시에 수행할 수 없음
Dag 생성 시 concurrency를 설정할 수 있고, 따로 설정하지 않으면 dag_concurrency를 기본값으로 사용
task_concurrency
여러개의 dag_runs가 동시에 수행되는 경우 각 task 별 task 인스턴스 수를 제한
Dag안에 task가 최대 병렬적으로 몇 개 존재할 수 있는지에 대한 설정 값
max_active_runs
task들의 모임인 dag가 최대 몇 개까지 활성화 되어서 병렬적으로 동작할 수 있는지 설정 값
pool
한 pool에 담긴 task들 중 동시에 수행되는 task instance가 일정값을 넘지 않도록 함
반응형
'💾 Data > Airflow' 카테고리의 다른 글
[Airflow] Airflow 용어 정리 (1) (0) | 2023.03.24 |
---|---|
[Airflow] Airflow Pipeline 생성 (1) (0) | 2023.03.23 |
[Airflow] Airflow DB & DB 변경 (0) | 2023.03.14 |
[Airflow] Airflow 실행 (0) | 2023.03.14 |
[Airflow] Airflow 설치 (0) | 2023.03.14 |