[Airflow] Airflow Dag Task 옵션 값

Airflow Dag Task 옵션 값

Airflow에는 dag 성능을 개선할 수 있는 다양한 옵션들에는 다음과 같은 것들이 있음

 

parallelism

에어플로우 클러스터 전체에서 동시에 수행될 수 있는 task 인스턴스의 개수를 결정

 

concurrency

Dag는 concurrency 값을 초과하는 task 인스턴스를 동시에 수행할 수 없음

Dag 생성 시 concurrency를 설정할 수 있고, 따로 설정하지 않으면 dag_concurrency를 기본값으로 사용

 

task_concurrency

여러개의 dag_runs가 동시에 수행되는 경우 각 task 별 task 인스턴스 수를 제한

Dag안에 task가 최대 병렬적으로 몇 개 존재할 수 있는지에 대한 설정 값 

 

max_active_runs

task들의 모임인 dag가 최대 몇 개까지 활성화 되어서 병렬적으로 동작할 수 있는지 설정 값

 

 

pool

한 pool에 담긴 task들 중 동시에 수행되는 task instance가 일정값을 넘지 않도록 함

 

 

참고 : https://airflow.apache.org/docs/apache-airflow/stable/configurations-ref.html#max-active-runs-per-dag