[Airflow] 조건에 따라 Task 실행 조건에 따라 task가 실행되도록 구성을 하고 싶어, airflow에서 사용할 수 있는 operator를 찾아보니 활용할 수 있는 두가지 방업이 있었다. BranchPythonOperator task_id를 output으로하는 python callable을 통해 다음에 이어지는 작업 요소를 결정한다. 보통 선행 작업의 상황에 따라 다른 작업으로 이어져야 하는 경우에 사용한다. https://heywantodo.tistory.com/57 [Airflow] 조건에 따라 분기 (Branch) [Airflow] 조건에 따라 분기 (Branch) BranchPythonOperator 분기를 위한 워크플로가 필요하거나, 임의의 조건에 따라 분기를 할 때 사용 반환된 ta..
[Airflow] Airflow Configuration Airflow를 사용하면서 튜닝이 가능한 여러 설정이 있는데, 그 설정들에 대해 정리 해보고자 한다. Airflow 레벨 airflow 환경을 조정하는 것이므로 모든 dag에 영향을 준다. core config 명 설명 parallelism 단일 Airflow 환경 내에서 동시에 실행 할 수 있는 최대 task 수 max_activate_tasks_per_dag DAG당 한 번에 스케줄링되는 최대 task 수를 결정 max_activate_runs_per_dag 1개의 DAG안에서 최대 활성화되는 DAG의 수를 제어 dag_file_processor_timeout DAG 파일을 처리하는 DagFileProcessor가 시간 초과되기 전에 실행할 수..
[MySQL] DATE_FORMAT MySQL의 DATE_FORMAT 함수는 날짜를 지정한 형식으로 출력한다. DATE_FORMAT DATE_FORMAT(날짜, 형식) 주어진 date를 format에 맞춰 문자열로 변환한다. 구분 기호는 다음과 같다. 기호 역할 기호 역할 %Y 4자리 년도 %m 숫자 월(두자리) %y 2자리 년도 %c 숫자 월(한자리) %M 긴 월(영문) %d 일자(두자리) %b 짧은 월(영문) %e 일자(한자리) %W 긴 요일 이름(영문) %l 시간(12시간) %a 짧은 요일 이름(영문) %H 시간(24시간) %i 분 %r hh:mm:ss AM, PM %T hh:mm:SS %S 초 Example SELECT DATE_FORMAT(now(), '%Y-%m-%d'); -- 2023-11-..
[MySQL] 문자열 함수 MySQL 문자열 함수의 종류 함수 설명 CONCAT(문자열, 문자열) 문자열을 합쳐준다. LEFT(문자열, 길이) OR RIGHT(문자열, 길이) 왼쪽 또는 오른쪽에서 길이만큼 문자열을 끊어준다. SUBSTRING(문자열, 시작, 끝) 문자열을 기준에 따라 나눠준다. REPLACE(문자열, target, replace) 문자열 중의 target에 해당하는 부분을 replace로 바꾼다 REVERSE(문자열) 문자열을 거꾸로 뒤집는다. CHAR_LENGTH(문자열) 문자열의 길이를 반환한다. (공백 포함) UPPER(문자열) 문자열을 대문자로 전부 변환하여 반환한다. LOWER(문자열) 문자열을 소문자로 전부 변환하여 반환한다. CONCAT(문자열, 문자열) 문자열을 합쳐준다...
[SQL] COUNT() 함수의 최대값 혹은 최대값을 가지는 값 찾기 count()의 최대값 찾기 SELECT COUNT(COLUMN1) AS MAX FROM TEST GROUP BY COLUMN1 ORDER BY MAX DESC LIMIT 1; desc로 내림차순 정렬한 후, 반환 결과를 limit1으로 제한하여 가장 상단에 있는 값을 출력한다. count()의 최대값을 가지는 값 찾기 SELECT COLUMN2 FROM TEST GROUP BY COLUMN1 ORDER BY COUNT(COLUMN1) DESC LIMIT 1; order by절에서만 사용하고 출력 결과만 select하여 출력한다. limit 1로 제한하였으므로 최대값을 지니는 값이 두 개여도 하나만 출력되는 단점이 있는데 Having ..
[MySQL] REGEXP LIKE와 IN을 같이 사용한 것과 동일한 결과를 출력하는 방법이 없을까하고 찾아보니, REGEXP라는 정규식을 사용하면 like와 in을 동시에 사용한 것과 같이 사용이 가능하다고 한다. 사용법은 다음과 같다. TEST 테이블의 TEST1 컬럼에 감자, 튀김, 햄버거 중 하나라도 포함이 된 row는 출력을 한다. SELECT * FROM TEST WHERE TEST1 REGEXP '감자|튀김|햄버거' 다음은 예시 사용법이다. SELECT CAR_TYPE, COUNT(*) AS CARS FROM CAR_RENTAL_COMPANY_CAR WHERE OPTIONS REGEXP '통풍시트|열선시트|가죽시트' GROUP BY CAR_TYPE ORDER BY CAR_TYPE 참고 htt..
[MySQL] 재귀 쿼리(Recursive) 🤔재귀함수? 함수 안에 자신의 함수를 다시 호출하는 함수를 의미한다. 자신의 로직을 내부적으로 반복하다가, 일정한 조건이 만족되면 함수를 이탈하여 결과를 도출한다. MySQL에서도 재귀 쿼리 기법이 존재하는데, 사용법은 다음과 같다. WITH RECURSIVE 쿼리문을 작성하고, UNION을 통해 재귀를 구성한다. WITH RECURSIVE cte AS( SELECT 1 AS a --재귀 초깃값 UNION ALL SELECT a + 1 --재귀 FROM cte WHERE h < 5 --재귀 정지 조건 ) SELECT * FROM cte a 1 2 3 4 5 예를 들어, 0시부터 23시까지의 시간값이 필요할 때, 다음과 같이 재귀쿼리를 사용할 수있다. ANIMA..
[MySQL] NULL 처리 DB데이터를 조회할 때, Null 값을 처리해야 할 경우가 있다. MySQL에서 컬럼의 값이 Null 인 경우를 처리해주는 함수에 대해서 알아보자 IFNULL 해당 컬럼의 값이 Null을 반환할 때, 다른 값으로 출력할 수 있다. SELECT IFNULL(Column명, "Null일 경우 대체 값") FROM 테이블명; CASE 조건식을 통해 True, False를 판단하여 조건에 맞게 변환할 수 있다. CASE WHEN 조건식1 THEN 식1 WHEN 조건식2 THEN 식2 ... ELSE 조건에 맞는경우가 없는 경우 실행할 식 END SELECT CASE WHEN NAME IS NULL THEN "No name" ELSE NAME END as NAME FROM ANIMAL..
[Excel] 엑셀을 이용하여 INSERT QUERY문 만들기많은 양의 데이터를 DB에 insert 해야할 때,엑셀 함수를 사용하여 insert 구문을 생성할 수 있다. (컬럼명은 생략 가능)="INSERT INTO 테이블명(컬럼명1, 컬럼명2, 컬럼명2) VALUES ('"&B2&"','"&C2&"',"&D2&");"
[SQL] 테이블 생성 (CREATE) CREATE TABLE CREATE TABLE 테이블 명( 컬럼명 데이터타입 조건, 컬럼명 데이터타입 조건, . . ); 데이터 타입 데이터 타입 의미 CHAR 특정 문자열의 개수를 지정 VARCHAR 가변길이의 문자열을 저장할 때 사용 최대 길이를 지정 (ORACLE x) VARCHAR2 가변길이의 문자열을 저장할 때 사용 최대 길이를 지정 (MySQL, MariaDB x) NUMBER 숫자에 사용되는 데이터 타입, 소수점 저장 가능 (MySQL에선 INT) DECIMAL 숫자에 사용되는 데이터 타입 소수점 저장 가능 DATE 날짜에 사용되는 데이터타입 제약 조건 제약 조건 의미 NOT NULL 값이 꼭 입력이 되어야 할 때 사용 NULL 허용 x UNIQUE 해..
[SQL] 테이블 변경 (ALTER) ALTER 기존에 생성되어있는 테이블에 컬럼을 추가/변경 하는 등 테이블 변경 사항을 적용할 때 사용하는 구문 컬럼 추가 ALTER TABLE table_name ADD COLUMN column_name varchar(32) NOT NULL; 컬럼 변경 ALTER TABLE table_name MODIFY COLUMN column_name varchar(16) NULL; 컬럼 이름 변경 ALTER TABLE table_name CHANGE COLUMN column_name new_column_name varchar(16) NULL; 컬럼 삭제 ALTER TABLE table_name DROP COLUMN column_name; 테이블 이름 변경 ALTER TABLE ..
[Airflow] Celery executor, Flower https://heywantodo.tistory.com/68 [Airflow] 멀티 클러스터 환경 구성 (Celery Executer) [Airflow] 멀티 클러스터 환경 구성 [구성] 1. airflow-ec2-1 (Master) metadata database(rds-mysql) airflow webserver airflow worker 2. airflow-ec2-2 (Worker) airflow worker 1. Master, Worker 인스턴스 생성 후 airflow 설치 : airflow 설치 heywantodo.tistory.com 이전 포스팅에서 Docker composer를 통해 Celery executor를 구성하는 방법을 ..
