데이터베이스? : 여러 사람이 공유해 사용할 목적으로 통합하여 관리되는 데이터의 모음 SQL? : 데이터 베이스에 접근하고 조작하기 위한 표준 언어 데이터 베이스의 종류 관계형 데이터베이스 하나 이상의 테이블로 이루어지며, 서로 연결된 데이터를 가지고 있음 관계형 데이터베이스는 SQL을 통해 제어가 가능함 비관계형 데이터베이스 기존 관계형 데이터베이스의 한계를 뛰어넘기 위해 만들어진 새로운 형태의 데이터베이스 분산 환경에서의 데이터 처리를 더욱 빠르게 하기 위해 개발됨 데이터 베이스 스키마 스키마(Schema) 스키마 구조는 데이터베이스를 바라보는 관점으로 각각을 분리한 것 분리함으로써 얻는 이점은 독립성과 중복의 배제 스키마 종류 외부 스키마 : 각 사용자 관점 개념 스키마 : 전체 사용자 관점 내부 ..
Airflow 데이터베이스 1. 에어플로우의 DB Airflow를 설치하면 Sqlite를 Default DB로 사용하게 되기 때문에 필수 라이브러리 Sqlite는 Sequentail Executor로 순차적으로 진행하는 것만 할 수 있음 작업이 느리고 원하는 시간에 작업을 처리하지 못할 수도 있기 때문에 상용 버전에선 거의 사용하지 않음 다른 Executor를 사용하면 병렬처리가 가능해져 작업이 빨라짐, 다양한 기능 또한 있음 다른 Executor를 사용하기 위해선 DB 변경이 필요함 주로 사용하는 것이 PostgreSQL 이나 MySQL 2. Airflow DB 변경 (PostgreSQL) 공식 문서 참조 https://airflow.apache.org/docs/apache-airflow/stable/..
Airflow 실행 🔎 설치환경 AWS Amazonlinux 2 1. 자동으로 초기화하고 실행 airflow standalone 2. 수동으로 초기화하고 실행 DB 초기화 airflow db init Airflow 사용자 생성 airflow users create \ --username admin \ --firstname Jeff \ --lastname bejos \ --role Admin \ --email ceo@amazon.com \ --password PASSWD 웹 서버 & 스케줄러 시작 airflow webserver --port 8080 airflow scheduler
Airflow 설치 🔎 설치환경 AWS Amazonlinux 2 2.5.1 버전 Airflow 설치 공식 Documents 참조 https://airflow.apache.org/docs/apache-airflow/stable/installation/installing-from-pypi.html Installation from PyPI — Airflow Documentation airflow.apache.org 1. 가상환경 구성 (miniconda) 공식 사이트에서 자신의 OS 버전에 맞는 파일을 wget으로 받아옴 https://docs.conda.io/en/latest/miniconda.html Miniconda — conda documentation Miniconda is a free minimal..
리눅스 쉘 프로그래밍 (2) 1. 조건문 쉘 스크립트 조건문 if-then-fi 조건 명령어, command 실행 결과에 따른 서로 다른 command를 실행 if grep 계정명 /etc/passwd &> /dev/null then 계정이 존재합니다 else 계정 생성 fi case $var의 값에 따라 선택해서 명령어를 실행 echo -n "What do you want?" read answer case $answer in yes) echo "System restart.";; no) echo "shutdown the system.";; *) echo "entered incorrectly";; esac 2. 반복문 쉘 스크립트 반복문 while 다음의 command가 성공하는 동안 do~done 사이의..
리눅스 쉘 프로그래밍 1. 리눅스 Shell Script 리눅스 쉘 스크립트 리눅스 command들을 모아 놓은 ASCII Text 파일 실행 퍼미션을 할당해야 실행 가능 (chmod) Shell 구문은 기본 top-down 방식으로 해석해서 실행됨 ✔ #으로 시작하는 line은 comment (주석) ✔ #!/bin/bash를 최상단에 적어줘야지 bash로 실행 가능 위치 매개 변수 Positional Parameters $1, $2, $3와 같은 변수에 저장되어 Script에 전달 2. Input & Output echo 문자열이나 변수를 출력하는 명령어 echo 옵션 메세지 -n : 메시지 출력 후 newline 문자를 추가하지 않음 -e : backslash escape 문자를 해석하여 특별한 의..
리눅스 Shell 명령어 1. 리눅스 Shell Shell Shell 명령어 해석기 사용자가 프롬프트에 입력한 명령을 해석해서 운영체제에게 전달 Shell의 종류 Bourne shell (sh) AT&T 벨 연구소의 스티븐 본이 개발한 오리지널 셸 C Shell (csh, tcsh) Bill joy가 C언어의 기술을 넣어 만든 셸 C언어의 문법을 적용 Korn shell (ksh) David Kom이 기존 sh에 csh의 기능을 포함시켜 생성 Bourne-again shell (bash) GNU Project로 만들어 짐 csh, ksh이 가진 기능을 포함하면서 sh와 호환성을 많이 높임 사용 가능 한 Shell 리스트 확인하기 cat /etc/shells 현재 로그인 한 Shell 확인하기 echo $..
리눅스 프로세스 관리 1. 프로세스의 이해 프로세스 현재 메모리 위에서 동작하는 프로그램 => 프로그램마다 프로세스 ID (PID) 부여 동작 중인 프로세스는 ps 명령어로 확인 가능 프로세스는 강제 종료 (kill) 가능 프로세스를 강제종료 할 수 있는 권한은 root랑 프로세스 소유자만 가능 프로세스 명령어 프로세스 목록보기 (ps) 현재 실행중인 프로세스 목록 ps 옵션 -e : 시스템에서 실행중인 모든 프로세스의 정보를 출력 -f : 프로세스의 자세한 정보 출력 -u(uid) : 특정 사용자에 대한 모든 프로세스 정보를 출력 -p(pid) : pid로 지정한 특정 프로세스의 정보를 출력 -ef : 실행중인 모든 프로세스의 자세한 정보 출력 항목 의미 항목 의미 UID 프로세스를 실행한 사용자 ID..
리눅스 텍스트 처리 1. 리눅스 편집기 vi, vim 리눅스의 표준 Editor, 간편한 설치로 사용 가능 emacs nano Acsii test 편집을 위해 사용됨 2. vi 편집기 vi 실행 vi 파일이름 ^ : 문장의 시작으로 이동 $ : 문장의 끝으로 이동 w, b : 단어 단위로 이동 (앞, 뒤) . : 반복 실행 % : 짝이 맞는 괄호를 찾아줌 vi 입력 [ insert ] a(append), i(insert) : 입력 모드 [ command ] o : blackline 만들어줌 (한줄 띄우기) u : undo (되돌리기) [ delete ] x : 글자 삭제 dw : 단어 삭제 (#dw : #개 만큼 지움) d^ : 문장의 맨 앞 단어 지움 d$ : 문장의 맨 뒤 단어 지움 dd : 라인 전..
리눅스 기본 명령어2 1. 리눅스 디렉토리 리눅스는 Text Base 이기 때문에 디렉토리가 중요함 리눅스 디렉토리의 구조 🔎 현재 작업중인 디렉토리의 구조를 확인하려면 tree 명령어를 사용하면 됨 디렉토리 명 용도 / 최상위 디렉토리, root 디렉토리라 부름 /bin binaries의 약자로, 가장 필수적인 실행 파일(명령어)들을 모아두고 있음 ⇒ 바로가기로 사용됨 /boot 시스템 부팅과 관련된 파일들이 저장됨 /dev 디스크, 키보드, 터미널과 같은 디바이스 파일들이 저장됨 /ect 시스템에서 사용하는 여러가지 설정 파일(환경설정)들이 저장됨 /home 일반 사용자들의 홈 디렉토리 ex. unbuntu의 홈 디렉토리는 ubuntu /lib,/lib64 binary프로그램이 사용하는 library..
리눅스 기본 명령어 명령어와 옵션은 반드시 한 칸 이상 Blank를 두어야 함 1. 리눅스 로그인 리눅스는 일반유저와 root 사용자의 프롬프트가 틀림 ~ : 현재 작업 디렉토리 (Home directory) $ : 일반 유저의 프롬프트 모양 # : Root 유저의 프롬프트 모양 리눅스 계정 정보 확인 🔎 모든 유저는 id를 가지고 있고, 반드시 1개 이상의 그룹을 가지고 있음 whoami : 나 (1명)의 정보 확인 who : 로그인 한 유저와 시간대, ip 확인 가능 id : 0번은 root, 1~999번 까지는 system account, 1,000 ~ 60,000 까지는 local user users : user 정보 확인 가능, 시스템에 로그인 되어있는 유저 목록 확인 groups : group..
서버와 클라이언트의 개념 Server : 서비스를 제공하는 것 Client : 서비스를 요청하는 것 운영체제 (Operating System) Unix 미국 Bell 연구소의 켄 톰슨에 의해 처음 개발 우수한 이식성, 계층적 파일 시스템 Linux 헬싱키 대학교 학생이었던 토발즈에 의해 개발 공개형 오픈소스 운영체제 리눅스의 구성 커널 : 리눅스의 운영체제, 하드웨어를 직접적으로 제어하는 역할 쉘 : 사용자가 입력한 명령을 커널이 이해할 수 있도록 해석해서 전달하는 해석기 응용 프로그램 : vi 같은 에디터나 유틸리티, 서버 운영을 위한 프로그램들 리눅스 발전과정 리눅스의 특징 공개 소프트웨어, 무료로 사용 가능 유닉스와의 완벽한 호환성 서버용 운영체제로 많이 사용됨 리눅스 배포판 종류 Redhat 계열..
