[Pandas] 데이터 프레임의 컬럼을 DB 테이블에 검색하기 테이블을 검색할 때, 조건을 데이터 프레임의 컬럼의 요소로 두고 싶었음 ex) 테이블 컬럼 A의 데이터가 데이터 프레임 컬럼 B의 데이터와 동일한 데이터를 검색 데이터 데이터베이스의 데이터 test1 _id | name | age | grade | +------+------+------+-------+ | 1000 | jon | 25 | A | | 1001 | sara | 20 | B | | 1002 | may | 23 | F | | 1003 | jay | 21 | C | 데이터 프레임 df df = pd.DataFrame({ 'ID' : [1000,1001,1002], 'NAME' : ['jon','sara','may'] }) ID NAME..
[Python] 리스트의 요소를 분리하기 리스트의 요소의 문자열을 분리하고 싶은데, 검색을 하니 Split을 사용해 문자열을 분리하면 List가 된다라는 내용밖에 안나와서 😢 해결한 내용을 기록 목표 리스트의 내용을 특정 문자를 기준으로 분리하여 새로운 리스트로 저장 리스트 (,) 를 기준으로 분리할 것 my_list = ["apple,banana,orange", "dog,cat,bird", "1,2,3,4,5"] 분리 for 문을 이용하여 분리 new_list = [element.split(",") for element in my_list] print(new_list) [['apple', 'banana', 'orange'], ['dog', 'cat', 'bird'], ['1', '2', '3', '4'..
[Python] Shell에 명령어 전달하기 🤔 Python에서 리눅스 쉘 커맨드를 실행하고 리턴 값을 받기 위해선 어떻게 해야할까? os.system os.system()에 전달된 명령어를 실행 결과는 콘솔에 출력됨 import os os.system("echo 'hello world'") $ python3 test.py hello world os.popen os.popen()에 전달된 명령어를 실행 결과는 콘솔에 출력되지 않고, 변수를 통해 받을 수 있음 import os a = os.popen("echo 'hello world'") print(a.read()) $ python3 test.py hello world subprocess subprocess를 이용해 쉘 커맨드를 실행 할 수 있음 impo..
[S3] AWS CLI를 이용하여 S3 다루기 AWS CLI를 이용해서 서버에서 버킷에 파일을 업로드, 삭제할 수 있고 버킷 간 객체를 복사하거나 sync를 맞출 수 있음 AWS CLI 설치 아래 포스팅 참고하여 설치 https://heywantodo.tistory.com/49 [AWS] AWS CLI 설치 & 인증 [AWS] AWS CLI 설치 & 인증 AWS Command Line Interface는 쉘 커맨드를 사용하여 AWS 서비스와 상호 작용할 수 있는 도구 AWS CLI를 사용하여 서비스의 기능을 살펴보고 리소스를 관리할 스크립트를 개발할 수 heywantodo.tistory.com S3 버킷 확인 버킷 리스트 aws s3 ls 버킷 내 객체 리스트 aws s3 ls s3://bucketnam..
[AWS] AWS CLI 설치 & 인증 AWS Command Line Interface는 쉘 커맨드를 사용하여 AWS 서비스와 상호 작용할 수 있는 도구 AWS CLI를 사용하여 서비스의 기능을 살펴보고 리소스를 관리할 스크립트를 개발할 수 있음 AWS CLI 설치 aws에서 ec2를 실행하면 기본적으로 aws cli가 설치되어있지만, 1버전으로 설치 된 경우 공식 documantation을 참고해 2버전 설치 가능 최신 버전의 AWS CLI 설치 또는 업데이트 - AWS Command Line Interface 이전 버전에서 업데이트하는 경우 unzip 명령을 실행하면 기존 파일을 덮어쓸지 묻는 메시지가 표시됩니다. 스크립트 자동화와 같은 경우에 이러한 프롬프트를 건너뛰려면 unzip에 대한 -u 업데..
[Python] 매개 변수와 람다(lambda) 표현식 매개 변수 (parameter) 함수에 입력으로 전달된 값을 받는 변수 인수로 전달된 값을 함수 내부에서 사용할 수 있게 해주는 변수 🔎 인수 (argument) 함수가 호출될 때 함수로 값을 전달해줌 매개 변수 사용 1. 입력값을 받아서 사용 def 함수이름 (매개변수): 수행 할 문장 return 리턴값 def sub(a, b): return a-b print(sub(7, 3)) 2. 입력받는 값이 몇개일 지 모를때 매개변수 이름 앞에 ' * ' 를 붙이면 입력값을 전부 모아서 튜플로 만들어 줌 def 함수이름 (*매개변수): 수행 할 문장 return 리턴값 def add_many(*args): result = 0 for i in args: r..
쿠버네티스 (Kubernetes) Volume 관리 Kubernetes Volume 파드 내의 컨테이너가 종료되더라도 파일 시스템이 유지되도록 하고 싶다면? 쿠버네티스 볼륨을 정의해서 사용 가능 여러 개의 컨테이너가 볼륨을 공유해서 사용할 수도 있음 Volumes On-disk files in a container are ephemeral, which presents some problems for non-trivial applications when running in containers. One problem is the loss of files when a container crashes. The kubelet restarts the container but with a clean state. A ..
[Python] 민감 정보 분리하기 파이썬에서 데이터를 가져오거나 활용하려고 할 때, DB를 사용하는 경우가 많음 연동할 때 코드에 DB Host와 사용자의 Passwd를 적는 것이 불안하기도 했고, 매번 엔드포인트를 연결하려고 하니 귀찮은 점도 많았음 다양한 방법이 많은데, 여기서는 DB의 연결 정보를 Json 파일로 분리하는 방법을 사용 Json 파일 생성 db.json이란 파일명으로 json 파일을 생성 { "host": "my db host", "user": "my user", "passwd":"my password", "port" : "my db port" } ✔ 사용할 데이터베이스 정보를 넣어줘도 됨 모듈 Import config 파일이 있는 위치를 지정해주는 os 와 json 라이브러리를 i..
시나리오 1. mysql to csv 2. csv 파일 s3에 업로드 3. 실패 시 슬랙 알람 연동 ✔ 아래 링크 이어서 진행 https://heywantodo.tistory.com/20 Airflow Pipeline 생성 (1) 시나리오 1. mysql to csv 2. csv 파일 s3에 업로드 3. 실패 시 슬랙 알람 연동 1. MySQL to CSV airflow에서 mysql to csv를 실행하는 방법에는 여러가지가 있겠지만 여기선 두가지를 사용 Airflow Connection 이용 Pymys heywantodo.tistory.com https://heywantodo.tistory.com/34 Airflow Pipeline 생성 (2) 시나리오 1. mysql to csv 2. csv 파일 ..
[Pandas] 데이터프레임 정렬하기 데이터 import pandas as pd df = pd.DataFrame([ [100,20,3], [1,200,30], [10,2,300]], columns = ['a','b','c'], index = ['A','B','C'] ) a b c A 100 20 3 B 1 200 30 C 10 2 300 1. 값 기준으로 정렬 (sort_values) sort_values 값을 기준으로 데이터를 정렬하는 메서드 컬럼 [a]를 기준으로 데이터 프레임 정렬 df.sort_values('a') a b c B 1 200 30 C 10 2 300 A 100 20 3 컬럼 [a]를 기준으로 내림차순 정렬 ✔ Default가 오름차순, ascending=False 을 사용해 내림차순..
[Pandas] 데이터프레임에서 대칭 차집합 구하기 앞 포스팅과 이어짐 https://heywantodo.tistory.com/42 [Pandas] 데이터프레임에서 차집합 구하기 [Pandas] 데이터프레임에서 차집합 구하기 앞 포스팅에 데이터 Pandas를 활용해 프레임을 비교하는 코드 작성 https://heywantodo.tistory.com/40 [Pandas] 데이터 프레임 비교하기 Pandas를 활용하여 데이터 프레 heywantodo.tistory.com A에는 없고 B에는 있는 항목을 뽑아내는 것 까진 했지만 B에는 있는데 A에는 없고, A에는 있는데 B에는 없는 항목을 어떻게 찾을까 고민 목표 A와 B사이 중복값을 제거하고 어디엔 없고 어디에 있는 값인지 식별하기 데이터 준비 df1 (기..
[Pandas] 데이터프레임에서 차집합 구하기 앞 포스팅에 데이터 Pandas를 활용해 프레임을 비교하는 코드 작성 https://heywantodo.tistory.com/40 [Pandas] 데이터 프레임 비교하기 Pandas를 활용하여 데이터 프레임 비교하기 Pandas 설치 pandas 설치 pip install pandas 라이브러리 import import pandas as pd 비교 데이터 : 학번 3000, 5000 학생의 성적이 다름 DataFrame1 : 2022년 학생 정보 df2022 = pd heywantodo.tistory.com 하지만 위와 같은 방법은 어느 한쪽의 데이터가 더 많을 경우에, 어떤 데이터프레임에 없고 어떤 데이터프레임에 있는 결과인지 분간하기 어려웠음 이리저리 찾..
