[MySQL] PERCENT_RANK() PERCENT_RANK()데이터 내에서 특정 값의 상대적인 순위를 백분률로 반환한다.0과 1사이의 값을 반환하며, 값이 0이면 가장 낮은 순위, 1이면 가장 높은 순위를 의미한다.PERCENT_RANK() OVER ([PARTITION BY partition_expression] ORDER BY order_expression) 동작 원리PERCENT_RANK()는 각 행의 순위를 기준으로 계산된다.$$PERCENTRANK()=\frac{Rank-1}{TotalRows-1}$$ 여기서 RANK는 해당 행의 순위이며, Total Rows는 전체 행의 수이다.ex) 데이터가 10개인 경우 PERCENT_RANK()는 각 행의 순위를 0부터 1까지 나눈 값을 반환한다...
[K8s] 쿠버네티스 컴포넌트 정리쿠버네티스는 복잡한 분산 시스템을 효과적으로 관리할 수 있는 다양한 컴포넌트로 구성되어 있다.크게 컨트롤 플레인(Control Plane)과 워커 노드(Worker Node)로 나뉜다. 각 컴포넌트는 특정한 역할을 맡고 있으며, 이들이 상호작용하여 쿠버네티스 클러스터를 구성한다.쿠버네티스 클러스터의 두 핵심 구성요소들의 역할과 기능에 대해 알아보자. 컨트롤 플레인(Control Plane)컨트롤 플레인은 클러스터의 중앙 제어 역할을 담당한다.클러스터 상태를 관리하고, 워커 노드에서 실행되는 애플리케이션의 스케줄링, 상태 모니터링, 유지보수를 수행한다. 컨트롤 플레인의 주요 요소는 다음과 같다. kube-apiserver클러스터와 상호작용하는 모든 요청의 관문 역할 쿠버..
[Python] SQLAlchemy 이해하기 SQLAlchemy란?SQLAlchemy는 파이썬을 위한 강력한 SQL 도구이자 객체 관계 매핑(ORM) 라이브러리다.개발자들에게 데이터베이스와 상호 작용할 수 있는 효율적이고 유연한 인터페이스를 제공하며,복잡한 쿼리 실행, 데이터베이스 스키마 조작, 파이썬 객체와의 통합을 쉽게 할 수 있다. SQLAlchemy는 크게 두 가지 주요 구성 요소로 나눌 수 있다.CoreSQL 표현 언어를 사용하여 데이터베이스와 직접 상호 작용하는 레이어SQLAlchemy의 기본 기능으로, 데이터베이스 쿼리를 직접 작성하고 실행할 수 있음ORM (Object-Relational Mapper)SQLAlchemy의 객체 관계 매핑 레이어파이썬 클래스와 데이터베이스 테이블 간의 매핑을..
[Pandas] to.sql()to_sql()판다스 데이터 프레임을 SQL 데이터 베이스에 저장하는 방법으로 to.sql() 메서드가 있다.이를 통해 로컬 또는 원격 데이터베이스에 데이터를 쉽게 저장할 수 있다. 기본 사용법먼저 다음과 같이 라이브러리를 import 해준다.import pandas ps pdfrom sqlalchemy import create_enginecreate_engine은 SQLAlchemy 라이브러리에서 제공하는 함수로, 데이터베이스와의 연결을 설정하는 데 사용된다.# 샘플 데이터프레임 생성data = {'name': ['Alice', 'Bob', 'Charlie'], 'age': [25, 30, 35], 'city': ['New York', 'Los A..
[Pandas] apply로 다중 반환 값을 여러 열에 할당하기데이터 프레임에서 각 행의 특정 열에 함수를 적용하고, 그 결과를 여러 열에 나누어 저장하는 작업은 데이터 처리 과정에서 자주 발생하는 요구다. 이는 apply 함수를 활용하여 이를 간단하게 구현할 수 있다. apply와 lambda를 활용해 특정 열에 함수를 적용하고,결과를 여러 열로 나누어 담는 방법에 대해 알아보자. 다중 반환 값 할당판다스의 apply 함수는 데이터프레임의 행(axis=1) 또는 열(axis=0)에 대해 함수를 적용할 수 있게 해준다.이때, 반환된 값이 여러 개라면 이를 새로운 열로 확장할 수 있다. 아래는 데이터프레임의 'A'열에 대해 각 값을 두 배와 세 배로 만드는 함수를 적용하고,그 결과를 새로운 두 개의 열에 ..
[Git] 특정 파일만 pull 받아오기원격 저장소에서 push된 변경 사항이 여러가지가 있을 때, 로컬 저장소에 특정 변경사항만 pull을 받아오고 싶은 경우다음과 같이 checkout 명령어를 사용하면 된다.# 원격저장소의 변경사항 업데이트git fetch# 특정 파일만 Pullgit checkout origin/master --
SQL에서 조인은 데이터베이스에서 여러 테이블을 결합해 데이터를 조회할 때 매우 유용한 도구다.MySQL에서의 조인의 기본 개념과 사용법에 대해 알아보고자 한다. JOIN조인(Join)은 두 개 이상의 테이블을 결합해 하나의 결과 집합을 만드는 SQL 연산이다.조인은 주로 테이블 간의 관계를 정의하고, 그 관계에 기반해 데이터를 조회할 때 사용된다. MySQL에서 자주 사용되는 조인은 크게 네 가지로 나눌 수 있다.INNER JOIN일치하는 데이터만 필요할 때LEFT JOIN왼쪽 테이블의 모든 데이터를 포함할 때RIGHT JOIN오른쪽 테이블의 모든 데이터를 포함할 때FULL OUTER JOIN두 테이블의 모든 데이터를 포함할 때 INNER JOININNER JOIN은 두 테이블간의 교집합을 반환한다.즉..
[Pandas] 데이터프레임에서 날짜와 시간 다루기판다스 데이터프레임에서 날짜와 시간을 포함한 데이터를 처리하는 방법에 대해서 알아보고자 한다. 날짜와 시간 데이터 변환하기날짜와 시간 정보가 함께 있는 데이터는 to_datetime 함수를 사용하여 datetime 형식으로 변환할 수 있다.import pandas as pddata = { 'event': ['A', 'B', 'C'], 'datetime': ['2023-08-01 14:30:00', '2023-08-05 09:15:00', '2023-08-10 18:45:00']}df = pd.DataFrame(data)# 문자열을 날짜 및 시간으로 변환df['datetime'] = pd.to_datetime(df['datetime'])print(df)..
[Python] 파일 날짜 가져오기파이썬에서는 'os' 모듈과 'datetime' 모듈을 활용하여 파일의 날짜 정보를 손쉽게 얻을 수 있다. 파일의 생성 날짜 가져오기파일의 생성 날짜를 가져오기 위해 os.stat 함수를 사용하고, 반환된 결과에서 st_ctime 속성을 참조한다.이 속성은 파일의 생성 시간을 나타낸다.import osfrom datetime import datetime# 파일 경로file_path = 'test.yaml'# 파일 상태 정보 가져오기file_stat = os.stat(file_path)# 생성 날짜 및 시간 가져오기creation_time = datetime.fromtimestamp(file_stat.st_ctime)print("파일 생성 날짜 및 시간:", creatio..
[Linux] awk리눅스에서 텍스트 파일을 처리하고 분석하는 데 AWK는 매우 강력하고 유용한 도구다.특히 로그 파일 분석, 데이터 변환, 텍스트 파일의 특정 패턴 검색 및 조작 등에 자주 사용된다. AWKAWK는 텍스트 파일의 각 행을 순차적으로 처리하며, 특정 패턴을 검색하거나 그에 따라 작업을 수행할 수 있도록 설계되었다. 기본 사용법awk '패턴 { 작업 }' 파일명여기서 패턴은 검색하고자 하는 텍스트의 조건을 의미하며, 작업은 해당 패턴이 일치할 때 수행 할 명령어를 의미한다. 1. 파일의 각 행 출력awk '{ print }' sample.txtsample.txt 파일의 모든 행을 출력한다. 2. 특정 필드 출력텍스트 파일에서 특정 필드만 출력할 수도 있다.예를 들어 콜론(:)으로 구분된 ..
[MySQL] SQL 변수 선언 및 사용MySQL에서 변수를 사용하는 것은 데이터베이스 내에서 반복 작업을 자동화하거나, 복잡한 쿼리를 간결하게 만드는 데 매우 유용하다. MySQL에는 주로 세 가지 종류의 변수가 있다. 1. 사용자 정의 변수 (User-Defined Variables)사용자 정의 변수는 세션 내에서만 존재하며, 주로 SELECT, INSERT, UPDATE 쿼리 내에서 사용된다.변수 이름 앞에는 항상 '@' 기호를 붙인다. 선언 및 사용법사용자 정의 변수는 별도의 선언 없이 바로 값을 할당하여 사용할 수 있다.-- 변수 @myVar에 100을 할당SET @myVar = 100;-- 변수 @myVar의 값을 출력SELECT @myVar;아래 예제는 'employees' 테이블에서 가장 ..
[Excel] VLOOKUP VLOOKUP함수는 엑셀에서 특정 값을 검색하고, 같은 행에 있는 다른 값을 반환하는 데 사용된다.데이터베이스와 같은 큰 데이터 세트에서 특정 항목을 빠르게 찾고 관련된 정보를 얻는 데 매우 유용하다. VLOOKUP 함수의 기본 구조VLOOKUP 함수의 기본 구문은 다음과 같다.=VLOOKUP(lookup_value, table_array, col_index_num, [range_lookup])lookup_value검색할 값table_array검색 할 데이터 범위col_index_num검색된 값이 있는 행에서 반환할 열 번호range_lookup일치 유형을 지정 (TRUE-근사값 일치, FALSE-정확한 일치) 예를 들어 다음과 같은 제품 목록이 있다고 가정해보자. ABC1제..
