[Git] 특정 파일만 git add 취소하기 얼마전 로컬에서 git 변경 사항에 대해 수정을 한 후, 수정한 파일의 갯수가 많아 `git add .` 명령어로 로컬 전체의 파일을 staged 상태로 추가했더니, `.idea`라는 폴더의 전체 파일이 staged 상태가 되었다. `.idea`는 intellij의 프로젝트별 세팅파일이라고 한다. 여담으로 아래에서 어떤 파일이 gitignore 되어야하는지 아닌지를 확인할 수 있다고 한다. gitignore/Global/JetBrains.gitignore at main · github/gitignoreA collection of useful .gitignore templates. Contribute to github/gitignore development b..
[AWS] EC2에서 IAM 역할 사용하기얼마전 EC2로 생성한 서버에서 aws s3 cli를 통해 내 계정의 s3로 접근을 하려고 했지만,내가 사용하는 iam 유저에 s3 full account 권한이 있음에도 권한 오류로 접근이 되지 않았다. 이유를 알아보니 내 계정에 mfa가 걸려있기에, admin 권한이 있음에도 불구하고 mfa 임시 토근을 발급을 받아야접근이 가능했다. 해당 임시토큰은 몇시간만 유지되며, 서버를 새로 띄울때마다 발급을 받는 것이 번거로워, 해당 프로파일을 사용하는 대신EC2에 IAM 역할을 연결하여 사용하는 방법을 사용했다. 이번 포스팅에선, EC2에 IAM 역할을 연결하여 사용하는 방법에 대해 알아보고자 한다. IAM 역할 생성하기1. EC2에 부여할 IAM 역할을 생성하기..
[AWS] AWS에서 풀 스택 개발하기 (AWS Amplify)MinIO를 대체 할 S3 Web Exploler 서비스를 계속해서 찾고있었는데, 바로 얼마전 AWS에서 제공하는Storage Browser for S3 서비스에 대해 알게되었다. 해당 서비스는 간단히 애기하면 웹 애플리케이션에 추가하여 S3에 저장된 데이터에 대한 간단한 인터페이스를 최종 사용자에게 제공 할 수 있는 오픈소스다. 해당 서비스는 AWS의 Amplify Gen2 Project 에서 동작하는데, 이번 포스팅에서 Amplify에 대해 먼저 알아보자. AWS Amplify란?AWS Amplify는 프론트엔드 및 풀스택 웹, 모바일 애플리케이션을 손쉽게 개발, 배포, 관리할 수 있도록 지원하는 클라우드 기반 서비스다. React, A..
[Python] Salt앞서 해시와 SHA-256에 대해 포스팅을 한적이 있었다. [알고리즘] SHA-256 해시 알고리즘: 개념과 활용[알고리즘] SHA-256 해시 알고리즘: 개념과 활용SHA-256(Secure Hash Algorithm 256)은 SHA-2 계열의 암호학적 해시 함수 중 하나로,입력된 데이터를 256비트(32바이트)의 고정된 길이 해시 값으로 변환하는 알heywantodo.tistory.com 해당 포스팅에서 사용자의 비밀번호와 같은 민감한 데이터를 저장할때는 단순 해싱만으로 충분하지 않고,Salt 기법을 함께 사용해야지 보안성을 높일 수 있다고 짤막하게 언급했었다. 이번 포스팅에서는 Salt에 대해 보다 자세히 알아보고자 한다. Salt란?Salt는 암호화(특히 해싱)할 때 추가..
[알고리즘] SHA-256 해시 알고리즘: 개념과 활용SHA-256(Secure Hash Algorithm 256)은 SHA-2 계열의 암호학적 해시 함수 중 하나로,입력된 데이터를 256비트(32바이트)의 고정된 길이 해시 값으로 변환하는 알고리즘이다. 이 알고리즘은 강력한 보안성과 낮은 충돌 가능성을 제공하여 다양한 보안 애플리케이션에서 사용된다. SHA-256의 내부 동작 방식1) 입력 데이터 패딩 (Padding)입력 데이터의 길이를 512비트의 배수가 되도록 추가적인 비트를 붙인다.마지막 64비트는 원래 메시지의 길이를 저장한다. 2) 초기 해시 값 설정(Initial Hash Value)8개의 고정된 초기 해시 값(32비트씩 8개, 총 256비트)이 설정된다. 3) 메시지 블록 처리(Messa..
[Python] 파이썬으로 해시(Hash)와 해시테이블(Hash Table) 구현하기앞선 포스팅에 대해서 해시 자료구조에 대해서 알아봤다. [자료구조] 해시(Hash)와 해시 테이블(Hash Table)[자료구조] 해시(Hash)와 해시 테이블(Hash Table)해시는 데이터 보안, 검색 최적화,, 암호화, 분산 시스템 등 다양한 분산 시스템에서 활용된다.해시 테이블은 매일 사용하는 기술 속에 자리잡고 있heywantodo.tistory.com이번 포스팅에서느 파이썬을 이용해 해시와 해시테이블을 구현하는 법에 대해서 알아보고자 한다. 파이썬에서 해시(Hash) 사용하기파이썬에서는 `hash()` 내장 함수를 사용하여 쉽게 해시 값을 생성할 수 있다.# 문자열 해시 값print(hash("hello"))..
[자료구조] 해시(Hash)와 해시 테이블(Hash Table)해시는 데이터 보안, 검색 최적화,, 암호화, 분산 시스템 등 다양한 분산 시스템에서 활용된다.해시 테이블은 매일 사용하는 기술 속에 자리잡고 있지만, 그 원리에 대해 명확히 이해하고 있지 않은 것 같아서해당 포스팅에서 해시에 대해 조금 더 자세히 알아보고자 한다.해시(Hash)란?해시(Hash)란 어떤 데이터를 일정한 길이의 고유한 값(해시 값)으로 변환하는 과정을 의미한다.이때 사용되는 해시 함수(Hash Function)는 입력값을 특정한 규칙에 따라 변환하여, 짧고 고유한 숫자나 문자값(해시 값)으로 매핑하는 역할을 한다. 해시의 특징은 다음과 같다.고정된 길이 : 입력 크기에 관계없이 항상 동일한 길이의 해시 값을 반환한다.빠른 연산..
[Airflow] Airflow에서 DAG 파일을 처리하는 법 (DagFileProcessor)Airflow는 DAG(Directed Acyclic Graph) 파일을 통해 워크플로우를 정의하는 워크플로우 관리 도구다.DAG 파일은 Python 코드로 작성되는데, Airflow가 이를 어떻게 인식하고 실행하는 지에 대해 궁금점이 생겼다, Airflow에서 DAG 파일을 처리하는 핵심 컴포넌트 중 하나가 바로 DagFileProcessor다. 이 글에서는 DagFileProcessor가 무엇인지, 어떻게 동작하는지에 대해 알아보고자 한다. DagFileProcessor란?DagFileProcessor는 Airflow가 DAG 파일을 주기적으로 읽고 파싱하여, 메타 데이터를 저장하게하는 역할을 한다.Airf..
[Pandas] explode데이터 프레임을 다루다보면, 하나의 열에 리스트나 튜플 형태로 저장된 데이터를 여러 개의 행으로 나누어야 할 때가 있다. Pandas의 `explode()` 함수는 이러한 상황에서 매우 유용하게 사용할 수 있는 기능이다. explode()`explode`는 데이터프레임(Dataframe)이나, 시리즈(Series)의 특정 열에있는 리스트, 튜플 또는 set과 같은 iterable 데이터를 각각 개별적인 행으로 변환해주는 함수다. 리스트가 아닌 데이터에는 그대로 유지되며, NaN값은 영향을 받지 않는다. 다음은 explode를 사용한 간단한 예제다.import pandas as pddf = pd.DataFrame({ 'id': [1, 2, 3], 'values': [..
[AWS] S3 버킷의 권한 정책과 객체 소유권(Object Ownership)AWS S3는 객체 기반의 스토리지 서비스로, 다양한 계정과 사용자들이 데이터를 저장하고 관리할 수 있도록 설계되었다.S3는 다중 계정 환경에서도 자주 쓰이는데, 이 때 ACL권한과 객체소유권이 중요한 역할을 한다. ACL은 이전 포스팅에서 간략하게 소개한 적이 있다. [AWS] S3의 ACL 구성[AWS] S3의 ACL 구성S3 버킷에 대한 액세스 권한을 관리할 때, ACL(액세스 제어 목록)을 사용할 수 있다.콘솔 ,aws cli, SDK를 사용하면 리소스에 대해 권한 부여를 추가할 수 있다. 버킷 및 객체 권한heywantodo.tistory.com이번 포스팅에서는 S3의 객체 소유권(Object Ownership)과 ..
[AWS] 생성형 AI : BedrockAWS Bedrock은 AWS가 제공하는 생성형 AI(Generative AI) 서비스로, 사용자가 사전 학습된 대규모 언어모델(LLM)을 쉽게 활용할 수 있도록 돕는 플랫폼이다.AWS Bedrock을 사용하면 LLM을 직접 관리하거나 학습 시키는 복잡한 작업 없이, 다양한 생성형 AI 모델을 통합하여 애플리케이션에 도입할 수있다. AWS Bedrock이란?AWS Bedrock은 생성형 AI 애플리케이션 개발을 지원하는 관리형 서비스다.사용자는 API를 통해 사전 학습된 여러 생성형 AI 모델을 활용할 수 있으며, AWS의 인프라와 통합되어 높은 확장성과 유연성을 제공한다. AWS Bedrock의 주요 특징들은 다음과 같다. 1. 다양한 LLM 제공: Bedrock..
[Linux] 계정 패스워드 만료일 확인 및 갱신하기 (chage)리눅스 시스템에서는 보안 강화를 위해 계정의 패스워드 만료일을 설정하거나 관리할 수 있다.이번 포스팅에서는 계정 패스워드 만료일을 확인하고, 갱신, 변경, 제거하는 방법을 단계별로 설명한다. 패스워드 만료일 확인리눅스에서 계정의 패스워드 만료일을 확인하려면 `chage` 명령어를 사용한다.charge -l user1# 마지막으로 패스워드를 변경한 날짜Last password change : Jan 01, 2025# 패스워드가 만료되는 날짜Password expires : Mar 01, 2025# 패스워드가 만료된 후 비활성화되는 날짜Password inactive : never# 계정 자체가 만료되는 날짜Account exp..
