[AWS] S3 이벤트 알림이 추가/수정이 되지 않는 경우 모든 권한이 잘 지정되어있는 경우에도 불구하고 아래 오류 메시지가 뜨면서 S3 버킷의 모든 이벤트 알림이 추가/수정되지 않는 경우가 있었다. 이유는 S3 이벤트 알림의 대상인 SQS 대기열이 삭제되었기 때문이였다. 전체 이벤트 중에 하나라도 없는 SQS 대기열을 바라보고있으면 전체 이벤트가 다 수정이 안된다고 한다. 이럴 땐 해결 방법이 2가지가 있다. 1. 같은 이름의 SQS 대기열을 새로 생성 대상의 대기열이 사라졌기 때문에, 바로가기를 클릭해도 이동이 안된다. SQS로가서 update_2라는 대기열을 새로 생성해준다. 정책 또한 잊지 말고 생성해주자 { "Version": "2012-10-17", "Id": "example-ID", "Sta..
[AWS] Lambda 1. AWS Lambda? 서버를 프로비저닝하거나 관리하지 않고도 코드를 실행할 수 있게 해주는 컴퓨팅 서비스 고가용성 컴퓨팅 인프라에서 코드를 실행한다. Lamba는 서버와 운영 체제 유지 관리, 용량 프로비저닝 및 자동 조정, 코드 및 보안 패치 배포, 로깅 등의 모든 컴퓨터 리소스를 관리를 수행한다. Lambda는 사용한 컴퓨팅 시간 만큼만 비용을 지불, 코드가 실행되지 않을 때는 요금이 부과되지 않는다. 2. Lambda 특징 이벤트 기반 실행 ex) S3, DynamoDB, API Gateway 서버리스 아키텍처 다양한 프로그래밍 언어 지원 ex) Python, Node.js, Java, Go 자동 확장 간단한 배포 및 관리 AWS 서비스 간 통합 3. Lambda 사용 ..
[AWS] EKS(Elastic Kubenetes Service) EKS 클라우드와 온프레미스 데이터센터에서 쿠버네티스를 실행하는 데 사용되는 관리형 쿠버네티스 서비스 AWS 네트워킹 및 보안 서비스와의 통합뿐만 아니라, AWS 인프라의 모든 성능, 규모, 신뢰성 및 가용성을 활용 EKS Architecture EKS VPC와 Customer VPC가 나뉘어져 있다. Worker node들은 모두 EC2로 구성되어, Customer VPC에 위치한다. 노드는 퍼블릭/프라이빗 엔드포인트를 통해 컨트롤 플레인(Master)에 API access 한다. 컨트롤 플레인은 AWS Managed VPC 내에 구성된다. Customer VPC에 ENI를 생성하며, 이 구간을 통해 Worker node에 접근한다. 워..
[AWS] EFS(Elastic File System) EFS AWS EFS는 클라우드 서비스와 온프레미스 리소스 모두에서 사용가능한 확장 가능하고 탄력적인 파일 스토리지다. 기존 온프레미스에서 사용하던 NFS, NAS와 비슷한 서비스라고 생각하면 된다. 즉, 다수의 인스턴스에서 파일에 접근할 수 있는 네트워크 파일 스토리지 서비스다. EFS 특징 EFS는 파일을 추가하고 제거할 때 자동으로 확장되고 축소된다. 여러 가용 영역에서 액세스가 가능하다 (EBS와 달리 Multi AZ를 지원한다) S3와 같이 스토리지 클래스가 존재한다. (lifecycle을 통해 수명 주기 관리가 가능하다) EFS 생성 0. 서버 생성 테스트를 위한 서버 2대를 생성해준다. 하나는 ubuntu 하나는 amazon linux ..
[AWS] IAM(Identity and Access Management) IAM AWS 리소스에 대한 액세스를 안전하게 제어할 수 있는 웹 서비스 고객이 AWS에서 사용자와 사용자 권한을 관리할 때 사용할 수 있는 서비스다. IAM을 사용한 리소스 액세스 관리 ** 리소스는 사용자가 작업을 수행할 수 있는 AWS 계정의 엔터티 ex) EC2, S3 리소스에 액세스 할 수 있는 사용자를 관리 할 수 있다. 액세스 할 수 있는 리소스와 사용자가 리소스에 수행할 수 있는 작업을 관리할 수 있다. 리소스에 액세스할 수 있는 방법을 관리할 수 있다. IAM 필수 구성 요소 IAM 사용자 (User) : AWS 계정으로 인증할 수 있는 사람 또는 애플리케이션 IAM 사용자를 생성할 때, 사용자가 사용할 수 있는 ..
[AWS] Network ACL, Security Group AWS의 보안 설정 기능인 ACL과 SG의 차이점을 알아보기 전 간단하게 방화벽 규칙에 대해서 알아보자 인바운드 (inbound) 서버 내부로 들어오는 것 클라이언트 --> 서버 (외부에서 EC2 인스턴스로 들어오는 트래픽) ex) 클라이언트가 업로드할 때 아웃바운드 (outbound) 서버 바깥으로 나가는 것 서버 --> 클라이언트 (EC2 인스턴스에서 외부로 나가는 트래픽) ex) 클라이언트가 다운로드 할 때 ACL (Access Control List) 서브넷 수준에서 작동하는 방화벽 별개의 인바운드 및 아웃바운드 규칙이 있으며 각 규칙은 트래픽을 허용하거나 거부 할 수 있다. 기본 네트워크 ACL은 인바운드 및 아웃바운드 트래픽을 모두 ..
[GCP] 사용자 인증 정보 받기 AWS Access Key처럼 GCP에도 Credetials이 있다. 1. GCP 콘솔에서 Credentials 검색 2. 서비스 계정 생성 권한이 필요한 리소스에 대한 액세스 권한을 부여한다. 나같은 경우엔 Artifact Registry에 대한 권한이 필요해서 권한을 부여했다. 3. JSON KEY 생성 생성한 서비스 계정에 키 카테고리를 들어가면 Key를 생성할 수 있다. Key는 JSON 형식과 P12 형식 두 가지로 다운 받을 수 있으며, 나는 JSON Key를 선택 키를 추가하면 아래와 같이 활성화된다. 참조 https://medium.com/google-cloud/how-to-push-docker-image-to-google-container-registry..
[GKE] Some backend services are in UNHEALTHY state Ingress를 구성하는 중, 자꾸 백엔드에서 UNHEALTHY state가 발생하며 서버에 접근이 안됐다. NLB, Nodeport 다 접근이 되는데 Ingress만 UNHEALTHY라고 하니까 아주 미칠 노릇 🙄🙄 서버의 오류 메시지도 404,504 같은게 상태 코드를 보여주는게 아니라 그냥 30초있다가 재시도해보라는 이상한 솔루션만 제시 🤬 원인은 백엔드 서비스 즉 nodeport의 상태가 비정상이라서 그렇다고하는데 아무리봐도 노드포트의 상태가 비정상이면 노드포트로 접속이 안될것같은데 노드포트로는 잘 접속이 되니 .... 대체 뭐가 문제지하면서 머리를 싸맸다😂 아무래도 국내에는 gcp에 대한 자료가 얼마 없다..
[GCP] Artifact Registry 도커 이미지를 GCP의 이미지 저장소에 Push 하려고 알아보니, 기존 구글의 Container Registry는 지원이 중단 되었고, 2024년 5월 15일 이후에는 Artifact Registry만 지원한다고 한다. 내가 못찾은 건지는 모르겠는데 Container Registry는 신규 저장소 생성이 안되는 것 같음 Artifact Registry Docker 컨테이너 이미지를 저장하고 관리하기 위한 저장소 Cloud Build를 이용해 Google Cloud Cl/CD 서비스 또는 기존 CI/CD 도구와 통합할 수 있음 또한 컨테이너 분석을 사용하여 컨테이너 메타 데이터를 관리하고 컨테이너 취약점을 스캔 저장소 생성 나는 Google Cloud의 CI/CD..
[AWS] AWS CLI를 사용해 SQS 대기열 관리하기 AWS CLI를 통해서 SQS 대기열을 제어하고 관리할 수 있다. 다음은 많이 사용 할 수 있는 CLI 명령어들이다. 현재 리전에서 사용 가능한 모든 대기열 나열 aws sqs list-queues 접두사가 일치하는 대기열 나열 aws sqs list-queues --queue-name-prefix "prefix" SQS 대기열 생성 + 태그 추가 aws sqs create-queue --queue-name my-sqs-using-cli-with-tag --tags "env"="test" 속성 지정도 가능 aws sqs create-queue --queue-name my-sqs-using-cli-with-attribute \ --tags "env"..
[AWS] SQS 모니터링 SQS 메시지 대기열을 모니터링 하는 방법은 다음과 같다. 아래는 공식 Document https://docs.aws.amazon.com/ko_kr/AWSSimpleQueueService/latest/SQSDeveloperGuide/sqs-logging-monitoring.html Amazon SQS 로깅 및 모니터링 - Amazon Simple Queue Service 이 페이지에 작업이 필요하다는 점을 알려 주셔서 감사합니다. 실망시켜 드려 죄송합니다. 잠깐 시간을 내어 설명서를 향상시킬 수 있는 방법에 대해 말씀해 주십시오. docs.aws.amazon.com SQS및 CloudWatch는 통합되므로, SQS 대기열에 대한 지표를 보고 CloudWatch를 분석하는 데 사..
[GCP] GKE로 웹 애플리케이션 배포 (2) 1. 웹 애플리케이션 생성 2. Docker Image 생성 3. 생성 한 Docker Image로 Deployment 생성 4. NodePort 열어줌 5. Ingress Controller를 사용하여 경로 지정 지난 포스팅에서 1번과 2번 과정까진 완료했다. https://heywantodo.tistory.com/118 [GCP] GKE로 웹 애플리케이션 배포 (1) [GCP] GKE로 웹 애플리케이션 배포 (1) GKE로 웹 애플리케이션을 배포하는 과정은 다음과 같다. 1. 웹 애플리케이션 생성 2. Docker Image 생성 3. 생성 한 Docker Image로 Deployment 생성 4. NodePort 열어줌 5. Ingres heywant..
