[AWS] S3 이벤트 알림이 추가/수정이 되지 않는 경우 모든 권한이 잘 지정되어있는 경우에도 불구하고 아래 오류 메시지가 뜨면서 S3 버킷의 모든 이벤트 알림이 추가/수정되지 않는 경우가 있었다. 이유는 S3 이벤트 알림의 대상인 SQS 대기열이 삭제되었기 때문이였다. 전체 이벤트 중에 하나라도 없는 SQS 대기열을 바라보고있으면 전체 이벤트가 다 수정이 안된다고 한다. 이럴 땐 해결 방법이 2가지가 있다. 1. 같은 이름의 SQS 대기열을 새로 생성 대상의 대기열이 사라졌기 때문에, 바로가기를 클릭해도 이동이 안된다. SQS로가서 update_2라는 대기열을 새로 생성해준다. 정책 또한 잊지 말고 생성해주자 { "Version": "2012-10-17", "Id": "example-ID", "Sta..
[AWS] Lambda 1. AWS Lambda? 서버를 프로비저닝하거나 관리하지 않고도 코드를 실행할 수 있게 해주는 컴퓨팅 서비스 고가용성 컴퓨팅 인프라에서 코드를 실행한다. Lamba는 서버와 운영 체제 유지 관리, 용량 프로비저닝 및 자동 조정, 코드 및 보안 패치 배포, 로깅 등의 모든 컴퓨터 리소스를 관리를 수행한다. Lambda는 사용한 컴퓨팅 시간 만큼만 비용을 지불, 코드가 실행되지 않을 때는 요금이 부과되지 않는다. 2. Lambda 특징 이벤트 기반 실행 ex) S3, DynamoDB, API Gateway 서버리스 아키텍처 다양한 프로그래밍 언어 지원 ex) Python, Node.js, Java, Go 자동 확장 간단한 배포 및 관리 AWS 서비스 간 통합 3. Lambda 사용 ..
[AWS] EKS(Elastic Kubenetes Service) EKS 클라우드와 온프레미스 데이터센터에서 쿠버네티스를 실행하는 데 사용되는 관리형 쿠버네티스 서비스 AWS 네트워킹 및 보안 서비스와의 통합뿐만 아니라, AWS 인프라의 모든 성능, 규모, 신뢰성 및 가용성을 활용 EKS Architecture EKS VPC와 Customer VPC가 나뉘어져 있다. Worker node들은 모두 EC2로 구성되어, Customer VPC에 위치한다. 노드는 퍼블릭/프라이빗 엔드포인트를 통해 컨트롤 플레인(Master)에 API access 한다. 컨트롤 플레인은 AWS Managed VPC 내에 구성된다. Customer VPC에 ENI를 생성하며, 이 구간을 통해 Worker node에 접근한다. 워..
[AWS] EFS(Elastic File System) EFS AWS EFS는 클라우드 서비스와 온프레미스 리소스 모두에서 사용가능한 확장 가능하고 탄력적인 파일 스토리지다. 기존 온프레미스에서 사용하던 NFS, NAS와 비슷한 서비스라고 생각하면 된다. 즉, 다수의 인스턴스에서 파일에 접근할 수 있는 네트워크 파일 스토리지 서비스다. EFS 특징 EFS는 파일을 추가하고 제거할 때 자동으로 확장되고 축소된다. 여러 가용 영역에서 액세스가 가능하다 (EBS와 달리 Multi AZ를 지원한다) S3와 같이 스토리지 클래스가 존재한다. (lifecycle을 통해 수명 주기 관리가 가능하다) EFS 생성 0. 서버 생성 테스트를 위한 서버 2대를 생성해준다. 하나는 ubuntu 하나는 amazon linux ..
[AWS] IAM(Identity and Access Management) IAM AWS 리소스에 대한 액세스를 안전하게 제어할 수 있는 웹 서비스 고객이 AWS에서 사용자와 사용자 권한을 관리할 때 사용할 수 있는 서비스다. IAM을 사용한 리소스 액세스 관리 ** 리소스는 사용자가 작업을 수행할 수 있는 AWS 계정의 엔터티 ex) EC2, S3 리소스에 액세스 할 수 있는 사용자를 관리 할 수 있다. 액세스 할 수 있는 리소스와 사용자가 리소스에 수행할 수 있는 작업을 관리할 수 있다. 리소스에 액세스할 수 있는 방법을 관리할 수 있다. IAM 필수 구성 요소 IAM 사용자 (User) : AWS 계정으로 인증할 수 있는 사람 또는 애플리케이션 IAM 사용자를 생성할 때, 사용자가 사용할 수 있는 ..
[AWS] Network ACL, Security Group AWS의 보안 설정 기능인 ACL과 SG의 차이점을 알아보기 전 간단하게 방화벽 규칙에 대해서 알아보자 인바운드 (inbound) 서버 내부로 들어오는 것 클라이언트 --> 서버 (외부에서 EC2 인스턴스로 들어오는 트래픽) ex) 클라이언트가 업로드할 때 아웃바운드 (outbound) 서버 바깥으로 나가는 것 서버 --> 클라이언트 (EC2 인스턴스에서 외부로 나가는 트래픽) ex) 클라이언트가 다운로드 할 때 ACL (Access Control List) 서브넷 수준에서 작동하는 방화벽 별개의 인바운드 및 아웃바운드 규칙이 있으며 각 규칙은 트래픽을 허용하거나 거부 할 수 있다. 기본 네트워크 ACL은 인바운드 및 아웃바운드 트래픽을 모두 ..
[AWS] AWS CLI를 사용해 SQS 대기열 관리하기 AWS CLI를 통해서 SQS 대기열을 제어하고 관리할 수 있다. 다음은 많이 사용 할 수 있는 CLI 명령어들이다. 현재 리전에서 사용 가능한 모든 대기열 나열 aws sqs list-queues 접두사가 일치하는 대기열 나열 aws sqs list-queues --queue-name-prefix "prefix" SQS 대기열 생성 + 태그 추가 aws sqs create-queue --queue-name my-sqs-using-cli-with-tag --tags "env"="test" 속성 지정도 가능 aws sqs create-queue --queue-name my-sqs-using-cli-with-attribute \ --tags "env"..
[AWS] SQS 모니터링 SQS 메시지 대기열을 모니터링 하는 방법은 다음과 같다. 아래는 공식 Document https://docs.aws.amazon.com/ko_kr/AWSSimpleQueueService/latest/SQSDeveloperGuide/sqs-logging-monitoring.html Amazon SQS 로깅 및 모니터링 - Amazon Simple Queue Service 이 페이지에 작업이 필요하다는 점을 알려 주셔서 감사합니다. 실망시켜 드려 죄송합니다. 잠깐 시간을 내어 설명서를 향상시킬 수 있는 방법에 대해 말씀해 주십시오. docs.aws.amazon.com SQS및 CloudWatch는 통합되므로, SQS 대기열에 대한 지표를 보고 CloudWatch를 분석하는 데 사..
[AWS] AWS Athena Amazon Athena 오픈소스 프레임워크에 구축된 서버리스 대화형 분석 서비스로 개방형 테이블과 파일 형식을 지원 Athena는 페타바이트 규모의 데이터를 분석할 수 있는 유연한 방식을 제공함 S3 (Simple Storage Service) 데이터 레이크 및 온프레미스, SQL, Python을 사용하는 시스템을 포함하는 25개 이상의 데이터 소스로부터 데이터를 분석하거나 애플리케이션을 구축할 수 있음 Athena는 Trino(Presto) 엔진과 Apache Spark 프레임워크로 구축되었으며, 프로비저닝이나 구성 작업이 필요 없음 쿼리 할 데이터 크기가 클수록 스캔 비용이 늘어나므로, 스캔한 데이터 사이즈 최소화가 중요함 특징 별 다른 설치 없이 사용이 가능 쿼리를 ..
[AWS] S3 & 스토리지 클래스 Amazon S3(Simple Storage Service)는 Amazon Web Service(AWS)에서 제공하는 객체 스토리지 서비스로 대규모 데이터 저장, 검색 및 관리를 위한 안전하고 확장가능한 솔루션 S3는 여러 가지 종류와 스토리지 클래스를 제공하여 다양한 요구사항에 맞게 데이터를 저장하고 액세스 함 S3의 수명 주기 정책을 사용하면 데이터의 수명 주기에 따라 데이터를 자동으로 다른 스토리지 클래스로 이동하거나 삭제 가능 스토리지 클래스 설명 읽기 여부 S3 Standard 기본 제공 스토리지 클래스로, 자주 액세스되는 데이터에 사용 가능 S3 Intelligent-Tiering 액세스 패턴을 분석하여 자동으로 데이터를 분리하여 최적의 스토리지 클래스에 저..
[AWS] Elastic Load Balancer (ELB) 로드밸런서 (Load Balancer) : 여러 대상 인스턴스 또는 컨테이너로 들어오는 트래픽을 분산시켜 애플리케이션의 가용성과 확장성을 향상시키는 중요한 구성 요소 로드밸런서는 네트워크 트래픽을 관리하고 애플리케이션의 서비스를 제공하기 위해 효율적인 방식으로 트래픽을 분산시킴 로드밸런서는 클라이언트로부터의 요청을 받아, 이를 여러 대상으로 분산시켜주는 역할을 함 이를 통해 트래픽 부하를 공정하게 분산하여, 각 대상이 과도한 작업량을 처리하지 않도록 함 ELB (Elastic Load Balancer) : AWS에서 제공하는 로드 밸런싱 서비스 서버 인스턴스의 상태를 모니터링하고 자동으로 트래픽을 분산시킴 ELB에는 3가지 종류가 있음 ALB ..
[AWS] SQS를 다른 AWS 인프라 웹 서비스와 함께 사용 Amazon SQS 메시지 대기열 서비스를 Redshift, DynamoDB, RDS, EC2, ECS, Lambda 및 S3 등 다른 AWS 서비스와 함께 사용하면 분산 애플리케이션의 안정성과 확장성을 더욱 향상할 수 있음 SQS + S3 1. 비동기 처리 : S3 버킷에 업로드 되는 파일을 처리하는 데 많은 시간이 걸리는 경우, 해당 파일을 처리하는 애플리케이션에서 대기열 메시지를 가져와 비동기적으로 처리할 수 있음 2. 높은 가용성 : S3 버킷에 업로드된 파일을 처리하는 애플리케이션이 다운 되었을 때, SQS 대기열에 저장된 메시지는 여전히 유지되므로 해당 애플리케이션이 복구되면 메시지를 가져와 작업을 다시 시작할 수 있음 3. 확장성..
