AWS 솔루션 아키텍쳐

AWS 이벤트 처리

- 1. SQS + LAMBDA 

   한 메시지에 문제 발생 > 5번 재시도 > DLQ(DEAD LETTER QUEUE) 설정 가능 

- 2. SQS FIFO + LAMBDA

   처리 실패시, 차단이 발생 > 전체 대기열 차단 ; DLQ 구성하여 돌파 

- 3. SNS + LAMBDA 

    비동기식 메시지 전송 

    처리 실패시, 내부적으로만 재시도 ; 3번까지 ; 실패시 DLQ로 이동 가능 OR LAMBDA 수준에서 SQS로 전송 

- 4. 팬아웃 패턴 ; 다중 SQS 대기열에 데이터 전송 

      AWS SDK + SQS들 ; 안정성 높지 않음 ; APP 오류 시, 다음 대기열이 받지 못하는 등 문제 

      SNS + SQS ; GOOD

- S3 이벤트 알림 ; S3 버킷이 특정 이벤트에만 반응하도록 설정 

- 이벤트 통합하는 3가지 방법 !! 

- 1.EVENTBRIDGE ; S3 이벤트를  EVENTBRIDGE로 전송 /규칙 설정으로 18개 이상 AWS 서비스 전달

      장점 ; JSON 규칙 ; 고급필터링 옵션 사용 가능 

                여러 대상에 한 번에 보낼 수 잌ㅆ음 

                 아키이빙 / 이벤트 재생 / 안전한 이벤트 전송등 기능 활용 

- 2. CLOUDTRAIL + EVENTRBIDGE ; 모든 API 호출 인터셉트 

- 3. API GW ; AWS 외부 이벤트를 저장 

        API GW > KINESIS DATA STREAM > FIREHOSE > S3 저장 

 

AWS 캐싱 전략

- CLOUDFRONT EDGE에서 캐싱

- API GW 에서 캐싱 ; 리전단위

- APP LOGIC에서 캐싱 ; 람다 또는 EC2 

- 뒤로 갈 수록 비용과 시간이 늚 

 

AWS IP 주소 차단 

- NACL - 차단 규칙 / SECURITY GROUP - 허용 규칙 / EC2DML  FIREWALL SW - 글로벌 서비스일 경우  

- ALB 있을 경우(VPC 내부) ; ALB SG / EC2 SG ; EC2 SG는 ALB SG를 허용 > 방어선은 NACL에서 만든다

- NLB ; 이벤트 개념 ; SG 없음 ; NACL 또는 EC2 SG에서 막아야 

- ALB ; WAF 설치 가능 

- CLOUDFRONT - ALB 인 경우 ; ALB가 클라이언트 IP알수 없으므로, WAF가 CLOUDFRONT에 붙는다 

- CLOUDFRONT의 주소 차단 법 ; 1. 지리적 제한 기능 2.WAF 등 사용하여 IP 필터링 

 

AWS HPC (HIGH PERFORMANCE COMPUTING)

- 1.데이터 관리 방식 / 데이터 전송 방식 ; DX, SNOW_FAMILIY,  DATASYNC 

- 2. 컴퓨팅-네트워킹 ; 스팟 인스턴스 / 스팟 플릿 / 클러스터 유형 배치 그룹-랙이 같아서 지연시간 낮음 / 

- 3. EC2 성능 향상 ; EC2 ENHANCED NETWORKING (SR-IOV) - 높은 PPS / 고대역폭 

      ENA(ELASTIC NETWORK ADAPTER) ; 네트워크 속도 100GPBS 까지 !! 

      INTEL 82599VF 사용 ; 최대 10GBPS까지 

      EFA(ELASTIC FABRIC ADAPTER) ; 리눅스만 가능 ; 고성능을 위해 개선된 ENA ; MPI 표준 사용!!

- 4. 데이터 저장 ; 1. EBS ; IO2 BLOCK EXPRESS, 256,000IOPS 까지 확장 

                            2. 인스턴스 스토어 ; 수백만 IOPS로 확장 / 지연시간 짧음 / EC2와 연결되어 동시 손상가능

                            3. S3 등 대용량 스토리지 ; 파일 말고 큰 객체 저장목적

                            4. EFS ; IOPS가 파일 시스템 크기에 따라 확장 

                                 * 프로비저닝된 EFS ; 높은 IOPS T설정 가능 

                            5. FSx FOR LUSTRE ; HPC 전용 파이 시스템 ; 리눅스&클러스 전용 ; 백엔드에서 S3로 제공!!

- 5. 자동화 및 오케스트레이션 ;

                            1. AWS BATCH ; 다중 노드 병렬 작업 / 여러 EC2에 걸쳐 작업  

                            2. AWS PARALLEL_CLUSTER ; 오픈소스 클러스터 관리 도구 ; EFA와 함께 사용 

 

EC2 인스턴스 고가용성 

- 대기 인스턴스 생성 ; CLOUDWATCH EVENTS / ALARM -> LAMBDA와 연결 -> LAMBDA가 ELASTIC IP 스탠바이연결

- ASG 이용 ; (최소 최대 적정 값 1로 설정 > 알아서 고장 조치함) ; 탄력적 IP 주소 연결 위해 인스턴스 역할 확인 

- ASG + EBS까지 달린 경우 ; 인스턴스 종료 시, ASG 수명주기 후크 사용 > EBS 스냅샷 생성 스크립트 실핼 

   >  ASG 대체 인스턴스 실행 > 실행 이벤트에 수명주기 후크 > EBS 스냅샷이 EBS 생성