AMAZON Kinesis

KINESIS ; 실시간 스트리밍 데이터 수집 / 분석 

- 4가지 서비스

- KINESIS DATA STREAM ; 데이터 수집 처리 저장  

- KINESIS DATA FIREHOSE ; 데이터 스트림 AWS 내외부 데이터 저장소로 읽어들임 

- KINESIS DATA ANALYTICS ; SQL 또는 APACHE FLINK를 활용하여 데이터 스트림 분석 

- KINESIS VIDEO STREAM ; 비디오 스트림 수집 처리 저장 

 

KINESIS DATA STREAM 

- 여러 개의 샤드로 구성 ; 샤드의 갯수를 프로비저닝 필요 

- 데이터는 모든 샤드에 분배 -> 데이터 수집률 / 소비율 측면에서 스트림의 용량을 결정 

- 생산자 ; 매우 낮은 수준에서 SDK에 의존 / DATA STREAM에 레코드를 전달 

- 레코드 ; 파티션 키 + 데이터블롭 ; 파티션 키 - 레코드가 이용할 샤드를 결정 / 데이터블롭 - 최대 1MB 값 

- 생산자 -> 레코드 ; 생산자는 초당 1MB OR 초당 천 개의 메시지 

- 소비자 ; SDK+KCL(KINESIS CLIENT LIBRARY) // LAMBDA // KINESIS DATA FIREHOSE - ANAYLITICS 

- 레코드 -> 소비자 ; 파티션 키 + 시퀀스 번호 + 블롭 ; 시퀀스 번호 - 샤드에서 레코드의 위치

- 여러 소비 유형 존재 ; 팬아웃 방식으로 다 가능 
   - 샤드마다 초당 2MB 처리량을 모든 소비자가 공유

   - 소비자마다 샤드당 초당 2MB 씩 받기  

- 1-365일 보존 / 삭제X / 파티션 키 기반 데이터 정렬 가능 

- 용량 유형 ; 1. 프로비저닝 2. 온디맨드 

- 보안 ; 리전단위에 배포 / IAM 정책으로 샤드 생성 접근 권한 설정 / HTTPS 전송중 암호화 / CMS 암호화 / 클라이언트 암호화 /
  VPC  엔드포인트 / CLOUDTRAIL 감시 가능  

 

KINESIS DATA FIREHOSE

- 생산자 ; DATA STREAM 생산자 + DATA STREAM + CLOUDWATCH 

- 생산자 -> 레코드 ; 람다 함수를 통해 변환(옵션) / 데이터 쓰기 (노코드 ; 이미 어떻게 쓰는 지 앎)

- 소비자 ; 1.AMAZON S3  / 2. AMAZON REDSHIFT (웨어하우징 DB - S3 쓴 후에 키네시스가 복사) / 3. AMAZON OPENSEARCH

- 써드 파티에도 쓸 수 있다 (DATADOG SPLUNK NEW_RELIC, MONGODB ETC)

- 커스텀 대상도 가능 ; HTTP 엔드포인트를 갖는 API가 있는 경우 ; 이들에게 보낸 후 S3 보내기를 옵션화 가능 

 

KINESIS & SQS FIFO 데이터 정렬

- 키네시스 ; 안정된 파티션 키에 따라, 똑같은 샤드에 계속 전달 ; 샤드의 갯수만큼 소비자를 조절 가능 

- 피포 ; 그룹 ID 별로 정렬, 그룹 숫자에 따른 소비자 수 존재 ;  

 

AMAZON MQ ; 클라우드에 애플리케이션 마이그레이션 하는 경우 MQTT AMQP 등 기존 프로토콜 사용하고 싶을 때 

- RABBITMQ / ACTIVE MQ 두 가지 기술을 위한 관리형 메시지 브로커 

- 무한 확장 X -> 서버에서 실행 

- 다중 AZ 설정 가능 (고가용성 및 장애조치) -> MQ BROKER와 백엔드 스토리지용 EFS 설정(장애조치 시 활용함)

- SQS라이크 대기열 기능 //  SNS라이크 주제 기능 제공