로그 데이터 수집하기: Prologue.AWS 저장소 검토

1. 종류 걸러내기

* 쿼리 불가능한 EBS, EFS 제외

* QLDB (Ledger), Neptune(Graph), Keyspaces(Wide Column) 형태 적합하지 않아 제외

 

NoSQL의 단점: 커넥션, 구축 필요

FS의 단점: 느림

이름	종류	장점	단점
DynamoDB	key-value	- 인덱스 설정 가능 - ACID, 트랜잭션 지원 - 확장성 - 온디맨드 백업 및 복구 - 다중리전중복	- 쿼리 용량 초과시 요청 거부 (지연 x)
ElastiCache	In-memory	- 응답시간 낮음 - Serverless Redis - 타리전에서 읽을 수 있음 - hit ratio가 높은 데이터 적재에 적합	- 오토스케일링 x (하려면 별도 구축 필요) - 데이터 보존 x
MemoryDB	In-memory	- 응답시간 낮음 - 데이터 영구 보존	- 비쌈
DocumentDB	Document
Timestream	Time-series
ES		- Rest API 제공 - SQL 쿼리 가능	- 1초 딜레이 (실시간 처리x)
S3	FS	- SQL 쿼리 가능	- NoSQL보다 느림 (특히 파일 크기가 작을 수록)

파이프라인 : 로그 발생 -> 원천 저장(검토하는 storage) -> Redshift -> MySQL(서비스DB) -> 대시보드

- 압축 가능성

- 쿼리 가능성 (백엔드에서? 왜?)

- RDB로 넣어줄 수 있어야함

 

- EBS -> S3로 바로 파일 땡길수 있는지 (스냅샷 복사)

- Cloudwatch로 바로 보내기