728x90
반응형
aws로그수집
-
로그 데이터 수집하기: Prologue. 저장소/파이프라인 후보 검토 (Collecting log data: Prologue. Storage lists + Pipeline)Project/Collecting Event Data 2022. 11. 7. 21:22
Entire pipeline (전체 파이프라인) Detailed pipeline (DE파트 파이프라인) (receive log -> s3 tier1)discussing part -> convert data to parquet file and save to tier2 (s3, glue) -> ETL to DW (redshift, glue) -> reverse ETL to serviceDB (mysql, glue) Points (작업하면서 고려해야할 포인트) - revserse ETL batch schedule 배치 스케줄 - storage read/write speed 저장소 읽기/쓰기 속도 - batch speed 배치 속도 How log incomes (로그가 어떻게 수집되는지) Need to chec..