머신러닝을 배웠던 데이터 엔지니어 머신러닝을 배웠던 데이터 엔지니어

Project/Collecting Event Data

• Collecting Event Data 1. Slack Push notification for Elastic beanstalk (Elasticbeanstalk 서버 Slack 알림 설정하기)

  Project/Collecting Event Data 2023. 1. 10. 19:24

  AWS SNS is a push notification service. We can send a slack notification through a below pipeline : SNS subscribes an EB application Once the application's status changes, EB send an event msg to SNS SNS fowards the event msg to a Lambda function The Lambda function send a notification to Slack via webhook Create an SNS topic First of all, we need to create an SNS subscription and topic for EB. ..

  Read More
• Collecting Event Data 0. Entire Pipeline (전체 파이프라인)

  Project/Collecting Event Data 2022. 12. 16. 20:48

  이제와서 느끼는건데 너무 프로젝트 초반부터 블로그에 글을 쓰면 정말 기록용 정리되지 않은 개발새발 글이 될 수 있는 것 같다. 그런 글도 필요하긴 하지만.. 내 블로그의 정체성이 노트인지 정리용인지 희미해지는 순간 Main Purpose - Collecting users' viewed/clicked event data - Build a separate server for event data to prevent serveice server overloaded Pipeline - API Server: AWS Elastic Beanstalk (Stage, Production) - Data Lake: AWS S3 (Tier1, Tier2) - Data Warehouse: AWS Redshift - Dashboa..

  Read More
• 로그 데이터 수집하기: Prologue. 저장소/파이프라인 후보 검토 (Collecting log data: Prologue. Storage lists + Pipeline)

  Project/Collecting Event Data 2022. 11. 7. 21:22

  Entire pipeline (전체 파이프라인) Detailed pipeline (DE파트 파이프라인) (receive log -> s3 tier1)discussing part -> convert data to parquet file and save to tier2 (s3, glue) -> ETL to DW (redshift, glue) -> reverse ETL to serviceDB (mysql, glue) Points (작업하면서 고려해야할 포인트) - revserse ETL batch schedule 배치 스케줄 - storage read/write speed 저장소 읽기/쓰기 속도 - batch speed 배치 속도 How log incomes (로그가 어떻게 수집되는지) Need to chec..

  Read More
• 로그 데이터 수집하기: Prologue.AWS 저장소 검토

  Project/Collecting Event Data 2022. 10. 31. 19:51

  1. 종류 걸러내기 * 쿼리 불가능한 EBS, EFS 제외 * QLDB (Ledger), Neptune(Graph), Keyspaces(Wide Column) 형태 적합하지 않아 제외 NoSQL의 단점: 커넥션, 구축 필요 FS의 단점: 느림 이름 종류 장점 단점 DynamoDB key-value - 인덱스 설정 가능 - ACID, 트랜잭션 지원 - 확장성 - 온디맨드 백업 및 복구 - 다중리전중복 - 쿼리 용량 초과시 요청 거부 (지연 x) ElastiCache In-memory - 응답시간 낮음 - Serverless Redis - 타리전에서 읽을 수 있음 - hit ratio가 높은 데이터 적재에 적합 - 오토스케일링 x (하려면 별도 구축 필요) - 데이터 보존 x MemoryDB In-memor..

  Read More