Project/D.D.P (Datahub)
-
[Trouble shooting] Datahub S3 메타데이터 주입시 에러 발생Project/D.D.P (Datahub) 2023. 7. 10. 11:08
처음 발생한 에러는 다음과 같다. File "/home/ubuntu/.local/lib/python3.10/site-packages/datahub/ingestion/run/pipeline.py", line 122, in _add_init_error_context raise PipelineInitError(f"Failed to {step}: {e}") from e datahub.ingestion.run.pipeline.PipelineInitError: Failed to configure the source (s3): Java gateway process exited before sending its port number 위 에러를 보고 자바가 설치되어있지 않기 때문이라고 생각해서 자바를 설치했다. sudo..
-
Data Catalogue Platform 구축기: 0.구축 계획 수립 (기존 구축 process에서 수정 및 추가)Project/D.D.P (Datahub) 2023. 4. 5. 19:44
처음 구축했던 process에서 초록색 부분을 수정 및 추가해서 구축하기로 계획을 세웠다. 전체 계획 1. Terraform으로 네트워크 및 EKS 클러스터 구축 2. Terraform으로 ArgoCD 설치 및 배포 3. ALB 연결해서 ArgoCD 노출시키기 4. ArgoCD로 Datahub 설치 및 배포 5. ALB 연결해서 Datahub 노출시키기 6. MySQL DB 배포 (Datahub metadata DB) 7. EKS 클러스터에 Datadog 연결하여 모니터링 시스템 구축 8. Glue, S3 소스 주입 9. Metadata 자동 업데이트 기능 구축: 1) Metadata 배치 주입 2) Glue/ S3에 리소스 삭제시 Datahub DB에 sync맞추는 기능 3) Glue job 생성/ 수..
-
험난하고 험난한 Datahub - EKS Trouble shooting: prerequisites-cp-schema-registry pod CrashLoopBackOff 해결하기 (EBS CSI Controller 설치)Project/D.D.P (Datahub) 2023. 3. 27. 21:20
EKS 구축하는 동안 제일 많이 한 말이 아늬...왜 안되냐고... 인 것 같다. 자꾸 파드가 죽고, 그러다 갑자기 지 혼자 살아나고, 그러다 다시 죽어있고..... 아니.. HA때문에 EKS 쓴다면서요.. 내 클러스터는 가용성 왜 이런데.. 문제 상황 prerequisites-cp-schema-registry-xxx 파드: CrashLoopBackOff elasticsearch-master, prerequisites-kafka, prerequisites-mysql, prerequisites-zookeeper 파드: Pending 문제 원인 파악 0. 진정하기 (이제 crashloopbackoff만 봐도 화남) 1. 파드에 문제가 생기면 일단 describe 확인 -> log 확인으로 문제 원인을 알 수..
-
Data Catalogue Platform 구축기: Prologue .Terraform으로 생성한 EKS 삭제(destory)하기. 나의 두 달 resetProject/D.D.P (Datahub) 2022. 12. 3. 19:40
8월 1일부터 10월 27일까지 여름 휴가, 중간에 치고 들어왔던 대시보드 작업 기간 제외하고 약 한 달에 걸쳐 ArgoCD와 Datahub으로 회사의 Data Catalogue Platform을 구축했다. 나름 큰 프로젝트인데다가 플랫폼부터 노드 수까지 전체 아키텍쳐를 내가 그려야했기에 불안함도 컸고, 물론 레퍼런스들을 따라갈 수 있었지만 또 성격상 그 레퍼런스가 우리 회사에 최적이 맞는지 검증해야만 쓰는 성격이기 때문에 하나하나 뜯어보느라 오래걸리기도 했으며, 개발이 막힐 때면 어디 물어볼 데가 없어 답답한 날들의 연속이었다. 더군다나 아무런 output도 없이 시간을 흘려보내고 있는데 회사에서는 나에게 월급을 주고 있다는 부분이 고마우면서도 빨리 결과를 내야겠다는 요소로 작용했던 것 같다. 그럼에도..