분류 전체보기
-
apt vs apt-get vs apt-cache차이, remove vs purge vs auto-remove 차이Tips 2023. 1. 30. 11:56
apt란? 나는 VM 운영체제로 주로 우분투를 사용하는데, ubuntu에서는 패키지를 관리할 때 apt를 사용한다. apt는 advanced package tool의 줄임말로, 데비안 계열의 운영체제들의 패키징 시스템 관리 도구다. CICD파이프라인을 짜다보면 패키지 업데이트나 삭제를 해야할 일들이 많은데, 이 때 사용되는 명령어들의 차이가 궁금해져 한 번에 정리해보려고 한다. 1. apt vs apt-get vs apt-cache apt-get은 패키지를 설치, 업데이트, 제거하는데 사용하며, apt-cache는 새 패키지를 검색하는데 사용한다. 이 외에도 dpkg라고 시스템에 이미 설치되어있는 패키지를 조회하는 명령어가 있는데, 이 세 개에서 각각 자주 사용되는 명령어들을 합쳐서 최종 사용자들이 한 ..
-
Comparing AWS messaging service - SNS vs SQS (AWS SNS vs SQS 비교, Slack 메세지 보내기 적합한 파이프라인 선택하기)Data Engineering/AWS, Spark 2023. 1. 18. 15:28
AWS SNS, SQS is the famous services which help to send event messages. Here, I will look through those two services and find which one is best for my pipeline. I'm writing this post for the pipeline that sending a Slack notification from AWS Elastic Beanstalk and S3 through Lambda function. Therefore, please be aware all comparision, listing, describing something in this post will focus on this ..
-
Collecting Event Data 1. Slack Push notification for Elastic beanstalk (Elasticbeanstalk 서버 Slack 알림 설정하기)Project/Collecting Event Data 2023. 1. 10. 19:24
AWS SNS is a push notification service. We can send a slack notification through a below pipeline : SNS subscribes an EB application Once the application's status changes, EB send an event msg to SNS SNS fowards the event msg to a Lambda function The Lambda function send a notification to Slack via webhook Create an SNS topic First of all, we need to create an SNS subscription and topic for EB. ..
-
Glue Spark UI 서버 띄워서 Job 상세 실행 내역 확인하기Data Engineering/AWS, Spark 2023. 1. 6. 11:33
1. aws glue sample 레포지토리에서 Glue 버전에 맞는 docker file과 pom.xml을 다운받는다. 2. 다음 명령어로 도커 이미지를 빌드한다. docker build -t glue/sparkui:latest 3. 다음 중 하나의 방법으로 컨테이너를 띄운다. Glue job event log s3 uri는 s3://.. 가 아닌 s3a://... 로 넣어야한다. 만약 자주 실행한다면 로그 디렉토리 경로 등을 환경변수로 저장해놓는 것이 편하다. 이 포스팅을 볼 정도면 다들 알겠지만 백그라운드로 실행하고 싶지 않다면 -itd가 아닌 -it로 run하면 된다. Beijing, Ningxia 리전의 경우 추가적인 옵션이 필요하다. 위 레포지토리의 README.md를 참고하면 된다. 1) A..
-
[Leet Code] Two Pointers (투포인터): 19.Remove Nth Node From End of List - MediumCS기초/Coding Test 2023. 1. 5. 02:43
문제 / 코드 Description Remove the nth node from the end of the list and return its head. How to solve Since the given linked list can only be traversed from the first to the last node, we need to find a way to calculate where nth node from the end is from the start. However, the length of a linked list is not fixed, how can we find it? Let the length of the given linked list be l. Then the position..
-
[Leet Code] Two Pointers (투포인터): 876.Middle of the Linked List - EasyCS기초/Algorithm, Data Structures 2023. 1. 2. 02:04
문제 / 코드 드디어 linked list가 나왔다. 링크드리스트 자료구조 포스팅이랑 같이 올리려고 했는데 시간이 너무 늦어 다음 코드리뷰 포스팅이랑 같이 올려야겠다 (어차피 앞으로 링크드리스트 주구장창 나올 예정이기 때문에..) Description Return middle node of the linked list. If there are two middle nodes, return the second middle node. How to solve Simple way Iterate the linked list from the first node to get the full length. Iterate the linked list from the first node again, change the cu..
-
[Leet Code] Two Pointers (투포인터): 189. Rotate Array - Medium (What "modify in-place" means on Leetcode?)CS기초/Coding Test 2022. 12. 20. 01:36
문제 / 코드 사실 이 문제도 미디움치고는 정말 빨리 풀었다. 나중에 나오는 링크드 리스트 미디움에 비하면 정말.. 이건 이지다. 릿코드에서 이 문제를 투포인터로 분류해놨는데 나는 왜 이 문제가 투 포인터인지 한참을 생각했다 (심지어 투 포인터로 푸는 방법이 따로 있는지 계속 생각함). 원리를 이해하니 두 점을 찍고 푼다는 점에서 투 포인터가 맞는데 기존의 투 포인터 푸는 방식과 다르다는 이유로 투 포인터라고 생각을 안했다니, 역시 고정관념에서 벗어나는 것이 참 힘들다. Leetcode said it's a Two pointers problem, I was confused how it can be done with two pointers with O(1) extra space (well, it wasn'..
-
[Leet Code] Two Pointers (투포인터): 167. Two Sum 2 - Input Array Is Sorted - MediumCS기초/Coding Test 2022. 12. 19. 21:37
* Two Pointers 알고리즘 설명 문제 / 코드 개인적으로 medium 중 제일 쉬웠던 문제. Two pointers에서 항상 중앙값을 가지고 풀던 것을 끝 값을 활용하는 것으로 아이디어만 바꾸면 수월하게 풀 수 있는 문제이다. Description Find two numbers such that they add up to a specific target number and return a list of those integers' index in the input array. Condition - The input array is 1-indexed - The array is already sorted in non-decreasing order - There is only one solution ..