분류 전체보기
-
맥 실리콘 m1칩에서 brew와 brew로 aws cli 설치하기Tips 2022. 5. 24. 23:08
나는 pro가 아닌데 무려 맥북 pro에 m1 pro를 사용하게 되었다. aws cli를 설치해야하는데 홈페이지에는 intel칩 사용자의 설치방법밖에 안나와있어(왜요..?) 뒤적거리다가 편하게 설치하려고 brew도 다시 깔고 brew 사용해서 설치하는 방법을 찾았다. brew 설치 방법 일단 간단하게 brew가 깔려있는지 확인하려면 다음 command line을 실행해보면 된다. command not found가 뜨면 brew가 설치 안되어 있는 것이다. $ which brew 설치는 다음 명령어로 할 수 있다. bash명령어이기 때문에 현재 사용중인 쉘이 zsh이나 다른 쉘이어도 그냥 복붙하면 된다. $ /bin/bash -c "$(curl -fsSL https://raw.githubuserconten..
-
프로그래머스 SQL TEST - 입양 시각 구하기(2)Data Engineering/SQL 2022. 4. 12. 01:13
최근 코딩 테스트 문제를 이것 저것 풀다가 생각보다 MYSQL 문법이 PostgreSQL과 다르다는 것을 알게 되었다.. (MySQL에 없는 기능이라서 찾다가 시간 다 간적도 있음..) 이 문제는 조금 복잡하게 푼 것 같아서 기록해두고 다른 풀이 방법이 있으면 수정하려고 포스팅 한다. (항상 SQL공부하면서 느끼는 건데 효율적인(?) 코드를 짜고 테스트하는 방법을 잘 모르겠다) 문제 ANIMAL_OUTS테이블에서 시간대별로 입양보낸 횟수를 count해서 출력하면 되는데 테이블에 없는 시간도 만들어야한다. 예를 들어 테이블에는 7시 1건, 8시 2건만 있으면 출력되어야하는 결과는 나머지 시간은 0회, 7시 1회, 8시 2회로 표시한 테이블. 풀이 방법 1. Datetime에서 시간만 추출하기 위해 SUBS..
-
OLTP vs OLAPTips 2022. 3. 29. 14:51
데이터를 저장하는 목적은 저장된 데이터를 활용하기 위해서다. 데이터를 활용하는 방법은 크게 OLTP와 OLAP 두 가지로 구분할 수 있다. 어떻게 데이터를 활용하냐에 따라 저장하는 데이터 베이스의 종류, 데이터 베이스 엔진의 선택, 데이터 모델링 방법이 달라지므로 저장되는 데이터의 활용 목적을 분명히 하는 것은 중요한 작업이다. OLTP OLTP는 OnLine Transaction Processing의 약자로 "트랜잭션"이 목적인 처리방법이다. 비즈니스 활동 자체를 지원하는 작업이라는 설명이 있는데, 이 말이 좀 어렵다면 돈을 벌어다주는 활동을 지원하는 작업이라고 생각하면 된다. 사용자의 요청을 적절하게 하나의 트랜잭션으로 묶고, 이 트랜잭션이 완벽하게 처리되는 것을 목표로한다(하지만 완벽이란건 없기에 ..
-
데이터 레이크(Data Lake), 데이터 웨어하우스(Data Warehouse), 데이터 마트(Data Mart)의 기초 개념Data Engineering 2022. 3. 29. 14:29
구글링을 하면 좋은 테크블로그들이 많지만 그런 글들은 정말 잘 하신 분들이 쓴 글들이기 때문에 전문적인 용어들이 많이 섞여있거나 중간에 설명이 생략된 부분이 많아 처음 공부를 시작하는 사람들 입장에서는 조금 이해하기 어려울 수 있다는 생각이 들었다. 회사에서 데이터 웨어하우스 구축 프로젝트를 처음 시작하면서, 그리고 그 프로젝트가 데이터 레이크 구축 프로젝트로 전환되면서 각 개념에 대해 책을 읽고 강의를 찾아보며 공부했던 개념들을 최대한 쉽게 적어보려 한다. 데이터 레이크, 데이터 웨어하우스, 데이터 마트는 데이터를 어떤 목적으로 저장하느냐에 따른 구분이라고 볼 수 있다. 각 용어에 대한 개념을 정립하기 전에 가장 먼저 유념해야할 점은 회사마다 정의하고 있는 개념이 어느 정도 다를 수 있다는 것이다. 따..
-
CPU 성능 측정에 관련된 용어들 - Clock cycle, Clock period, Clock speed, CPI, ICTips 2022. 3. 25. 20:54
CPU (clock) Cycle: CPU가 명령어를 실행(Fetch-Decode-Execute로 이루어지는)하는 단위 Clock period: CPU cycle이 한 번 돌기 위해 걸리는 시간 Clock speed: clock period의 역수. 단위는 헤르츠(Hz) CPU 실행시간 = 프로그램 하나를 처리하는데 돌아야하는 CPU 클럭 사이클 수 x 클럭 사이클 시간 CPI (Clock cycles per instruction): 한 프로그램에서 명령어 하나를 처리하는데 필요한 평균 clock cycle 수. 명령어 종류마다 필요한 clock cycle 수가 다르므로 평균으로 표현. IC (Instruction count): 프로그램 하나를 처리하는데 필요한 명령어의 수 CPU 성능 식 = IC x C..
-
[CI/CD 구축] EC2에 젠킨스 설치하기 - windowsProject/CICD 2022. 3. 1. 03:45
[Project workflow] EC2로 윈도우/리눅스 EC2 생성 Mac에서 EC2 접속 test (테스트 빌드용) 로컬 젠킨스 서버 배포 젠킨스 프로젝트 생성 및 빌드 코드 짜기 EC2 젠킨스 설치 및 배포 배포된 젠킨스 서버와 깃헙 웹훅 연결 코드 merge시 EC2에서 빌드되는지 테스트 젠킨스는 자바 기반이므로 먼저 jdk를 설치해주어야한다. JDK 설치 1. Microsoft edge로 https://adoptopenjdk.net 으로 접속 2. 해당 사이트에서 파란색 버튼을 클릭 3. 이동 된 사이트에서 최신 LTS 버전을 선택한 뒤 Latest release 버튼 클릭 (여기서 17버전 클릭하면 젠킨스 구동 안된다. 젠킨스 문서를 보면 java8이나 11버전을 쓰라고 친절히 나와있다. 11..