패키지 매니저 패키지 매니저는 다음과 같은 기능을 한다. 의존성 설치 / 삭제 / 업데이트 의존성 관리 패키지 배포 캐싱 보완 대부분의 패키지 매니저가 기능적으로 비슷하게 보일 수 있으나, 내부적으로는 매우 다르다. npm/ yarn classic의 경우 node_modules라는 폴더안에 flat하게 저장되는 구조로 dependency를 설치했다. 이러한 방식은 비효율적이고 깨지는 문제가 생길 수가 있다. pnpm, yarn berry는 이러한 문제를 해결했고, 많은 패키지 매니저들 속에서 우리의 워크플로우에 알맞게 선택해야 할 순간이 왔다. NPM npm의 비효율적인 의존성 검색 npm 은 파일 시스템을 이용해서 의존성을 관리한다.

Introduction 다들 잘 알고 있다싶이, 인덱스는 데이터를 효율적으로 빠르게 찾을 수 있는 방법을 의미한다. 인덱스는 한번 생성되면 추가적인 조치가 필요없지만, 쿼리 플래너가 좋은 결정을 내릴 수 있돌고 주기적으로 ANALYZE 명령을 실행하여 통계를 업데이트하는 것도 좋은 방법이다. 큰 테이블에 인덱스를 생성하게 되면 시스템은 테이블과 인덱스를 동기화하는 과정이 필요하다. 이 과정에서 DB 엔진마다 다르겠지만, 테이블에 대한 작업이 느려질 수 도 있다. Index Type 이 포스팅은, postgres 공식문서를 보고 작성한 글이라 아래와 같이 5개의 인덱스 타입을 설명한다.

Condition Filtering join 과정에서, prefix rows는 한 테이블에서 처리한 행들이 join에 쓰이기 위해 전달되는 행을 의미한다. 일반적으로 optimizer는 row의 조합의 수를 증가시키지 않는 방향으로 prefix count가 낮은 테이블을 join의 앞에 두려고 노력한다. 조건 필터링 없이는, prefix rows는 where절에 의해 선택된 행의 예상 수를 기반으로 한다. 반면에, 조건 필터링을 사용하게 되면, 옵티마이저가 이전에 고려되지 않은 where 절의 다른 조건을 사용할 수 있게 해주므로 prefix rows count를 향상시킬 수 있다. EXPLAIN을 보면, rows column은 access method에 의해 계산된 row estimate를 의미하고, filtered column은 백분율을 의미하는데, 100은 필터링이 발생하지 않았음을 의미한다.

hash join mysql에서 join을 실행하는 유일한 알고리즘은 BNL 이었다. BNL은 외부 테이블을 스캔하면서 일정 크기의 블록(메모리 버퍼)를 채울 때까지 행을 읽고, 내부 테이블을 스캔하면서 외부 테이블의 메모리 버퍼에 있는 행과 일치하는 지 확인하고 결합한 후 결과세트에 추가하는 방식이다. 그 이후로는, hash join이라는 BNL 보다 더 효율적으로 쿼리를 실행하게 된다. hash join은 두 입력 사이에서 일치하는 행을 찾기 위해 해쉬 테이블을 이용하는 방법이다. 1 2 3 4 SELECT given_name, country_name FROM persons JOIN countries ON persons.

Dataframe Basic dataframe의 각각의 column은 series임 axis=1은 x축, axis=0는 y축임 dataframe의 column index는 series의 name과 동일 properties shape : (n_row,n_columns) index : axis=0, RangeIndex df.index -> RangeIndex(start=0,stop=30000,step=1) columns : axis=1, equals to series names axes : [index, columns] 꼴 dtypes : 각 column의 type creation 1 2 3 4 5 6 7 8 df = pd.Dataframe({ # series_name : array of object "id":[1,2], "store_nbr":[1,2], "family":['POURTRY','PRODUCT'] }) df = pd.read_csv("some_csv_file.csv") pandas_read_csv_document

strategy pattern 이란? Strategy Pattern은 객체내에서 행동을 바꿀 수 있고, original context class 내에서 서로 상호교환 할 수 있는 패턴을 의미합니다. 즉, 알고리즘을 캡슐화하여 변경가능하도록 해주는 디자인 패턴을 의미합니다. 위 구조에서 가장 상위에 있는 class를 context class라 할 때, context class의 역할은 strategy interface를 참조하는 것입니다. strategy interface 는 모든 견고한 strategies에 공통되는 부분이고, 견고한 strategy는 어떤 행동을 해야할 지를 결정하는 부분입니다. 이렇게 디자인을 구성한다면, context class는 각 strategy가 어떤 역할을 하든 참조하는 strategy가 그 행동을 사용하도록 로직만 구성하면 됩니다.