Partitioner 카프카는 메세지를 병렬로 효율적으로 처리하기 위해 여러개의 파티션으로 구성할 수 있다. 메시지는 파티션으로 보내지고 파티션 내 로그 세그먼트에 저장되어 카프카로 전송된다. 여러개의 파티션이 구성되어 있을 경우 어느 파티션으로 보내줘야 하는 지 결정하는 역할을 하는 것이 파티셔너이다. 파티셔너는 메시지의 키를 해시하여 어떤 토픽의 어떤 파티션으로 보내줘야 할 지 매핑하는 테이블을 관리한다. 파티션의 갯수가 변경되면, 해시테이블도 변경되므로 파티션의 갯수를 늘릴 때는 유의해야한다. 메시지의 키값은 필수값이 아니므로, null 일 경우 카프카는 자체적으로 해당 메시지를 어느 파티션으로 보낼 지 결정한다.

1. Kafka Replication Kafka 는 데이터 파이프라인의 정중앙에 위치하는 메인 허브 역할을 한다. 만약 이 메인 허브에 문제가 생겨 전체 시스템을 운용할 수 없다면 어떻게 될까? 그러한 문제에 착안하여 안정성을 도모하기 위해 Kafka 내부에서 replication 을 구축하여 시스템 안정성을 높일 수 있다. 3대의 브로커가 운영중인 kafka 에 A 라는 토픽을 생성한 후, X 라는 메시지를 전송하게 되면 모든 서버는 X라는 메시지를 각각의 브로커들이 갖게 된다. replication 을 이용해서 같은 메시지를 여러 브로커가 같이 갖게 되어 안정성을 높일 수 있다.

개요 팔로우/언팔, 따닥으로 인한 중복데이터 생성, 아이유 티켓 결제하기 등 백엔드에선 동시성 문제나 같은 요청이 여러번 오는 경우가 많다. 이러한 케이스가 발생하지 않도록 로직 내에서 validation 을 잘하여 중복데이터가 발생하지 않도록 한다던지 DB 필드에 유니크 인덱스를 생성하여 중복데이터를 DB 쿼리단에서 막아준다던지로 해결할 수는 있지만, 서버 인스턴스가 여러대이고 많은 요청이 발생할 경우 이를 완벽하게 구현하기는 어렵다. 이러한 케이스를 서비스 로직 내에서 막기전에 그 앞단에서 락을 획득한 요청에 대해서만 operation 을 수행할 수 있도록 하는 방법을 설명하고자 한다.

why use singleton In some cases, creating resources are unnecessarily large, or the consistency of objects can be lost as multiple objects are created. For instance, this can be observed with threads pool, cache, object handling environment variables, and object used for logging purpose. singleton vs global variables Access to a singleton method achieved through a static method. Singleton is initialized the first time when it is used. Global variables can be accessible and update it whenever, wherever

Decorator Pattern 객체가 할 수 있는 행동들이 정의된 상태에서, 객체에 추가적인 행동이 요구되었을 때 객체를 확장하는 것이 아닌 특수한 행동을 하는 객체 래퍼에 넣어서 추가적인 행동을 할 수 있도록 한다. 즉, 기본기능에 추가할 수 있는 기능의 종류가 많은 경우 각 추가 기능을 Decorator에 정의하여 조합함으로써 추가기능을 구현할 수 있다. 예를 들어 푸쉬 알림을 보낼 때 필요한 데이터는 초기에 기획된 데이터보다 늘어날 수가 있다. A,B,C 푸쉬를 보낼 때 기본적인 틀은 비슷하지만, 각각 보내야 할 데이터는 내부적으로 조금씩 다르기 마련이다.

Observer Pattern 한 객체의 상태가 바뀌면, 그 객체를 의존하는 다른 객체에 연락이 가고 자동으로 내용이 갱신되도록 하는 패턴으로 OneToMany 의존성을 정의한다. 여기서 OneToMany 의존성이란, 주제는 상태를 저장하고 제어한다. 따라서 상태가 들어있는 객체는 오로직 하나이다. 반면에 그 상태를 의존하는 Observer 객체는 여러개이다 라는 의미이다.₩₩ 주로 프론트엔드 관점에서, observer pattern을 정의한 곳이 많지만 백엔드에서도 observer pattern으로 구현하는 예제 케이스들이 많다. 예를 들어, nodejs의 eventEmitter / logging / socket / distributed system / caching