필살기보다 기본기

1. 카프카의 구성요소 Broker: 카프카 애플리케이션 서버 단위 Recrod: 카프카의 메세지 전송 단위 Producer: 레코드를 전송하는 애플리케이션 Consumer: 레코드를 Polling하는 애플리케이션 Consumer Group: 다수의 Consumer 묶음 Consumer offset: 특정 Consumer가 가져간 레코드의 순서번호 Topic: 데이터(레코드)의 분리 단위 (다수의 파티션으로 이루어질 수 있다) Partition: 실제 레코드들이 저장되는 곳 Replication: 파티션 복제 기능(Topic이 아니라 Partition) ISR(In-Sync-Replication): 리더 + 팔로워 파티션의 Sync가 된 묶음. 2. 카프카의 특징 1. 확장성 카프카는 Publish/Su..

1. Kafka란? 카프카는 메세지 큐의 한 종류이다. 링크드인에서 개발했으며, 파편화된 데이터 파이프라인을 한 곳에 모아 처리할 수 있도록 중앙집권화하기 위해 만들어졌다. 2. 메세지 큐 2.1 메세지 큐란? 메시지 지향 미들웨어(영어:Message-oriented middleware, MOM)는 응용 소프트웨어 간의 데이터 통신을 위한 소프트웨어이다. 메세지 큐는 이 메세지 지향 미들웨어를 구현한 시스템이다. (메세지 지향 미들웨어가 인터페이스라면 메세지 큐는 구현체 정도 .. ?) 2.2 메세지 큐 사용 목적 비동기 처리 API Server에서 Storage에 특정 데이터를 저장해야 하는 상황이라고 가정하자. 아주 높은 확률로 API Server는 다수의 사용자 요청을 처리하느라 바쁜 환경일 것이다..