[Kafka] Kafka 데이터 흐름 이해하기: Partition과 Offset
·
Data Engineering/Kafka
이번 글에서는 Kafka의 Partition과 Offset에 대해 공부한 내용을 정리하려고 한다. 본 글의 목차는 다음과 같다.1. Events, Streams, and Topics2. Partition3. Partitioning4. Partition 복제5. Consumer의 데이터 읽기 방식: Pull6. Commit/Offset Events, Streams, and Topics `Partition`에 대해 알아보기 전에, Event, Stream 그리고 Topic에 대해 먼저 알아보자 `Event`는 데이터의 단위이다. 이는 특정 작업이나 상태 변경을 나타낸다.`Stream`은 Kafka에서 연속적으로 흐르는 Event들의 집합이다.`Topic`은 데이터를 구분하기 위한 단위로 events stre..