[Kafka] Offset
컨슈머가 poll() 을 호출할 때마다 컨슈머 그룹은 카프카에서 저장되어 있는 읽지 않은 메시지를 가져옴 컨슈머 그룹의 컨슈머들은 가각의 파티션에 자신이 가져간 메시지의 위치 정보(offset) 을 기록 각 파티션에 대해 현재 위치를 업데이트 하는 동작을 commit 각 컨슈머 그룹별로 offset 정보를 저장하기 위한 저장소 별도로 사용 0.9 이전 버전은 zookeeper 에 저장 이후 버전은 카프카 내에 별도의 토픽을 만들어서 저장 → __consumer_offsets 컨슈머가 갑자기 다운 또는 새로운 컨슈머가 조인한다면 → 컨슈머 그룹 내에서 rebalance 발생 리벨런스 후 각각의 컨슈머는 이전에 처리했던 토픽의 파티션이 아닌 다른 새로운 파티션에 할당 → d컨슈머는 새로운 파티션에 대해 가장..
Programming/Open Source
2021. 5. 15. 17:19
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- ArrayList
- jenkins
- Algorithm
- 알고리즘
- mysql
- Array
- db
- elastic stack
- 도커
- 송리단길맛집
- 미사맛집
- PreparedStatement
- docker
- 잠실맛집
- kafka
- JDBC
- 카프카
- Database
- 초대장
- keycloak
- 자바
- scouter
- 리스트
- string
- 서울카페
- spring
- Java
- 티스토리초대장
- 문자열
- 자료구조
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
글 보관함