[Kafka] Offset

• 컨슈머가 poll() 을 호출할 때마다 컨슈머 그룹은 카프카에서 저장되어 있는 읽지 않은 메시지를 가져옴
• 컨슈머 그룹의 컨슈머들은 가각의 파티션에 자신이 가져간 메시지의 위치 정보(offset) 을 기록
• 각 파티션에 대해 현재 위치를 업데이트 하는 동작을 commit
• 각 컨슈머 그룹별로 offset 정보를 저장하기 위한 저장소 별도로 사용
  • 0.9 이전 버전은 zookeeper 에 저장
  • 이후 버전은 카프카 내에 별도의 토픽을 만들어서 저장 → __consumer_offsets
• 컨슈머가 갑자기 다운 또는 새로운 컨슈머가 조인한다면 → 컨슈머 그룹 내에서 rebalance 발생
  • 리벨런스 후 각각의 컨슈머는 이전에 처리했던 토픽의 파티션이 아닌 다른 새로운 파티션에 할당 → d컨슈머는 새로운 파티션에 대해 가장 최근 커밋된 오프셋을 읽고 그 이후부터 메시지 가져옴
  • 만약 커밋된 오프셋이 컨슈머가 실제 마지막으로 처리한 오프셋보다 작으면 마지막 처리된 오프셋과 커밋된 오프셋 사이의 메시지는 중복으로 처리
  • 커밋된 오프셋이 컨슈머가 실제 마지막으로 처리한 오프셋보다 크면 마지막 처리된 오프셋과 커밋된 오프셋 사이의 모든 메시지는 누락
• 자동커밋(auto.commit)
  • enable.auto.commit = true (defalut)