Kafka auto.offset.reset 設定解說

Posted on  Nov 21, 2018  in  資訊技術探索  by  Amo Chen  ‐ 1 min read

海邊的 Kafka 與 Python 系列文章中,有提到關於 Consumer commit 的概念與實作,不過沒有提到一個重要的 Consumer 設定 auto.offset.reset

auto.offset.reset 有 3 種設定:

  1. latest
  2. earliest
  3. none

上述 3 項設定在以下 2 種情況的 Consumer 會有不同的行為:

  1. 沒有任何 commit 的 Consumer (e.g. 剛加入且有新群組名稱的 consumer)
  2. 已有 commit 的 Consumer (e.g. 因故重新啟動的 consumer)

latest

沒有任何 commit 的 Consumer 使用 latest 的設定時, Kafka 會直接給 Consumer 最新 1 則的訊息(message) 。

已有 commit 的 Consumer, Kafka 則會從已 commit 之後的訊息開始派送給 Consumer 。

earliest

沒有任何 commit 的 Consumer 使用 earliest 的設定時, Kafka 會從訊息佇列(message queue)最舊的訊息開始派送給 Consumer 。

已有 commit 的 Consumer, Kafka 則會從已 commit 之後的訊息開始派送給 Consumer 。

none

沒有任何 commit 的 Consumer 使用 none 的設定時, Consumer 就會直接拋出 exception 。

已有 commit 的 Consumer, Kafka 則會從已 commit 之後的訊息開始派送給 Consumer 。

總結

如果 consumer 是需要從最早的訊息開始消化的情況,建議使用 earliest

如果不需要,則使用 latest 即可。

References

https://kafka.apache.org/documentation/

對抗久坐職業傷害

研究指出每天增加 2 小時坐著的時間,會增加大腸癌、心臟疾病、肺癌的風險,也造成肩頸、腰背疼痛等常見問題。

然而對抗這些問題,卻只需要工作時定期休息跟伸展身體即可!

你想輕鬆改變現狀嗎?試試看我們的 PomodoRoll 番茄鐘吧! PomodoRoll 番茄鐘會根據你所設定的專注時間,定期建議你 1 項辦公族適用的伸展運動,幫助你打敗久坐所帶來的傷害!

贊助我們的創作

看完這篇文章了嗎? 休息一下,喝杯咖啡吧!

如果你覺得 MyApollo 有讓你獲得實用的資訊,希望能看到更多的技術分享,邀請你贊助我們一杯咖啡,讓我們有更多的動力與精力繼續提供高品質的文章,感謝你的支持!