海邊的 Kafka 與 Python

海邊的 Kafka 與 Python Part 1 - 發佈(publish)與訂閱(subscribe)

Apache Kafka 是知名的分散式串流資料平台(distributed streaming platform)，具備高效能、高吞吐量、可容錯(fault-tolerant)設計等特性，所以 Kafka 通常被應用在即時(real-time)串流資料的處理，例如應用程式產生的日誌(log)、使用者的活動紀錄(例如電子商務網站可能會紀錄使用者瀏覽哪些商品)等等。

而目前 MicroSoft, airbnb, NETFLIX, LinkedIn, LINE 等知名公司也是 Apache Kafka 的使用者，也因為有這些公司的背書，所以不太需要擔心 Apache Kafka 的成熟度及可靠度等問題。

不過單看 Apache Kafka 官網的介紹會有些難以理解其切確的功能及用途，所以本文將藉由撰寫 Python 應用程式實際認識 Kafka 的幾個主要面向與功能。

Posted on  Oct 9, 2018  in  Python 程式設計 - 高階  by  Amo Chen  ‐ 5 min read

海邊的 Kafka 與 Python Part 2 - Producer ＆ Consumer

海邊的 Kafka 與 Python - Part 1 中我們已初識 Kafka 大致樣貌，並且透過其內建指令體驗 Kafka 中 producer 與 consumer 的運作情況。本篇就會透過撰寫 Python 程式，更進一步深入了解 Kafka 的細節。

Posted on  Oct 13, 2018  in  Python 程式設計 - 高階  by  Amo Chen  ‐ 5 min read

海邊的 Kafka 與 Python Part 3 - Partition

海邊的 Kafka 與 Python - Part 2 中，已經介紹 producer 與 consumer 的運作，並且透過其運作進一步了解群組(Group)與 partition 相關的概念。

本文將介紹更多關於 Consumer 的使用方法，以及介紹 Log Compaction 。

Posted on  Oct 15, 2018  in  Python 程式設計 - 高階  by  Amo Chen  ‐ 5 min read

Kafka auto.offset.reset 設定解說

在 海邊的 Kafka 與 Python 系列文章中，有提到關於 Consumer commit 的概念與實作，不過沒有提到一個重要的 Consumer 設定 auto.offset.reset 。

Posted on  Nov 21, 2018  in  資訊技術探索  by  Amo Chen  ‐ 1 min read