海邊的 Kafka 與 Python

海邊的 Kafka 與 Python - Part 1

本文為 Kafka 與 Python 的系列教學:

Apache Kafka 是知名的分散式串流資料平台(distributed streaming platform),具備高效能、高吞吐量、可容錯(fault-tolerant)設計等特性,所以 Kafka 通常被應用在即時(real-time)串流資料的處理,例如應用程式產生的日誌(log)、使用者的活動紀錄(例如電子商務網站可能會紀錄使用者瀏覽哪些商品)等等。

而目前 MicroSoft, airbnb, NETFLIX, LinkedIn, LINE 等知名公司也是 Apache Kafka 的使用者,也因為有這些公司的背書,所以不太需要擔心 Apache Kafka 的成熟度及可靠度等問題。

不過單看 Apache Kafka 官網的介紹會有些難以理解其切確的功能及用途,所以本文將藉由撰寫 Python 應用程式實際認識 Kafka 的幾個主要面向與功能。

Posted on  Oct 9, 2018  in  Python 程式設計 - 高階  by  Amo Chen  ‐ 5 min read

海邊的 Kafka 與 Python - Part 2

本文為 Kafka 與 Python 的系列教學:

海邊的 Kafka 與 Python - Part 1 中我們已初識 Kafka 大致樣貌,並且透過其內建指令體驗 Kafka 中 producer 與 consumer 的運作情況。本篇就會透過撰寫 Python 程式,更進一步深入了解 Kafka 的細節。

Posted on  Oct 13, 2018  in  Python 程式設計 - 高階  by  Amo Chen  ‐ 5 min read

海邊的 Kafka 與 Python - Part 3

本文為 Kafka 與 Python 的系列教學:

海邊的 Kafka 與 Python - Part 2 中,已經介紹 producer 與 consumer 的運作,並且透過其運作進一步了解群組(Group)與 partition 相關的概念。

本文將介紹更多關於 Consumer 的使用方法,以及介紹 Log Compaction

Posted on  Oct 15, 2018  in  Python 程式設計 - 高階  by  Amo Chen  ‐ 5 min read