為什麼 Kafka 這麼快？
以前的工作用過 Kafka, 所以知道它很快，但是沒想過為什麼它可以這麼快，直到面試時被問了才知道只會使用是不夠的，必須了解應用的特性或原理，才能夠設計出
Posted on May 31, 2023 by Amo Chen ‐ 1 min read
kafka
好文共賞 - How Kubernetes And Kafka Will Get You Fired
”How Kubernetes And Kafka Will Get You Fired“ 這篇文章一眼就抓住我的注意力，因為個人先前也經歷過使用 K8s 與 Kafka 的公司，文中所提及的情況也與我遇到的相似： 維運成
Posted on May 5, 2023 by Amo Chen ‐ 1 min read
Kafka auto.offset.reset 設定解說
在 海邊的 Kafka 與 Python 系列文章中，有提到關於 Consumer commit 的概念與實作，不過沒有提到一個重要的 Consumer 設定 auto.offset.reset 。
海邊的 Kafka 與 Python Part 3 - Partition
海邊的 Kafka 與 Python - Part 2 中，已經介紹 producer 與 consumer 的運作，並且透過其運作進一步了解群組(Group)與 partition 相關的概念。
本文將介紹更多關於 Consumer 的使用方法，以及介紹 Log Compaction 。
Posted on Oct 15, 2018 in Python 程式設計 - 高階 by Amo Chen ‐ 5 min read
海邊的 Kafka 與 Python Part 2 - Producer ＆ Consumer
海邊的 Kafka 與 Python - Part 1 中我們已初識 Kafka 大致樣貌，並且透過其內建指令體驗 Kafka 中 producer 與 consumer 的運作情況。本篇就會透過撰寫 Python 程式，更進一步深入了解 Kafka 的細節。
Posted on Oct 13, 2018 in Python 程式設計 - 高階 by Amo Chen ‐ 5 min read
海邊的 Kafka 與 Python Part 1 - 發佈(publish)與訂閱(subscribe)
Apache Kafka 是知名的分散式串流資料平台(distributed streaming platform)，具備高效能、高吞吐量、可容錯(fault-tolerant)設計等特性，所以 Kafka 通常被應用在即時(real-time)串流資料的處理，例如應用程式產生的日誌(log)、使用者的活動紀錄(例如電子商務網站可能會紀錄使用者瀏覽哪些商品)等等。
而目前 MicroSoft, airbnb, NETFLIX, LinkedIn, LINE 等知名公司也是 Apache Kafka 的使用者，也因為有這些公司的背書，所以不太需要擔心 Apache Kafka 的成熟度及可靠度等問題。
不過單看 Apache Kafka 官網的介紹會有些難以理解其切確的功能及用途，所以本文將藉由撰寫 Python 應用程式實際認識 Kafka 的幾個主要面向與功能。
Posted on Oct 9, 2018 in Python 程式設計 - 高階 by Amo Chen ‐ 5 min read