海邊的 Kafka 與 Python - Part 2 中，已經介紹 producer 與 consumer 的運作，並且透過其運作進一步了解群組(Group)與 partition 相關的概念。
本文將介紹更多關於 Consumer 的使用方法，以及介紹 Log Compaction 。
Posted on Oct 15, 2018 in Python 程式設計 - 高階 by Amo Chen ‐ 5 min read
海邊的 Kafka 與 Python - Part 1 中我們已初識 Kafka 大致樣貌，並且透過其內建指令體驗 Kafka 中 producer 與 consumer 的運作情況。本篇就會透過撰寫 Python 程式，更進一步深入了解 Kafka 的細節。
Posted on Oct 13, 2018 in Python 程式設計 - 高階 by Amo Chen ‐ 5 min read
Apache Kafka 是知名的分散式串流資料平台(distributed streaming platform)，具備高效能、高吞吐量、可容錯(fault-tolerant)設計等特性，所以 Kafka 通常被應用在即時(real-time)串流資料的處理，例如應用程式產生的日誌(log)、使用者的活動紀錄(例如電子商務網站可能會紀錄使用者瀏覽哪些商品)等等。
而目前 MicroSoft, airbnb, NETFLIX, LinkedIn, LINE 等知名公司也是 Apache Kafka 的使用者，也因為有這些公司的背書，所以不太需要擔心 Apache Kafka 的成熟度及可靠度等問題。
不過單看 Apache Kafka 官網的介紹會有些難以理解其切確的功能及用途，所以本文將藉由撰寫 Python 應用程式實際認識 Kafka 的幾個主要面向與功能。
Posted on Oct 9, 2018 in Python 程式設計 - 高階 by Amo Chen ‐ 5 min read
先前使用 Django ORM(Object Relational Mapping) 時，偶爾會用到 unique_together ，剛好最近用到 SQLAlchemy 就想說如何做到一樣的事，結果 SQLAlchemy 文件 Table Configuration 就提到如何使用。
Posted on Sep 27, 2018 in Python 模組/套件推薦 , Python 程式設計 - 高階 by Amo Chen ‐ 1 min read
接著談談 Celery 的重點 - Queues!
Last updated on Nov 22, 2023 in Python 模組/套件推薦 , Python 程式設計 - 高階 by Amo Chen ‐ 2 min read
本篇將延續 Python Celery 教學 (2) - AsyncResult 與執行工作 的內容，進一步介紹 2 種常見 Celery 定義的 Workflow:
Last updated on Nov 22, 2023 in Python 模組/套件推薦 , Python 程式設計 - 高階 by Amo Chen ‐ 2 min read
Python Celery 教學 (1) - 介紹與初次使用 介紹中，我們認識 Celery 幾個重要名詞與初步小小體驗使用 Celery 的過程。
本篇將會進一步介紹更多 Celery 的相關知識與使用方法，其中包括：
Last updated on Nov 22, 2023 in Python 模組/套件推薦 , Python 程式設計 - 高階 by Amo Chen ‐ 4 min read
Celery 是一套頗成熟的 Distributed Task Queue 解決方案，讓我們可以非同步(asynchronous)執行任務(tasks) / 工作(jobs) ，這種非同步的作法很常見於 Web Application 。舉個例子說明適合使用 Celery 的情況也許會更清楚，假設有一使用者需要透過 Web Application 匯出一份龐大的資料（可能執行時間很長，超過 30 分鐘），在這情況之下，我們也無法要求使用者一直開著該網頁不關，這時候比較好的作法就是利用非同步的方式執行匯出資料的工作，把工作移到背景執行，然後告知使用者工作執行完畢後會透過 Email / 即時通訊軟體通知工作完成，讓使用者可以回來下載資料，如此一來，使用者就不需要一直開著網頁佔用伺服器的連線數， Celery 就是應用在這種非同步執行的情況下。
Celery 目前已經被許多公司使用(詳見 Companies/websites using Celery )，其中較知名的有 Instagram, Gandi, Red Hat, Uber 等等，所以算是蠻值得一學的 Python 模組。
本篇將學習如何使用 Celery 。
Last updated on Nov 22, 2023 in Python 模組/套件推薦 , Python 程式設計 - 高階 by Amo Chen ‐ 4 min read