Python 程式設計 - 高階

Python Celery 教學 (1) - 介紹與初次使用

Celery 是一套頗成熟的 Distributed Task Queue 解決方案，讓我們可以非同步(asynchronous)執行任務(tasks) / 工作(jobs) ，這種非同步的作法很常見於 Web Application 。舉個例子說明適合使用 Celery 的情況也許會更清楚，假設有一使用者需要透過 Web Application 匯出一份龐大的資料（可能執行時間很長，超過 30 分鐘），在這情況之下，我們也無法要求使用者一直開著該網頁不關，這時候比較好的作法就是利用非同步的方式執行匯出資料的工作，把工作移到背景執行，然後告知使用者工作執行完畢後會透過 Email / 即時通訊軟體通知工作完成，讓使用者可以回來下載資料，如此一來，使用者就不需要一直開著網頁佔用伺服器的連線數， Celery 就是應用在這種非同步執行的情況下。

Celery 目前已經被許多公司使用(詳見 Companies/websites using Celery )，其中較知名的有 Instagram, Gandi, Red Hat, Uber 等等，所以算是蠻值得一學的 Python 模組。

本篇將學習如何使用 Celery 。

Last updated on  Nov 22, 2023  in  Python 模組/套件推薦 , Python 程式設計 - 高階  by  Amo Chen  ‐ 4 min read

Python - fcntl.flock(fd, op) 檔案鎖應用範例

談 flock 之前，先來聊聊為什麼會需要 flock 。

如果有多個 Processes 同時對同 1 個檔案進行讀寫操作，很容易就會發生同步問題，這時候最簡單的解決的方法就是用個鎖( Lock )確保同一時間只有 1 個 Process 可以對 1 個共用的檔案進行操作。

而 flock 就是幫忙建立 Lock 的一個機制，其原理是利用 1 個檔案作為鎖(Lock) ， Process 要對某個檔案進行讀寫操作時，得先獲得鎖(Lock) 才能進行讀寫操作，其他沒獲得鎖(Lock)的 Process 則會被阻擋無法執行。

另一種常見的情況是為了確保 Crontab 內定期執行的程式同一時間只會有 1 個 Process 在執行，也會利用 flock 避免因為下一次定期執行時間到而又執行一個新的 Process 。

flock 除了可以用 flock 指令之外， Python 也內建提供 fcntl 模組幫我們建立/獲取 flock 鎖。

Posted on  May 8, 2018  in  Python 程式設計 - 高階  by  Amo Chen  ‐ 2 min read

Python - 利用 pkgutil & importlib 打造可擴充式模組

想要建立好的 Python 專案結構，模組化是免不了的過程。此外，程式 / 系統如果還需要良好的擴充性，例如可以彈性增加 Plugin ，可以考慮利用 pkgutil 與 importlib 模組自動載入模組的做法。

Python 知名的 Open Source 專案 Cuckoo Sandbox 就是利用類似的做法達到可擴充性，讓人可以實作一個外掛模組，然後丟到特定資料夾後，它就能夠被執行。

Posted on  Apr 27, 2018  in  Python 程式設計 - 高階  by  Amo Chen  ‐ 3 min read

Python string.Formatter - 取得 format string 中的 placeholders

有時候我們需要取得 format string（例如： This is a format string: Hello, {name} ）中的 placeholders（例如： {name} ）進行比較，例如檢查翻譯人員是否不小心把翻譯字串中的 placeholder 給遺漏了，因為這可能會造成翻譯後的字串漏字。

所幸這種需求可以透過 string.Formatter 幫忙取得字串中的 placeholders 。

Posted on  Mar 14, 2018  in  Python 程式設計 - 高階  by  Amo Chen  ‐ 2 min read

Python 使用 Selenium 控制瀏覽器進行自動化測試

現今很多程式系統是採用 Web 架構進行開發，使得瀏覽器也成為進行系統測試的一環，因此如何自動化的操控瀏覽器進行 Web 系統測試，成為必要的測試技術(畢竟人工太過耗時、也不具效率)。

自動化的瀏覽器測試方案很多，例如 PhantomJS, CasperJS, Zombie.js, Selenium 等，比比皆是。

Last updated on  Dec 24, 2022  in  Python 模組/套件推薦 , Python 程式設計 - 高階  by  Amo Chen  ‐ 3 min read