好文分享 — Developing an Asynchronous Task Queue in Python
“Developing an Asynchronous Task Queue in Python” 一文分享如何用 Python 的 multiprocessing 以及 Redis 打造 1 個非同步的工作佇列(Queue)。
這篇文章介紹的技巧相當實用，在後端 API 開發的實務上，有些工作根本不需要即時處理，所以我們會選擇丟到非同步的佇列中，儘早讓 API 可以回應給前端，避免使用者等太久。譬如匯出相簿這項功能，就很可能會丟到 Asynchronous Task Queue 中執行，因為使用者相簿資料太大的話，會造成 API 回應時間過長，甚至佔用 API server 運算資源，造成伺服器塞車，所以丟到 Asynchronous Task Queue 中，交給其他系統元件處理，等到處理完畢之後，再寄信附上下載連結給使用者即可。
另外，這篇文章也用表格整理 multiprocessing 4 個重要方法的不同，這 4 個方法分別是 map(), map_async(), apply(), apply_async() 值得一看。
最後這篇文章介紹 1 個有趣的作法，將處理資料的 Python 程式與參數整個 pickle 起來，存進去 Redis 中，所以在 dequeue 時，就能夠拿到 Python 程式與參數， 2 相結合就能夠在 dequeue 後執行任務，完全不需要判斷資料是什麼以及要交給哪個函式處理，因為它自己就包含要執行的程式碼。
但是上述這種方式會有資安疑慮，因為如果被有心人士知道運作原理的話，就可以想辦法塞 pickle 過後的任何 Python 程式碼進去，你 dequeue 之後就會執行這段程式碼⋯⋯最後就木馬屠城啦～
另外，該文的實驗環境都在同 1 台主機，所以 enqueue, dequeue 後可以正確執行，包含找到參數所指定的文字檔。一般來說，我們還會考量處理佇列的程式可能在其他主機或不同的 container 上執行，所以共享資料會選擇放在 S3 或是資料庫裡，讓負責處理 queue 的程式能夠存取，增加水平擴充性，譬如佇列裡的工作 1 個 process 處理不完時，就可以啟動多台主機或 container 平行處理，以加快處理速度。
