python

Python contextvars 模組教學

大家都知道執行緒(Threads)之間會共用 Process 的記憶體，這種共用的情況有可能造成 Race Condition, 使得程式出現不可預期的行為或錯誤，所幸這個問題可以透過 threadling.local 解決。

而 Python 3.4 之後推出 asyncio 模組，使得 Python 具備執行非同步 I/O (asynchronous I/O) 的能力，開發者可以同時結合 multiprocessing , threading 以及 asyncio 將 Python 效能提升至全新檔次，但是當結合 threading 以及 asyncio 時，可能會遭遇一個問題， 多個協程(coroutines)可能會在同 1 個執行緒中執行，因此多個 coroutines 也可能有互相影響的情況！所以有了 contextvars 模組，用以解決 coroutines 互相干擾的情況，將每個 coroutine 以 Context 切開，避免互相干擾！

Thread-local variables are insufficient for asynchronous tasks that execute concurrently in the same OS thread. Any context manager that saves and restores a context value using threading.local() will have its context values bleed to other code unexpectedly when used in async/await code.

Posted on  Sep 21, 2023  in  Python 程式設計 - 高階  by  Amo Chen  ‐ 4 min read

Python 套件推薦 - rustimport 給你的 Python 一對翅膀

不可否認 Python 以其優異的生態系與社群資源為開發帶來速度優勢。

不過每個應用都有效率極限， Python 當然也不例外，而且 Python 天生比起 JavaScript, Java 等語言更容易遇到效能瓶頸，這時候通常有 3 種選擇：

  1. 改用效率較好的寫法或套件
  2. 部分功能/元件改用別的語言實作
  3. 全部用別的語言實作

選項 1 是最簡單的，只要能夠找到更快的寫法或者更好的套件，就能夠緩解問題，再撐一陣子；選項 3 則是最困難的，要有足夠的時間以及負責人的支持之下，才有可能進行，畢竟所有的功能都必須改寫之外，測試也是需要全部重新來過，更何況通常公司專案都有時程壓力，選項 3 通常都是難以說服高層的選項；至於選項 2 則是折衷選項，建議選項 1 已經無法解決問題時採用，目前很多 Python 套件為了效率也都會採用選項 2 的做法，例如 orjson 就是以 Rust 語言實作的 JSON parser 。

目前 Python 與 Rust 的介接主要靠 PyO3 , 不過步驟稍微複雜一些，本文將介紹如何透過 rustimport 套件，極度簡化介接 Python 與 Rust 的方法，讓開發 Python 擴充套件可以更快樂、簡便！

Posted on  Sep 18, 2023  in  Python 模組/套件推薦 , Python 程式設計 - 高階  by  Amo Chen  ‐ 4 min read

Python threading.local() 解說

我們都知道多個執行緒(thread)之間會共用 Process 的記憶體，那你覺得以下範例程式的執行結果會是什麼呢？這是 2 個執行緒分別做 +1 與 -1 運算各 100,000 次的 Python 程式：

import threading


def count(thread_name, step=1):
    global v
    for i in range(0, 100000):
        v += 1 * step
    print(f'{thread_name} -> ', v, flush=True)


v = 0
t1 = threading.Thread(target=count, args=('t1', 1, ))
t2 = threading.Thread(target=count, args=('t2', -1, ))
t1.start()
t2.start()
t1.join()
t2.join()

這段範例程式的執行結果，就跟本文要解說的 threading.local() 有關。

Posted on  Sep 4, 2023  in  Python 程式設計 - 高階  by  Amo Chen  ‐ 3 min read

Python 好用套件 - docxtpl 把 docx 文件檔變樣板(template)

遙想以前在公家機關工作時，不管什麼部門都很喜歡設計各式各樣的 docx 檔，例如用 docx 檔做例行性的報表，每天填完之後寄去給上一層的部門進行彙整，這些東西做久了就會覺得無趣，後來我就用 VBA 把 docx 檔變成樣板，裡面有著一堆可以填充文字的 placeholder, 只要執行 VBA 就可以自動產生新的 docx 檔，把分分鐘的事情變成秒秒鐘。

不過 VBA 畢竟還是沒 Python 可愛宜人，不要再用 VBA 了，能夠用 Python 解決的，都要用 Python 解！卍解！

直接交給 Python 套件 docxtpl 吧！

Posted on  Sep 3, 2023  in  Python 模組/套件推薦  by  Amo Chen  ‐ 1 min read

Python 好用套件介紹 - cloudpickle (pickle 模組的鋼鐵裝)

你有沒有遇過某些資料或類別 pickle 之後，之後要 unpickle 時出現 AttributeError 的情況，例如：

AttributeError: Can't get attribute 'A' on <module '__main__' (built-in)>

這是由於 pickle 使用的是 serialization by reference 技術，所以某些資料或類別它不會放到序列化的結果，因此這種問題可以試看看用 cloudpickle 解決。

一起看看 cloudpickle 與 pickle 模組之間的差異，以及它如何能解決你的問題吧！

Posted on  Sep 3, 2023  in  Python 模組/套件推薦 , Python 程式設計 - 中階  by  Amo Chen  ‐ 2 min read

Python 好用套件介紹 - better-exceptions

相信大家學寫程式都有相同的一段經驗，那就是看不懂例外錯誤(exceptions)訊息的意思，你可能每個單字都認識，但組合起來就像天書一樣難以理解⋯⋯。

如果有更容易理解的例外錯誤訊息的話，相信會減輕大家在學習與除錯的痛點！

本文要介紹的 better-exceptions 套件，是一個不管新手、老手都適用的套件，它改良了 Python 的例外錯誤訊息，把錯誤當下的變數值一併顯示在例外錯誤訊息當中，就這一個貼心的舉動，大大改善大家在學習與除錯的體驗。

是一個值得推薦與擁有的套件！

Posted on  Aug 25, 2023  in  Python 模組/套件推薦 , Python 程式設計 - 初階  by  Amo Chen  ‐ 3 min read

multiprocessing 模組進階篇 - Pipe, Queue, Array, RawArray 以及 Structure 之教學範例

用範例輕鬆學 Python multiprocessing 模組 一文中提到 4 種 IPC(Inter Process Communication)方法，分別是：

  • 以參數(args)的方式傳遞資料
  • 以共享記憶體(Shared Memory)中的 Value 物件傳遞資料
  • 以 fork 方式傳遞資料， fork 出來的子 process 會繼承父 process 的資源，所以可以存取原本父 process 內的資料
  • 透過 Manager 共享資料， Manager 會在一個稱為 server process 的 process 中管理共享的資料，並且代理其他 process 操作這些共享資料

除了上述幾種方式之外， Python 也有提供其他方式滿足開發者對於 IPC(Inter Process Communication) 的相關需求，本文將額外介紹 Pipe, Queue, Array, RawArray 4 種方式。

Posted on  Aug 7, 2023  in  Python 程式設計 - 中階  by  Amo Chen  ‐ 5 min read