Python 模組/套件推薦

領域展開！用 Google Colab, JupySQL, DuckDB 實戰分析數據

談到 Python 數據分析的工具，多數人應該使用 Jupyter Notebook 搭配 pandas 進行數據分析，不過使用 pandas 還是不及使用 SQL 來得直覺一些，如果能夠在 Jupyter Notebook 中直接使用 SQL 對資料進行查詢、分析，對於精通 SQL 的人而言，將會減少需要額外學習 pandas 的成本。

恰好 JupySQL 是 1 個能夠讓我們在 Jupyter 以 SQL 對資料進行查詢、分析的擴充套件(extension)，而且 JupySQL 也整合 pandas, 因此可以將查詢結果轉換成為 pandas 的 DataFrame, 除此之外更整合 DuckDB, SQLite, MySQL, PostgreSQL 等常見資料庫，讓我們能夠輕鬆以 SQL 操作各種不同來源的資料庫。

本文將以 Google Colab 搭配 JupySQL 與 DuckDB, 帶你學習 Jupyter Notebook + pandas 之外的另一種方法！

Posted on  Apr 9, 2024  in  Python 模組/套件推薦 , Python 程式設計 - 中階  by  Amo Chen  ‐ 5 min read

Python 套件推薦 - rustimport 給你的 Python 一對翅膀

不可否認 Python 以其優異的生態系與社群資源為開發帶來速度優勢。

不過每個應用都有效率極限， Python 當然也不例外，而且 Python 天生比起 JavaScript, Java 等語言更容易遇到效能瓶頸，這時候通常有 3 種選擇：

  1. 改用效率較好的寫法或套件
  2. 部分功能/元件改用別的語言實作
  3. 全部用別的語言實作

選項 1 是最簡單的，只要能夠找到更快的寫法或者更好的套件，就能夠緩解問題，再撐一陣子；選項 3 則是最困難的，要有足夠的時間以及負責人的支持之下，才有可能進行，畢竟所有的功能都必須改寫之外，測試也是需要全部重新來過，更何況通常公司專案都有時程壓力，選項 3 通常都是難以說服高層的選項；至於選項 2 則是折衷選項，建議選項 1 已經無法解決問題時採用，目前很多 Python 套件為了效率也都會採用選項 2 的做法，例如 orjson 就是以 Rust 語言實作的 JSON parser 。

目前 Python 與 Rust 的介接主要靠 PyO3 , 不過步驟稍微複雜一些，本文將介紹如何透過 rustimport 套件，極度簡化介接 Python 與 Rust 的方法，讓開發 Python 擴充套件可以更快樂、簡便！

Posted on  Sep 18, 2023  in  Python 模組/套件推薦 , Python 程式設計 - 高階  by  Amo Chen  ‐ 4 min read

Python 好用套件 - docxtpl 把 docx 文件檔變樣板(template)

遙想以前在公家機關工作時，不管什麼部門都很喜歡設計各式各樣的 docx 檔，例如用 docx 檔做例行性的報表，每天填完之後寄去給上一層的部門進行彙整，這些東西做久了就會覺得無趣，後來我就用 VBA 把 docx 檔變成樣板，裡面有著一堆可以填充文字的 placeholder, 只要執行 VBA 就可以自動產生新的 docx 檔，把分分鐘的事情變成秒秒鐘。

不過 VBA 畢竟還是沒 Python 可愛宜人，不要再用 VBA 了，能夠用 Python 解決的，都要用 Python 解！卍解！

直接交給 Python 套件 docxtpl 吧！

Posted on  Sep 3, 2023  in  Python 模組/套件推薦  by  Amo Chen  ‐ 1 min read

Python 好用套件介紹 - cloudpickle (pickle 模組的鋼鐵裝)

你有沒有遇過某些資料或類別 pickle 之後，之後要 unpickle 時出現 AttributeError 的情況，例如：

AttributeError: Can't get attribute 'A' on <module '__main__' (built-in)>

這是由於 pickle 使用的是 serialization by reference 技術，所以某些資料或類別它不會放到序列化的結果，因此這種問題可以試看看用 cloudpickle 解決。

一起看看 cloudpickle 與 pickle 模組之間的差異，以及它如何能解決你的問題吧！

Posted on  Sep 3, 2023  in  Python 模組/套件推薦 , Python 程式設計 - 中階  by  Amo Chen  ‐ 2 min read

Python 好用套件介紹 - structlog

大家初次使用 Python 的 logging 模組時，應該都跟我同樣困惑過，例如下列程式碼：

import logging

log = logging.getLogger(__name__)
log.info('Hello')

我們會預期上述程式碼要列印 Hello 的字串，然而事實是不會。

這是由於 Python logging 模組預設的 log level 為 WARNING , 所以只有 WARNING , ERROR 以及 CRITICAL 才會顯示。

所以使用 logging 模組通常都要額外做一些設定才行，這不免需要讀一下 Python 官方文件。（這不是 Python 的問題，只是設計哲學不同）

那麼，有沒有什麼套件比起內建的 logging 模組更直覺好用呢？

答案是「有」，那就是本文要介紹的 structlog 套件。

Posted on  Aug 30, 2023  in  Python 模組/套件推薦 , Python 程式設計 - 初階  by  Amo Chen  ‐ 4 min read

Python 好用套件介紹 - better-exceptions

相信大家學寫程式都有相同的一段經驗，那就是看不懂例外錯誤(exceptions)訊息的意思，你可能每個單字都認識，但組合起來就像天書一樣難以理解⋯⋯。

如果有更容易理解的例外錯誤訊息的話，相信會減輕大家在學習與除錯的痛點！

本文要介紹的 better-exceptions 套件，是一個不管新手、老手都適用的套件，它改良了 Python 的例外錯誤訊息，把錯誤當下的變數值一併顯示在例外錯誤訊息當中，就這一個貼心的舉動，大大改善大家在學習與除錯的體驗。

是一個值得推薦與擁有的套件！

Posted on  Aug 25, 2023  in  Python 模組/套件推薦 , Python 程式設計 - 初階  by  Amo Chen  ‐ 3 min read