JMESPath 是 1 款與 jq 功用類似的 Python 套件，可以讓 Python 開發者用與 jq 相似的語法查詢、重組 JSON 格式（需要用 json 模組轉成 Python 的原生資料型態）的資料，如果運用得當可以簡化程式碼，或者改善可讀性。
本文將介紹 JMESPath 相關的使用方法。
Posted on Jul 12, 2023 in Python 模組/套件推薦 by Amo Chen ‐ 4 min read
orjson 是一套由 Rust 實作的 Python 套件，專門用以處理 JSON 相關的 encode 與 decode 的工作，效率不僅快（根據官方測試最快可以達到 json 模組的 40 到 50 倍效率）更天生能直接處理 Python 內建 json 模組所無法序列化(serialize)的 datetime, UUID, dataclass 等資料，不需額外編寫序列化的處理程式。
如果你想改善 Python API server 處理 JSON 的速度，以降低系統回應時間，又或者你有大量 JSON 相關的資料要處理，想有效減少處理時間的話，不妨試試 orjson 吧！
Posted on May 10, 2023 in Python 模組/套件推薦 by Amo Chen ‐ 4 min read
通常操作 dataframe 完之後，都會需要將結果輸出到資料庫/檔案甚至是雲端服務。 PySpark 已經將相關的輸出都整合到 pyspark.sql.DataFrameWriter 類別，只要理解該類別，基本上就能夠輕鬆將 DataFrame 輸出。
本文將介紹 pyspark.sql.DataFrameWriter 以及幾個使用上值得注意的點。
Posted on Feb 6, 2023 in Python 模組/套件推薦 , Python 程式設計 - 高階 by Amo Chen ‐ 4 min read
先前的教學文中，我們已經理解 DataFrame 是基於 RDD(Resilient Distributed Dataset) 所演化出的資料結構，因此也有必要稍微理解 RDD 相關的操作，以自由地在 DataFrame 與 RDD 之間遊走。
本文透過實際範例操作 RDD 以使大家都能夠對 RDD 初步上手。
Posted on Jan 25, 2023 in Python 模組/套件推薦 , Python 程式設計 - 高階 by Amo Chen ‐ 3 min read
Spark SQL 提供許多好用的函式(functions)，例如 concat() , count() , date_format() 等等，但這些內建函式不一定能夠滿足一切的需求，所以有時候需要做一些擴充以達到目的，此種讓使用者能夠進行擴充的功能就被稱為 UDF (User Defined Function), RDBMS 諸如 MySQL 與 PostgreSQL 等也都支援 UDF, 詳見：
Spark 也同樣支援 UDF, 讓使用者能夠擴充函式。
Posted on Dec 28, 2022 in Python 模組/套件推薦 , Python 程式設計 - 高階 by Amo Chen ‐ 4 min read
繼上一篇 零經驗也可的 PySpark 教學 - DataFrame part 1 之後，本篇將介紹更多關於 DataFrame 的相關操作，包含 JOIN, GROUP BY 等常用的功能。
Posted on Dec 16, 2022 in Python 模組/套件推薦 , Python 程式設計 - 高階 by Amo Chen ‐ 8 min read
上一篇 零經驗也可的 PySpark 教學 - 初體驗 ，我們透過 Docker 輕易地體驗到 PySpark 的功能，利用 PySpark 將 CSV 資料載入 DataFrame ，再將 DataFrame 轉成 temporary view 後，我們就能夠使用 SQL 對資料進行操作，過程相當輕鬆寫意。
不過 DataFrame 提供相當多的 API, 讓開發者能夠像操作 ORM(Object Relational Mapping) 一樣進行開發，可說是 PySpark 學習過程必須學會的一環，本篇將介紹更多關於 DataFrame 的相關操作，包含 SELECT, FILTER, JOIN, UNION 等常用的功能。
Last updated on Dec 16, 2022 in Python 模組/套件推薦 , Python 程式設計 - 高階 by Amo Chen ‐ 6 min read
現今後端(backend)儲存解決方案相較於以往多了許多選擇，從傳統的硬碟儲存到現代各式各樣的雲端儲存服務，例如 AWS S3, Google Cloud Storage, Azure Blob Storage 甚至 HDFS(Hadoop Distributed File System) 等等，因此開發過程不免都會遇到需要整合雲端儲存方案的問題，與其重新發明輪胎，不如選擇 1 套簡單易用而且通吃各家服務的套件，不僅省事還能有效增加開發效率。
所以，你需要 smart_open 的幫忙！
Posted on Feb 12, 2022 in Python 模組/套件推薦 by Amo Chen ‐ 3 min read