Python dataclasses 是 Python 3.7 新增的 1 個模組(module)，主要用途是將結構化的資料定義成類別(class)的形式。
dataclasses 模組提供了一些方便的功能幫助自動產生常用的類別方法，如 __init__ , __repr__ , __eq__ 等，節省開發者撰寫重複程式碼的時間成本。
使用 dataclasses 可以讓 Python 程式更加簡潔，並且提高程式碼的可讀性。
準備好在你的 Python 程式碼中大秀一手使用 dataclasses 的技巧了嗎？
Posted on Feb 1, 2023 in Python 程式設計 - 中階 by Amo Chen ‐ 5 min read
先前的教學文中，我們已經理解 DataFrame 是基於 RDD(Resilient Distributed Dataset) 所演化出的資料結構，因此也有必要稍微理解 RDD 相關的操作，以自由地在 DataFrame 與 RDD 之間遊走。
本文透過實際範例操作 RDD 以使大家都能夠對 RDD 初步上手。
Posted on Jan 25, 2023 in Python 模組/套件推薦 , Python 程式設計 - 高階 by Amo Chen ‐ 3 min read
Docker multi-stage builds 教學 一文介紹以 Golang 作為範例，示範如何用 Docker multi-stage builds 的功能，優化編譯 Docker image 的過程，以減少 Docker Image 的 size 。
Multi-stage builds 並不局限於 Golang 這類的編譯(compiled)語言才能使用，腳本(script)語言也能夠運用類似的技巧降低 Docker image size, 例如 Javascript, Python 等開發生態系也都能夠使用。
只是腳本語言需透過直譯器(interpreter)執行的天性，因此其 Docker image 終究難以像 Golang 這類編譯語言所產生的 image 來得小，但這並不代表 Python, Javascript 這類的 Docker image 並不值得使用 multi-stage builds, 優化 Docker image size 仍可以為部署(deployment)速度帶來優勢，同時也能減少網路傳輸所需付出的費用成本。
本文的 multi-stage builds 以 Python 範例出發，一路介紹到如何使用 Google 所提供 distroless 進一步優化 Docker image size 與安全性。
Posted on Jan 6, 2023 in Docker , Python 程式設計 - 高階 by Amo Chen ‐ 5 min read
Spark SQL 提供許多好用的函式(functions)，例如 concat() , count() , date_format() 等等，但這些內建函式不一定能夠滿足一切的需求，所以有時候需要做一些擴充以達到目的，此種讓使用者能夠進行擴充的功能就被稱為 UDF (User Defined Function), RDBMS 諸如 MySQL 與 PostgreSQL 等也都支援 UDF, 詳見：
Spark 也同樣支援 UDF, 讓使用者能夠擴充函式。
Posted on Dec 28, 2022 in Python 模組/套件推薦 , Python 程式設計 - 高階 by Amo Chen ‐ 4 min read
繼上一篇 零經驗也可的 PySpark 教學 - DataFrame part 1 之後，本篇將介紹更多關於 DataFrame 的相關操作，包含 JOIN, GROUP BY 等常用的功能。
Posted on Dec 16, 2022 in Python 模組/套件推薦 , Python 程式設計 - 高階 by Amo Chen ‐ 8 min read
上一篇 零經驗也可的 PySpark 教學 - 初體驗 ，我們透過 Docker 輕易地體驗到 PySpark 的功能，利用 PySpark 將 CSV 資料載入 DataFrame ，再將 DataFrame 轉成 temporary view 後，我們就能夠使用 SQL 對資料進行操作，過程相當輕鬆寫意。
不過 DataFrame 提供相當多的 API, 讓開發者能夠像操作 ORM(Object Relational Mapping) 一樣進行開發，可說是 PySpark 學習過程必須學會的一環，本篇將介紹更多關於 DataFrame 的相關操作，包含 SELECT, FILTER, JOIN, UNION 等常用的功能。
Last updated on Dec 16, 2022 in Python 模組/套件推薦 , Python 程式設計 - 高階 by Amo Chen ‐ 6 min read
Python 內將函數的參數分為 keyword argument 以及 positional argument, 這 2 者的差異在官方文件中有清楚說明，同時這 2 種分別支援單星號 * 與雙星號 ** 的用法，是 Python 開發者一定要熟知的用法。
本文將詳細介紹說明。
Posted on Sep 19, 2022 in Python 程式設計 - 初階 by Amo Chen ‐ 4 min read
Python collections 模組提供多個方便的類別(class)供開發者利用，其中 Counter 類別（dict 的子類別）可以應用在計數(counting)相關的場景：
本文將介紹 Counter 類別的使用方式，並比較其與 dict 與 defaultdict 之間的效能差異。
Posted on Apr 19, 2022 in Python 程式設計 - 初階 by Amo Chen ‐ 3 min read