先前的教學文中，我們已經理解 DataFrame 是基於 RDD(Resilient Distributed Dataset) 所演化出的資料結構，因此也有必要稍微理解 RDD 相關的操作，以自由地在 DataFrame 與 RDD 之間遊走。
本文透過實際範例操作 RDD 以使大家都能夠對 RDD 初步上手。
Posted on Jan 25, 2023 in Python 模組/套件推薦 , Python 程式設計 - 高階 by Amo Chen ‐ 3 min read
Docker multi-stage builds 教學 一文介紹以 Golang 作為範例，示範如何用 Docker multi-stage builds 的功能，優化編譯 Docker image 的過程，以減少 Docker Image 的 size 。
Multi-stage builds 並不局限於 Golang 這類的編譯(compiled)語言才能使用，腳本(script)語言也能夠運用類似的技巧降低 Docker image size, 例如 Javascript, Python 等開發生態系也都能夠使用。
只是腳本語言需透過直譯器(interpreter)執行的天性，因此其 Docker image 終究難以像 Golang 這類編譯語言所產生的 image 來得小，但這並不代表 Python, Javascript 這類的 Docker image 並不值得使用 multi-stage builds, 優化 Docker image size 仍可以為部署(deployment)速度帶來優勢，同時也能減少網路傳輸所需付出的費用成本。
本文的 multi-stage builds 以 Python 範例出發，一路介紹到如何使用 Google 所提供 distroless 進一步優化 Docker image size 與安全性。
Posted on Jan 6, 2023 in Docker , Python 程式設計 - 高階 by Amo Chen ‐ 5 min read
Spark SQL 提供許多好用的函式(functions)，例如 concat() , count() , date_format() 等等，但這些內建函式不一定能夠滿足一切的需求，所以有時候需要做一些擴充以達到目的，此種讓使用者能夠進行擴充的功能就被稱為 UDF (User Defined Function), RDBMS 諸如 MySQL 與 PostgreSQL 等也都支援 UDF, 詳見：
Spark 也同樣支援 UDF, 讓使用者能夠擴充函式。
Posted on Dec 28, 2022 in Python 模組/套件推薦 , Python 程式設計 - 高階 by Amo Chen ‐ 4 min read
繼上一篇 零經驗也可的 PySpark 教學 - DataFrame part 1 之後，本篇將介紹更多關於 DataFrame 的相關操作，包含 JOIN, GROUP BY 等常用的功能。
Posted on Dec 16, 2022 in Python 模組/套件推薦 , Python 程式設計 - 高階 by Amo Chen ‐ 8 min read
上一篇 零經驗也可的 PySpark 教學 - 初體驗 ，我們透過 Docker 輕易地體驗到 PySpark 的功能，利用 PySpark 將 CSV 資料載入 DataFrame ，再將 DataFrame 轉成 temporary view 後，我們就能夠使用 SQL 對資料進行操作，過程相當輕鬆寫意。
不過 DataFrame 提供相當多的 API, 讓開發者能夠像操作 ORM(Object Relational Mapping) 一樣進行開發，可說是 PySpark 學習過程必須學會的一環，本篇將介紹更多關於 DataFrame 的相關操作，包含 SELECT, FILTER, JOIN, UNION 等常用的功能。
Last updated on Dec 16, 2022 in Python 模組/套件推薦 , Python 程式設計 - 高階 by Amo Chen ‐ 6 min read
Python 內將函數的參數分為 keyword argument 以及 positional argument, 這 2 者的差異在官方文件中有清楚說明，同時這 2 種分別支援單星號 * 與雙星號 ** 的用法，是 Python 開發者一定要熟知的用法。
本文將詳細介紹說明。
Posted on Sep 19, 2022 in Python 程式設計 - 初階 by Amo Chen ‐ 4 min read
Python collections 模組提供多個方便的類別(class)供開發者利用，其中 Counter 類別（dict 的子類別）可以應用在計數(counting)相關的場景：
本文將介紹 Counter 類別的使用方式，並比較其與 dict 與 defaultdict 之間的效能差異。
Posted on Apr 19, 2022 in Python 程式設計 - 初階 by Amo Chen ‐ 3 min read
現今後端(backend)儲存解決方案相較於以往多了許多選擇，從傳統的硬碟儲存到現代各式各樣的雲端儲存服務，例如 AWS S3, Google Cloud Storage, Azure Blob Storage 甚至 HDFS(Hadoop Distributed File System) 等等，因此開發過程不免都會遇到需要整合雲端儲存方案的問題，與其重新發明輪胎，不如選擇 1 套簡單易用而且通吃各家服務的套件，不僅省事還能有效增加開發效率。
所以，你需要 smart_open 的幫忙！
Posted on Feb 12, 2022 in Python 模組/套件推薦 by Amo Chen ‐ 3 min read