好文分享 — What Every Developer Should Know About GPU Computing
絕大多數人學習程式的過程其實都是跟 CPU 打交道，所以對 CPU 的運作也比較熟悉。
不過近年來大數據分析、機器學習、人工智能相關應用的興起，使用 CPU 進行運算顯得捉襟見肘，原因是 CPU 適合 sequential 指令，也就是 1 個接著 1 個執行指令的情境，而且 CPU 的許多設計也都是為這種情境所設計，所以對於先做 A 再做 B 這種情況相當具有效率，但以大數據分析、機器學習、人工智能相關應用來說，通常會遇到大量以向量為主的運算，不僅可能向量長，還可能有超多個向量要做運算，這種情況下用 CPU 進行運算就效率較差。
而 GPU 的設計就是為了極大程度做平行運算(parallelism)，所以 GPU 很適合做向量運算，以向量加法為例，例如長度 256 個元素的向量，它可以分配給 256 個 threads 同時進行加法運算，相較於使用 CPU 來說，真的超級快！
如果想有個清楚的想像，可以參考流言終結者主持人在 2009 年做的 CPU 與 GPU 的比較影片
“What Every Developer Should Know About GPU Computing” 一文整理了 CPU 與 GPU 的架構差異之外，同時也以 1 個程式的角度讓我們看到 CPU 與 GPU 到底是怎麼協作的，其中 GPU 有個被稱為 Single Instruction Multiple Threads (SIMT) 就是與 CPU SIMD (Single Instruction Multiple Data) 相似的機制（我們先前介紹過），讓 GPU 可以讓多個 threads 同時執行同 1 個指令（例如加法），這就是 GPU 平行運算的秘密之一。
總的來說，就算你的工作不會接觸到 GPU, “What Every Developer Should Know About GPU Computing” 也是相當值得推薦的概念文章！
