好文分享 — What Every Developer Should Know About GPU Computing

絕大多數人學習程式的過程其實都是跟 CPU 打交道,所以對 CPU 的運作也比較熟悉。

不過近年來大數據分析、機器學習、人工智能相關應用的興起,使用 CPU 進行運算顯得捉襟見肘,原因是 CPU 適合 sequential 指令,也就是 1 個接著 1 個執行指令的情境,而且 CPU 的許多設計也都是為這種情境所設計,所以對於先做 A 再做 B 這種情況相當具有效率,但以大數據分析、機器學習、人工智能相關應用來說,通常會遇到大量以向量為主的運算,不僅可能向量長,還可能有超多個向量要做運算,這種情況下用 CPU 進行運算就效率較差。

而 GPU 的設計就是為了極大程度做平行運算(parallelism),所以 GPU 很適合做向量運算,以向量加法為例,例如長度 256 個元素的向量,它可以分配給 256 個 threads 同時進行加法運算,相較於使用 CPU 來說,真的超級快!

如果想有個清楚的想像,可以參考流言終結者主持人在 2009 年做的 CPU 與 GPU 的比較影片


“What Every Developer Should Know About GPU Computing” 一文整理了 CPU 與 GPU 的架構差異之外,同時也以 1 個程式的角度讓我們看到 CPU 與 GPU 到底是怎麼協作的,其中 GPU 有個被稱為 Single Instruction Multiple Threads (SIMT) 就是與 CPU SIMD (Single Instruction Multiple Data) 相似的機制(我們先前介紹過),讓 GPU 可以讓多個 threads 同時執行同 1 個指令(例如加法),這就是 GPU 平行運算的秘密之一。

總的來說,就算你的工作不會接觸到 GPU, “What Every Developer Should Know About GPU Computing” 也是相當值得推薦的概念文章!

What Every Developer Should Know About GPU Computing

FOLLOW US

對抗久坐職業傷害

研究指出每天增加 2 小時坐著的時間,會增加大腸癌、心臟疾病、肺癌的風險,也造成肩頸、腰背疼痛等常見問題。

然而對抗這些問題,卻只需要工作時定期休息跟伸展身體即可!

你想輕鬆改變現狀嗎?試試看我們的 PomodoRoll 番茄鐘吧! PomodoRoll 番茄鐘會根據你所設定的專注時間,定期建議你 1 項辦公族適用的伸展運動,幫助你打敗久坐所帶來的傷害!

贊助我們的創作

看完這篇文章了嗎? 休息一下,喝杯咖啡吧!

如果你覺得 MyApollo 有讓你獲得實用的資訊,希望能看到更多的技術分享,邀請你贊助我們一杯咖啡,讓我們有更多的動力與精力繼續提供高品質的文章,感謝你的支持!