好影片推薦 — Let's build the GPT Tokenizer
覺得我們的內容實用嗎？ MyApollo 電子報讀者募集中！歡迎訂閱電子報!
“Let’s build the GPT Tokenizer” 是由前特斯拉 AI 部門高級總監 Andrej Karpathy 所錄製，全長 2 小時多，教你從頭到尾認識 GPT Tokenizer 的運作原理與實作，也讓我們知道它在大語言模型訓練中所扮演的角色以及為什麼語言模型對於簡單數學、拼單字等不在行、為什麼無法做到簡單的字串處理（例如反轉字串）等等，這一切都是因為 Tokenizer!
p.s. Tokenizer 其實也會影響語言模型的生成能力，譬如 GPT-2 進化到 GPT-4 的過程，對 Tokenizer 的改善，也最終改善 Python 程式碼生成能力不佳的缺點。
