Amo Chen

好影片推薦 — Let's build the GPT Tokenizer

“Let’s build the GPT Tokenizer” 是由前特斯拉 AI 部門高級總監 Andrej Karpathy 所錄製，全長 2 小時多，教你從頭到尾認識 GPT Tokenizer 的運作原理與實作，

Posted on Mar 19, 2024 by Amo Chen ‐ 1 min read

自然語言處理(NLP, Natural Language Processing)與機器學習(machine learning)的相關技術中，有 1 個稱為 Tokenization （或稱斷詞）。該技術是

Posted on Mar 18, 2024 by Amo Chen ‐ 1 min read

“Roadmap to Learn AI in 2024” 1 文彙整學習人工智能與機器學習可以從哪些人、書、論文、電子報等資源著手，整理的相當完整，如果你對人工智能與

Posted on Mar 17, 2024 by Amo Chen ‐ 1 min read

俗話說的好，工欲善其事，必先利其器！特別是每天工作在用的 git, 絕對要調整幾個能讓自己工作更順手的設定！ “Popular git config options” 1 文分

Posted on Mar 16, 2024 by Amo Chen ‐ 1 min read

作為軟體開發者，你開始發想任何語言模型可以應用的領域了嗎？

如果你沒有任何想法，也許可以先看看怎麼藉由語言模型，讓我們可以用對話方式，就能夠自動對資料庫執行 SQL 進行查詢，而且過程中完全不需要寫任何 SQL 喔！

也許看完本文，你會對語言模型的應用想像會有更清楚的畫面！

Posted on Mar 14, 2024 in LangChain , Python 程式設計 - 高階 by Amo Chen ‐ 5 min read

在使用 multiprocessing, threading 等模組跑平行處理時，如果需要在每個執行單位(process, thread)列印一些字串的話，你會怎麼做？

我想大多數人都直接 print() 到 terminal 就好，但是輸出的文字太多太長時，通常都沒有太大助益，這時候最好將輸出寫到檔案，一旦有問題就可以從檔案中尋找問題。

但是，我們多數時候還是想知道執行單位最新的運作狀態，例如正在執行哪個步驟，這些輸出一直附加到 terminal 上的話，不免還是會讓 terminal 顯得難看⋯⋯。

因此，本文將介紹 1 種方法讓平行處理的輸出可以清掉舊的輸出(output)，並覆蓋新的輸出(output)上去，如此一來不僅可以知道每個執行單位的最新狀況，還可以讓 terminal 顯得乾淨、優雅！

Posted on Mar 13, 2024 in Python 程式設計 - 中階 by Amo Chen ‐ 2 min read

Embedding 資料庫，顧名思義是專門儲存/檢索 embedding 的資料庫，其實也是一種向量資料庫(vector database)。 Embedding 資料庫對於以語言模型為核心的 RAG(Retrieval-Augmented Generation) 應用

Posted on Mar 13, 2024 by Amo Chen ‐ 1 min read

“A search engine in 80 lines of Python” 1 文分享怎麼用 80 行的 Python 程式碼做出搜尋引擎（含簡單的前端介面）。其實搜尋在 AI 時代還是扮演很重要的角色，有時候我直

Posted on Mar 12, 2024 by Amo Chen ‐ 2 min read