LangChain 作為 1 個框架，讓開發者可以很輕鬆地開發語言模型相關的應用，不過語言模型還是有其極限，有些功能仍須仰賴傳統的程式設計、機器學習等領域，譬如語音辨識、語音合成等等，所幸這些功能可以藉由 Hugging Face 等平台輕鬆實現。
本文將教導如何使用 Hugging Face 上的模型，並結合 LangChain 做出可以用英文對話的機器人，讓語言模型的應用跨出文字以外的領域！
Posted on Mar 20, 2024 in LangChain , Python 程式設計 - 高階 by Amo Chen ‐ 7 min read
“Let’s build the GPT Tokenizer” 是由前特斯拉 AI 部門高級總監 Andrej Karpathy 所錄製，全長 2 小時多，教你從頭到尾認識 GPT Tokenizer 的運作原理與實作，
Posted on Mar 19, 2024 by Amo Chen ‐ 1 min read
自然語言處理(NLP, Natural Language Processing)與機器學習(machine learning)的相關技術中，有 1 個稱為 Tokenization （或稱斷詞）。該技術是
Posted on Mar 18, 2024 by Amo Chen ‐ 1 min read
“Roadmap to Learn AI in 2024” 1 文彙整學習人工智能與機器學習可以從哪些人、書、論文、電子報等資源著手，整理的相當完整，如果你對人工智能與
Posted on Mar 17, 2024 by Amo Chen ‐ 1 min read
俗話說的好，工欲善其事，必先利其器！ 特別是每天工作在用的 git, 絕對要調整幾個能讓自己工作更順手的設定！ “Popular git config options” 1 文分
Posted on Mar 16, 2024 by Amo Chen ‐ 1 min read
作為軟體開發者，你開始發想任何語言模型可以應用的領域了嗎？
如果你沒有任何想法，也許可以先看看怎麼藉由語言模型，讓我們可以用對話方式，就能夠自動對資料庫執行 SQL 進行查詢，而且過程中完全不需要寫任何 SQL 喔！
也許看完本文，你會對語言模型的應用想像會有更清楚的畫面！
Posted on Mar 14, 2024 in LangChain , Python 程式設計 - 高階 by Amo Chen ‐ 5 min read
在使用 multiprocessing, threading 等模組跑平行處理時，如果需要在每個執行單位(process, thread)列印一些字串的話，你會怎麼做？
我想大多數人都直接 print() 到 terminal 就好，但是輸出的文字太多太長時，通常都沒有太大助益，這時候最好將輸出寫到檔案，一旦有問題就可以從檔案中尋找問題。
但是，我們多數時候還是想知道執行單位最新的運作狀態，例如正在執行哪個步驟，這些輸出一直附加到 terminal 上的話，不免還是會讓 terminal 顯得難看⋯⋯。
因此，本文將介紹 1 種方法讓平行處理的輸出可以清掉舊的輸出(output)，並覆蓋新的輸出(output)上去，如此一來不僅可以知道每個執行單位的最新狀況，還可以讓 terminal 顯得乾淨、優雅！
Posted on Mar 13, 2024 in Python 程式設計 - 中階 by Amo Chen ‐ 2 min read
Embedding 資料庫，顧名思義是專門儲存/檢索 embedding 的資料庫，其實也是一種向量資料庫(vector database)。 Embedding 資料庫對於以語言模型為核心的 RAG(Retrieval-Augmented Generation) 應用
Posted on Mar 13, 2024 by Amo Chen ‐ 1 min read