Amo Chen

Codeium — GitHub Copilot 的競品

Codeium 是 1 個與 GitHub Copilot 功能相同的產品，兩者都提供 Code Autocomplete 的功能（包含 AI 助手），目前該公司已經進入 B 輪，可見其發展之迅速。 它最大的不同是： 提供個人免費使用

Posted on  Mar 8, 2024  by  Amo Chen  ‐ 1 min read

LangChain 怎麼玩？用 Document Loaders / Text Splitter 處理多種類型的資料

有一些 LLM 應用有提供上傳檔案並為使用者產生摘要、查詢答案的功能，譬如 ChatGPT Plus 與 ChatGPT Enterprise 可以上傳 PDF, CSV 檔等，除了能產生摘要、擷取重點資料之外，還可以進行一些數據分析，相當強大。

要做到這些強大的功能之前，有個前置作業是我們需要知道怎麼載入不同類型的資料，以及怎麼處理這些資料，而這些處理程序在 LangChain 的框架下，也有相對應的函式庫可以使用，並不需要從零開始打造。

本文將教導如何使用 LangChain 處理多種類型的資料。

Posted on  Mar 7, 2024  in  LangChain , Python 程式設計 - 高階  by  Amo Chen  ‐ 6 min read

LangChain 怎麼玩？為了荷包著想，管好你的 prompt 長度(size)

每 1 個語言模型都有其限制，而所有語言模型都會有的限制就是 tokens 上限，而 tokens 上限會影響能夠接受的 prompt 長度。

如果你使用的不是開源語言模型，那不控制 prompt 長度所帶來的影響還有伴隨而來的費用。

以 OpenAI 所提供的語言模型 GPT-4 為例，每輸入 1 百萬個 tokens 就需要收費 $30 美元，如果你的應用沒有注意使用者所輸入 prompt 長度，那你很可能會為不必要的 tokens 付出代價。

所以學會如何控制 prompt 長度也是一門重要的課題！因為會幫助你避免踩到語言模型的限制之外，也可以幫助你控制費用支出。

Posted on  Mar 5, 2024  in  LangChain , Python 程式設計 - 高階  by  Amo Chen  ‐ 5 min read

資安新聞 — 小心你用的 AI/ML models 有毒！

The Hacker News 報導知名的 AI/ML 資源平台 Hugging Face 上面查出多達 100 個惡意 AI/ML 模型，這些惡意模型的種類包含載入惡意的 pickle 檔案、開啟後門、執行任意程式等等，攻擊手法主要是

Posted on  Mar 4, 2024  by  Amo Chen  ‐ 1 min read

別再人工刻 Dockerfile 啦！用 Docker 新釋出的 docker init 指令吧！

Docker 官方近日釋出 1 個新的 docker 指令 — docker init , 這個指令會掃描你的 project folder 並且詢問一些問題之後，並自動產生相對應的 Dockerfile, compose.yaml, .dockerignore, README.Docker.md 4 個檔案，目前支援 Go, Node, Python, Rust, ASP.NET Core, PHP, Java

Posted on  Mar 2, 2024  by  Amo Chen  ‐ 1 min read

LangChain 怎麼玩？用 LangServe 架個 API 伺服器吧！

打造語言模型相關應用，總不能要求使用者都要透過網路下載/更新語言模型，畢竟每個使用者的硬體條件不一，包含 CPU / GPU / 記憶體 / 硬碟容量都可能需要滿足一定條件，才能夠執行語言模型，而且語言模型作為競爭力核心，無法輕易開放他人下載使用，也是一種商業考量。

綜觀而言，將語言模型的功能透過 API 方式開放，是 1 個相當合理的選項，不僅使用者不需要滿足硬體條件，又可以保護開發者的商業競爭力。

LangChain 自然也有提供將語言模型轉回 API 服務的能力，該功能/套件稱為 LangServe 。

本文將教學如何使用 LangServe 將語言模型轉為 API 服務！

Last updated on  Jul 25, 2024  in  LangChain , Python 程式設計 - 高階  by  Amo Chen  ‐ 9 min read