LangChain 怎麼玩?用 LangServe 架個 API 伺服器吧!
打造語言模型相關應用,總不能要求使用者都要透過網路下載/更新語言模型,畢竟每個使用者的硬體條件不一,包含 CPU / GPU / 記憶體 / 硬碟容量都可能需要滿足一定條件,才能夠執行語言模型,而且語言模型作為競爭力核心,無法輕易開放他人下載使用,也是一種商業考量。
綜觀而言,將語言模型的功能透過 API 方式開放,是 1 個相當合理的選項,不僅使用者不需要滿足硬體條件,又可以保護開發者的商業競爭力。
LangChain 自然也有提供將語言模型轉回 API 服務的能力,該功能/套件稱為 LangServe 。
本文將教學如何使用 LangServe 將語言模型轉為 API 服務!
Last updated on Jul 25, 2024 in LangChain , Python 程式設計 - 高階 by Amo Chen ‐ 9 min read