如何在 Google Colab 上執行 Ollama

最近在研究 AutoGen 時有個奇想—「要是可以在 Google Colab 裝 Ollama 的話，不知道有多方便？」

想不到一查還真的有辦法可以在 Google Colab 執行 Ollama。

本文將分享如何在 Google Colab 上執行 Ollama 的詳細步驟。

本文環境 #

• Google Colab

Google Colab 上執行 Ollama #

目前在 localhost 執行 Ollama 需要：

• 至少 16G RAM（視語言模型而有不同）
• 至少 5G 硬碟空間（視語言模型而有不同）

如果硬體條件不足，就很難在 localhost 執行 Ollama 與語言模型做開發，所以使用 Google Colab 執行 Ollama 與一些較小的語言模型（例如 Phi3, Llama）的話，很適合沒有合適硬體條件的開發者。

以下是如何在 Google Colab 執行 Ollama 的步驟。

修改 Colab Runtime Type #

由於 Ollama 支援大部分的 Nvidia GPU 以提升執行效能（詳細支援清單），所以我們可以把 Colab 的 runtime type 改為 T4 GPU 提升效能，以下是設定步驟：

p.s. 不設定此步驟也可以，只是語言模型的執行速度會變很慢

用 colab-xterm 在 Google Colab 上安裝 Ollama #

如果想在 Google Colab 上執行 Ollama，首先就需要將 Ollama 安裝好，不過 Ollama 並無法透過 pip 指令進行安裝，所以我們需要先安裝 colab-xterm，讓我們可以在 Colab 上打開終端機(terminal)，藉此執行安裝 Ollama 的指令，在 Colab 的 Code block 輸入以下指令安裝 colab-xterm：

!pip install colab-xterm

例如：

啟用 colab-xterm #

安裝完 colab-xterm 之後，必須在 Colab 上啟用該 extension，在 Colab 的 Code block 輸入以下指令啟用 colab-xterm：

%load_ext colabxterm

在 Colab 打開終端機(terminal) #

打開終端機的指令如下：

%xterm

成功的話，就可以看到類似以下的終端機畫面：

在終端機輸入 Ollama 安裝指令 #

$ curl -fsSL https://ollama.com/install.sh | sh

安裝完成之後，終端機就有 ollama 指令可以使用。

執行 Ollama #

有模型之後，就可以執行 ollama 提供服務，以下是執行 ollama 的指令：

$ ollama serve &

在終端機下載合適的語言模型 #

接著，用 ollama 指令下載需要的語言模型，例如 Llama 3.1 8B，輸入以下指令（下載需要一段時間）：

$ ollama pull llama3

其他語言模型的下載名稱請參考 Ollama Models 頁面。

如果想知道目前安裝哪些語言模型的話，輸入以下指令：

$ ollama list

如果想刪除語言模型的話，則可以輸入以下指令：

$ ollama rm <語言模型名稱>

測試 Ollama 是否正常運作 #

最後，我們可以在 Colab 安裝 LangChain，準備測試用 LangChain 使用 Ollama:

!pip install langchain
!pip install langchain-core
!pip install langchain-community

安裝 LangChain 之後，用以下程式碼測試是否能夠正常使用 Ollama：

from langchain_community.llms import Ollama
llm = Ollama(model = "llama3")
r = llm.invoke("Tell me a joke")
print(r)

總結 #

以上就是如何在 Colab 執行 Ollama 的方法！

更多關於 Ollama 怎麼使用的方法，可以參考五分鐘上手 Ollama - 在本機跑 LLM 語言模型一文！

Enjoy!

References #

How to Run Ollama Llama3 LLM on Google Colab using colab-xterm

ollama