輕鬆本地免 VPN 免連線免費任用 ChatGPT

Edmond Yip -

之前曾經教大家在 Local 運行一些 LLM 用以 offline 取代 ChatGPT，但有不少人還是覺得 ChatGPT 最好，非 ChatGPT 不可，也覺得其他 LLM 沒 ChatGPT 好用。今次 OpenAI 正好 open source 了一個全新的 LLM - gpt-oss。

gpt-oss 可以在本地部署，也不用 VPN 及 連線，也不用 OpenAI account，完完全全的免費任用 ChatGPT！

最最最簡單的方式就是使用 Ollama 安裝，Ollama 更新後變得超簡單，由我簡單介紹一下安裝方法。

安裝 Ollama

  1. 下載 MacOS/Windows/Linux 版本的 Ollama。
  2. 下載後直接打開 Ollama 界面。
Download Ollama on macOS
Download Ollama for macOS
  1. 選擇 Model，普通電腦建議 gpt-oss:20b。
選擇 Model
  1. 在對話框隨意輸入一些文字，然後就會自動下載 Model。
gpt-oss:120b 要足足 60GB!!
  1. 可以開始對話！
輕鬆駕馭廣東話

效能比較

那麼 gpt-oss 的效能跟現有 ChatGPT 比較如何呢？

gpt-oss coding 效能比較圖

大家可以當作使用 gpt-oss:120b 版本的話效能跟 ChatGPT 04-mini 差不多，gpt-oss:20b 會弱一點，但是我使用 Macbook Pro M1 也能輕鬆運行，官方也建議有 16GB ram 足以運行 20b，如果要順暢運行 120b 版本最好就有 64GB ram 了。