GPT4All 無需 GPU，用 CPU 就能在本地架設 LLMs 大型語言聊天機器人

GPT4All 是國外開發的專案，因此介面只有英文，不過如果你使用的模型支援中文的話，也能用中文聊天。操作上很簡單，就先下載你要用的模型，接著即可開始聊天。

取得 GPT4All

1. 安裝 GPT4All

點擊上方連結進到官網之後，就根據你的作業系統下載安裝檔，支援 Windows、Mac 和 Ubuntu。

首次打開會有隱私選項讓你選擇，看你要不要分享：

2. 下載模型

接著就選擇你要使用的模型，GPT4All 的更新速度還蠻快，Meta 剛推出的 Llama 3 已經有了，按右側的 Download 就會開始下載。另外下載前也要注意一下檔案大小，就算是比較少參數的模型，基本上也要 4GB 以上，多一點的參數甚至超過 10GB，所以記得確保電腦裡的空間足夠：

往下滑可找到 ChatGPT 3.5 Turo 和 ChatGPT 4 選項，把 OpenAI API Key 填在右側就能使用：

也支援搜尋功能，輸入關鍵字，可快速找到你要使用的模型，Google 推出的 Gemma 野蠻推薦試試，有 2B 和 7B 兩種，數字越大參數越多，效能也越強，但也越要求電腦硬體：

下載好的模型會變成 Remove，意味著未來不想要再使用這模型的話，就回到這頁面按 Remove 即可刪除：

3. 開始跟 AI 聊天

打開 Choose a model，列表就會顯示你已經下載好的模型，看你要用哪一個：

接著就能開始聊天，我測試 Llama 3 是聽的懂中文，但支援性還是沒有非常好，部份可以用中文，部份則不行，還是會用英文，有時候甚至會先用英文回，即便我用中文問：

像是「如何寫好一篇文章」，它就先用全英文回覆：

叫它改成中文，有些還是保留英文：

另外如果你的電腦裡有 GPU，這款就會自動改成 GPU 運行，不用進到設定調整：

4. 調整設定

設定中的 Application 選單可調整 CPU 執行緒使用數量，預設是 4 個，如果你覺得運行太慢的話，可以嘗試調高，但記得不要超過你電腦裡 CPU 執行緒的數量：