Jan 號稱 ChatGPT 替代品的開源工具，離線就能使用

相較於 LM Studio 和 GPT4All，我還蠻喜歡 Jan 的介面設計，操作還蠻直覺的，也不會讓人有功能過多，好像有點複雜的感受。

雖然說支援所有 LLMs 大型語言模型，但它沒有串接最新版的 Hugging Face，因此很多新模型都無法直接在軟體中找到，需要另外下載並匯入。

試用 Jan

1. 下載安裝檔

點擊上方連結進到 GitHub 專案頁面後，往下滑找到 Download 專區，然後下載你的作業系統版本，建議選 Stable 穩定版，Experimental 實驗版雖然能搶先用到新功能，但穩定度比較差。macOS 記得選對你裝置的處理器版本，是 Intel 還是 Apple Silicon：

2. 下載或匯入模型

我以 Windows 版為例，下載好後無需安裝，點兩下打開就能開始使用，不過一開始沒有任何模型，點左側的四個框框的圖示，即可進到 LLMs 模型庫：

搜尋你想要使用的 LLM 大型語言模型，像我安裝油Google 推出的 Gemma 模型，7B 或 2B 差異在參數數量，數字越大參數越多，效能也越強，但相對檔案更大、更要求電腦硬體。找到你要用的 AI 模型後，按右邊的 Download 下載：

如果你要的模型找不到，也能手動匯入（GGUF 格式）。我找最近國科會推出的 TAIDE 模型就沒有，因此我改成手動匯入，按搜尋欄位旁的 Import Model，把 Model 檔案拖曳進來即可：

會問你要保留原始檔（僅創建連結），還是把模型檔移動到 Jan 資料夾中，這就看你要用哪一個：

3. 開始跟 AI 聊天

接著回到聊天介面，打開右邊的選單即可找到剛剛安裝好的模型：

輸入你想要詢問的事情，就能開始聊天了：

右邊也有一些設定能調整，像是 Inference Parameters 可找到 Temperature、Top P、Max Tokens 等等，不知道是幹嘛用的，可以將滑鼠移動到右邊的驚嘆號，會跳出說明：

也能設置 Prompt：

4. 使用 GPT-4

如果你也想要在 Jan 中使用 OpenAI 的 GPT-4，輸入 OpenAI API Key 就能做到，不過這是需要另外付費的，按照 Tokens 計算。

打開設定選單，點 OpenAI Inference Engine 後，就能找到 API Key 的輸入欄位：

接著打開模型選單，選 Remote，往下滑就能找到 GPT-4 或 GPT-3.5：