- 發表日期:
LM Studio 是一款可讓 Windows、Mac、Linux 電腦本地運行的 AI 聊天機器人軟體,支援各大 LLMs 大語言模型,可直接在軟體中搜尋並下載模型,操作簡單且也有各種進階設定,如果你想要在本地使用類似 ChatGPT 的聊天機器人,這款相當推薦。
重點摘要
- 所有 LLMs 大型語言模型都能用這軟體跑
- 已整合 Hugging Face,可直接在軟體內安裝模型
- 提供詳細的模型參數設置
- 所有聊天數據都保存在本地,不會上傳到伺服器
你可能感興趣:
目錄
完全免費使用嗎?
是的,所有功能都是完全免費使用,模型也能直接從 Hugging Face 下載,對於台灣用戶來說,唯一缺點就是還不支援中文介面,目前只有英文,但這點用習慣就好。
安全性如何?
LM Studio 是相當知名的本地運行聊天機器人軟體,並標榜不會收集和監控用戶的使用數據,所有數據資料都會保存在本地,免費、商業用途都可以。
所以說,可以完全放心使用,你的數據資料不會被記錄下來。
最低硬體要求
Apple 電腦部份僅支援 Silicon 處理器:
- M1、M2、M3,macOS 作業系統需要 13.6 版本以上
Windows 和 Linux 電腦:
- 支援 AVX2 處理器以上
- 推薦使用 16GB 記憶體以上
- 支援 NVIDIA、AMD 顯卡,推薦使用 6GB 以上的 VRAM
如果覺得這篇對你有幫助,歡迎贊助一杯咖啡支持我的寫文動力
LM Studio 使用教學
LM Studio 的介面對於新手來說,可能會覺得複雜,因此建議一開始單純聊天就好,設定先不用去管它,等到你覺得真的不夠用了,如:覺得回答不夠有創意、回答內容有點短等等,再開始調整一些設置。
1. 下載適合你的版本
點擊上方連結進到官網後,就能看到 Mac、Windows 和 Linux 版本的載點:
2. 下載你想嘗試的模型
軟體首頁會出現一些熱門模型的說明,你可以直接從這邊下載,或是搜尋你想要使用的模型名字:
像我想要嘗試 Google Gemma AI 模型,就在搜尋框輸入 gemma 並按 Go:
它就會在 Hugging Face 中尋找符合的結果,如果有很多,不知道該選哪一個,可直接找最多人下載、收藏的那一個,通常會顯示在搜尋結果第一個:
另外要注意是,每個模型的檔案都很大,所以要確保電腦空間夠用。
底部會顯示下載進度:
3. 開始使用聊天機器人
下載完成後,進到 AI 聊天選單,打開上方的「Select a model to load」選單,就能看到你下載好的模型名稱:
讀取好後,就會進到類似 ChatGPT 的畫面,左側為聊天紀錄,右邊則是聊天內容:
Google Gemma AI 支援中文回覆,不知道用哪一個模型的人,可以玩玩看這一個:
4. 設定模型參數
當你已經熟悉介面後,就可以開始慢慢嘗試各種進階設定,設定選單位於右側,像是在 Hardware Settings 中,你可以調整 GPU 的用量,想要速度快一點,就調高:
Inference Parameters 可找到 Temperature、Tokens 等數值,如果你想要回答內容更有創意、更天馬行空,可將 Temperature 調高一點,數值越低回答會越謹慎:
Google Gemma AI 最大支援到 8192 tokens,預設是 2048 tokens,想要回答內容長一點,就把這數值調到最高,點擊 8192 tokes 就會自動將 Context Lenth 設定成 8192:
如何使用 AI 聊天機器人
使用 AI 聊天機器人的方法有很多種,對於初學者來說,可以先問一些比較簡單的問題,像是你打算去日本旅遊,想知道有沒有什麼需要注意的事情:
或是請它把外文翻譯成繁體中文:
還有一些生活上的問題:
如何刪除已下載的模型
打開左側的 My Model 選單,就能找到你下載過的所有模型,按右邊的紅色垃圾桶圖示即可刪除:
著名 LLMs 開源大型語言模型清單
以下是幾個比較著名的大型語言模型,基本上都能在 Huggin Face 找到,意味著從 LM Studio 軟體內即可安裝取得。
Mistral 系列
- Mistral 7B
- Dolphin Mistral 7B
- Mixtral 8x7B
- Mediatek Breeze 7B:繁體中文模型,基於Mistral 7B 開發
- Chinese Mixtral Instruct:簡體中文模型,基於 Mistral 8x7B 開發
LLaMA 系列
- LLaMA 7B
- LLaMA 2 7B
- LLaMA 2 13B
- LLaMA 2 70B
- WizardLM
Gemma 系列
- Google Gemma 7B
- Google Gemma 2B
如果覺得這篇對你有幫助,歡迎贊助一杯咖啡支持我的寫文動力
總結
LM Studio 算是一款非常簡單在本地運行的 AI 聊天機器人,功能也相當齊全,很推薦大家試試。不過下載模型的過程中,要小心電腦容量夠不夠,每一個模型至少都是 4GB 以上,有些甚至達到 10GB。