LM Studio 可在本地運行各種 LLM 大語言模型的免費工具,支援多作業系統

LM Studio 是一款可讓 Windows、Mac、Linux 電腦本地運行的 AI 聊天機器人軟體,支援各大 LLMs 大語言模型,可直接在軟體中搜尋並下載模型,操作簡單且也有各種進階設定,如果你想要在本地使用類似 ChatGPT 的聊天機器人,這款相當推薦。

重點摘要

  • 所有 LLMs 大型語言模型都能用這軟體跑
  • 已整合 Hugging Face,可直接在軟體內安裝模型
  • 提供詳細的模型參數設置
  • 所有聊天數據都保存在本地,不會上傳到伺服器

你可能感興趣:

目錄

完全免費使用嗎?

是的,所有功能都是完全免費使用,模型也能直接從 Hugging Face 下載,對於台灣用戶來說,唯一缺點就是還不支援中文介面,目前只有英文,但這點用習慣就好。

安全性如何?

LM Studio 是相當知名的本地運行聊天機器人軟體,並標榜不會收集和監控用戶的使用數據,所有數據資料都會保存在本地,免費、商業用途都可以。

所以說,可以完全放心使用,你的數據資料不會被記錄下來。

最低硬體要求

Apple 電腦部份僅支援 Silicon 處理器:

  • M1、M2、M3,macOS 作業系統需要 13.6 版本以上

Windows 和 Linux 電腦:

  • 支援 AVX2 處理器以上
  • 推薦使用 16GB 記憶體以上
  • 支援 NVIDIA、AMD 顯卡,推薦使用 6GB 以上的 VRAM

如果覺得這篇對你有幫助,歡迎贊助一杯咖啡支持我的寫文動力

LM Studio 使用教學

LM Studio 的介面對於新手來說,可能會覺得複雜,因此建議一開始單純聊天就好,設定先不用去管它,等到你覺得真的不夠用了,如:覺得回答不夠有創意、回答內容有點短等等,再開始調整一些設置。

取得 LM Studio

1. 下載適合你的版本

點擊上方連結進到官網後,就能看到 Mac、Windows 和 Linux 版本的載點:
LM Sutdio

2. 下載你想嘗試的模型

軟體首頁會出現一些熱門模型的說明,你可以直接從這邊下載,或是搜尋你想要使用的模型名字:
本地運行聊天機器人的軟體

像我想要嘗試 Google Gemma AI 模型,就在搜尋框輸入 gemma 並按 Go:
搜尋 Google Gemma AI 模型

它就會在 Hugging Face 中尋找符合的結果,如果有很多,不知道該選哪一個,可直接找最多人下載、收藏的那一個,通常會顯示在搜尋結果第一個:
下載 Google Gemma AI

另外要注意是,每個模型的檔案都很大,所以要確保電腦空間夠用。

底部會顯示下載進度:
下載 Google Gemma AI

3. 開始使用聊天機器人

下載完成後,進到 AI 聊天選單,打開上方的「Select a model to load」選單,就能看到你下載好的模型名稱:
本地運行聊天機器人

讀取好後,就會進到類似 ChatGPT 的畫面,左側為聊天紀錄,右邊則是聊天內容:
本地運行 Google Gemma AI 模型聊天機器人

Google Gemma AI 支援中文回覆,不知道用哪一個模型的人,可以玩玩看這一個:
Google Gemma AI 聊天機器人

4. 設定模型參數

當你已經熟悉介面後,就可以開始慢慢嘗試各種進階設定,設定選單位於右側,像是在 Hardware Settings 中,你可以調整 GPU 的用量,想要速度快一點,就調高:
聊天機器人進階設定

Inference Parameters 可找到 Temperature、Tokens 等數值,如果你想要回答內容更有創意、更天馬行空,可將 Temperature 調高一點,數值越低回答會越謹慎:
聊天機器人進階設定

Google Gemma AI 最大支援到 8192 tokens,預設是 2048 tokens,想要回答內容長一點,就把這數值調到最高,點擊 8192 tokes 就會自動將 Context Lenth 設定成 8192:
Google Gemma AI 聊天機器人進階設定

如何使用 AI 聊天機器人

使用 AI 聊天機器人的方法有很多種,對於初學者來說,可以先問一些比較簡單的問題,像是你打算去日本旅遊,想知道有沒有什麼需要注意的事情:
本地運行 AI 聊天機器人

或是請它把外文翻譯成繁體中文:
本地運行 AI 聊天機器人

還有一些生活上的問題:
本地運行 AI 聊天機器人

如何刪除已下載的模型

打開左側的 My Model 選單,就能找到你下載過的所有模型,按右邊的紅色垃圾桶圖示即可刪除:
刪除 LM Studio 已下載的模型

著名 LLMs 開源大型語言模型清單

以下是幾個比較著名的大型語言模型,基本上都能在 Huggin Face 找到,意味著從 LM Studio 軟體內即可安裝取得。

Mistral 系列

  • Mistral 7B
  • Dolphin Mistral 7B
  • Mixtral 8x7B
  • Mediatek Breeze 7B:繁體中文模型,基於Mistral 7B 開發
  • Chinese Mixtral Instruct:簡體中文模型,基於 Mistral 8x7B 開發

LLaMA 系列

  • LLaMA 7B
  • LLaMA 2 7B
  • LLaMA 2 13B
  • LLaMA 2 70B
  • WizardLM

Gemma 系列

  • Google Gemma 7B
  • Google Gemma 2B

如果覺得這篇對你有幫助,歡迎贊助一杯咖啡支持我的寫文動力

總結

LM Studio 算是一款非常簡單在本地運行的 AI 聊天機器人,功能也相當齊全,很推薦大家試試。不過下載模型的過程中,要小心電腦容量夠不夠,每一個模型至少都是 4GB 以上,有些甚至達到 10GB。

發佈留言