跳至文章內容
Rockyhsu.VPN & DIGITAL TOOLS

READ & EXPLORE / 實用分享

Ollama 是什麼?【2026】本地 AI 安裝教學、跟 LM Studio 差在哪、電腦要多強

Rockyhsu
更新於 2026.11.20
開始閱讀 ↓
Ollama 在電腦上執行本地 AI 模型的示意圖,旁邊有記憶體、顯示卡與處理器
AI 工具 · Rockyhsu

想用 AI 處理資料但又不想把檔案傳到雲端,或者單純不想每個月一直繳訂閱費,很多人就會開始研究「本地 AI」。講到本地 AI,Ollama 可說是最常被點名的工具之一,只是不少人對它的第一印象就是全黑的指令視窗,一看就被嚇退。

先講結論:Ollama 能讓你在自己電腦上下載並執行開源 AI 模型,個人使用完全免費,而且現在也已經有官方桌面 App 可以直接點選聊天。如果你偏好更完整的圖形介面、習慣像逛商店一樣點幾下挑模型,LM Studio 會更好上手。硬體門檻方面,8GB 記憶體只能勉強跑小模型,想順暢使用建議至少 16GB 以上。下面就從硬體需求、安裝步驟、常用指令,到跟 LM Studio 差在哪以及 11434 連接埠的安全風險,一次幫大家整理清楚。

Ollama 是什麼?本地 AI 有什麼好處

簡單來說,Ollama 就是一個負責在電腦上執行 AI 模型的引擎工具,它會把開源模型整個下載到你的硬碟裡,之後所有的對話運算都在你自己的電腦上完成:
Ollama 官網首頁,說明可以在本機或雲端執行開源模型
圖片來源:Ollama 官方網站

和大家平常在用的 ChatGPT 這類雲端服務相比,兩者主要的差別如下:

比較項目本地 AI(Ollama)雲端 AI(ChatGPT 等)
隱私資料留在自己電腦資料傳到業者
費用軟體免費,靠自己的硬體免費版有限制,付費按月
離線使用模型下載後可以不行
模型能力看硬體,通常較弱最新的大模型
速度看顯示卡和記憶體看伺服器和網路

想先了解雲端服務在隱私上有哪些地方要注意,可以閱讀 AI 聊天機器人安全嗎。

電腦要多強才跑得動?

這是玩本地 AI 最常被問到的問題,關鍵其實就看你的記憶體容量。模型越大,需要的記憶體就越多。

模型名稱裡常見的「B」代表參數量,例如 4B 就是 40 億個參數。一般來說數字越大代表模型越聰明,但同時也越吃記憶體和硬碟空間。下表的模型例子和容量取自 Ollama 模型庫(2026 年 11 月),容量指的是預設版本的檔案大小:

記憶體適合的參數量模型例子單一模型約佔硬碟使用感受
8GB4B 以下Qwen 3.5 4B、Llama 3.2 3B、DeepSeek-R1 1.5B1〜4GB可以試,複雜任務較慢
16GB7B〜12BQwen 3.5 9B、Gemma 4 12B、DeepSeek-R1 8B5〜8GB日常問答、翻譯較順
32GB 以上14B〜32BQwen 3.8 27B、Gemma 4 31B、DeepSeek-R1 32B9〜20GB較接近雲端體驗

這裡要注意,電腦記憶體一定要比模型檔案本身大上不少,因為作業系統和其他背景程式也在吃記憶體。也就是說,8GB 的電腦扣掉系統基本開銷後,能分給模型的空間非常有限,因此才只建議跑 4B 以下的小模型。

另外順便說明一下,Llama 系列在 Ollama 上目前最新的是 Llama 4,但最小的版本檔案也要 67GB,一般家用電腦根本跑不動,所以表格裡放的是較輕量的 Llama 3.2;而 DeepSeek 最新的 V4 在 Ollama 上目前只有雲端版,能直接下載在本機跑的是 DeepSeek-R1。

如果你的電腦有獨立顯示卡(主要看顯卡記憶體 VRAM),或是使用 Apple M 系列晶片的 Mac,生成速度通常會快非常多。當然實際流暢度還是會受到模型大小和壓縮方式影響,剛入門建議從小模型開始試跑最準。

硬碟容量也要記得多留一點,抓幾個模型下來很快就會累積到好幾十 GB。模型預設會存在使用者資料夾底下的「.ollama」資料夾,如果想換到空間比較大的硬碟,只要打開桌面 App 的 Settings 找到 Model location,按 Browse 挑新的資料夾位置就行:
Ollama 桌面 App 設定頁的 Model location 欄位與 Browse 按鈕,上方另有 Expose Ollama to the network 開關

如果是 Windows 用戶遇到 C 槽空間快滿了,建議先清理 C 槽,或直接把模型改存到其他硬碟。

Ollama 安裝教學

下載這類執行環境務必從官網抓最安全,整個安裝和啟用流程其實幾分鐘就能搞定:

  1. 打開 ollama.com,選好 macOS 或 Windows 後,點「Download manually」下載一般安裝檔;網頁上直接顯示的那串指令主要是給習慣用終端機的人用的:
    Ollama 官網下載頁,可切換 macOS、Linux、Windows 的安裝方式
    圖片來源:Ollama 官方網站
  2. 照著畫面指示完成安裝。系統需求部分,Mac 需要 macOS 14 Sonoma 以上,Windows 則需要 Windows 10 22H2 以上。
  3. 打開 Ollama 桌面 App,點一下輸入框右下角的模型名稱就能挑模型。有顯示下載圖示的代表還沒抓下來的本機模型;如果是雲朵圖示、而且名稱結尾寫著「:cloud」的則是雲端模型:
    Ollama 桌面 App 的模型選單,列出 qwen3.5、gemma4 等本機模型與結尾為 cloud 的雲端模型
  4. 第一次選用某個本機模型時會先自動下載,依模型檔案大小不同,大概要等幾分鐘或更久才會抓完。

這一點要特別看清楚:結尾是「:cloud」的雲端模型是在 Ollama 的伺服器上跑運算,這意味著你的對話內容一樣會傳出去。想讓所有機密資料百分百留在自己電腦裡,務必認明選用本機模型。

如果想用終端機指令來操作管理,基本語法就是輸入 ollama run 加上模型名稱。由於開源模型更新速度很快,確切的模型名稱可以直接去官網的模型庫查當下推薦的版本:
Ollama 官網模型庫,可以搜尋模型並依 Local、Cloud 篩選
圖片來源:Ollama 官方網站

Ollama 常用指令

如果會用指令的話,管理模型其實非常快。Mac 打開「終端機」,Windows 打開 PowerShell 或命令提示字元,常用的就這 5 個指令:

指令用途範例與說明
ollama run 模型名稱下載模型(第一次)並開始對話ollama run gemma4
ollama run qwen3.5:4b
ollama list列出已下載的模型和大小也可以簡寫成 ollama ls
ollama rm 模型名稱刪除模型,釋放硬碟空間ollama rm qwen3.5:4b
ollama ps查看正在執行、佔用記憶體的模型PROCESSOR 欄看是用 GPU 還是 CPU
/bye結束對話,回到指令列在對話的 >>> 後面輸入

第一次執行 ollama run 時會自動開始下載模型,畫面上會清楚顯示下載進度、檔案大小和預估剩餘時間:
終端機執行 ollama run mimo-v2.6,顯示模型下載進度、8.7 GB 檔案大小與剩餘時間

下載完成後就會直接進到對話模式,在 >>> 後面打字提問就能聊,想結束對話離開只要輸入 /bye:
模型下載完成後在終端機的 >>> 提示後輸入「您好」,模型用中文回覆

平常用 ollama list 可以隨時看電腦裡裝了哪些模型、各佔多少硬碟空間。其中 SIZE 顯示「-」、名稱結尾為 :cloud 的就是雲端模型,並不會佔用你的硬碟:
ollama list 列出 mimo-v2.6、qwen3.8:27b 等模型名稱、ID、大小與修改時間

硬碟空間不夠時,用 ollama rm 加上完整模型名稱就能刪掉,看到畫面上出現 deleted 就代表空間已經釋放出來了:
終端機執行 ollama rm mimo-v2.6:latest 後顯示 deleted,模型已被刪除

想檢查電腦跑不跑得動,可以用 ollama ps 看正在記憶體裡執行的模型。如果 PROCESSOR 這欄顯示 100% GPU,代表全部都靠顯示卡在算,速度會最順;要是一旦出現 CPU,意味著顯卡或記憶體裝不下、有一部分挪去系統記憶體算了,跑起來就會慢一些:
ollama ps 顯示 translategemma:27b 佔 17 GB、PROCESSOR 為 100% GPU

不想打指令:桌面 App 和網頁介面

如果看到終端機就頭痛,完全沒關係。現在 Ollama 官方已經有提供桌面 App(支援 Mac 和 Windows),打開就是一個乾淨的聊天視窗,選好模型直接打字就能對話,日常使用根本不用碰指令:
Ollama Mac 桌面 App 的聊天首頁,中央是訊息輸入框和 qwen3.8:27b 模型選單

此外,很多人也會把 Ollama 當成單純的背景引擎,操作介面交給其他更強的工具,最常見的有這兩種搭配:

  • Open WebUI: 一套開源的網頁操作介面,畫面長得非常像 ChatGPT,能一次管理多個模型和歷史對話紀錄。需要另外透過 Docker 或 Python 安裝,比較適合願意多花一點時間折騰設定的人。
  • Page Assist: 直接裝在瀏覽器裡的擴充功能,支援 Chrome、Edge、Brave 和 Firefox。裝好後平常逛網頁時,就能直接從側邊欄叫出本機模型幫你讀網頁或問問題。

Ollama 和 LM Studio 差在哪?

這兩款都是目前在本機跑 AI 模型最熱門的工具,核心都能跑類似的開源模型,主要差在使用習慣:

比較項目OllamaLM Studio
介面桌面 App 可直接聊天,進階功能用指令圖形介面,有模型瀏覽器
上手聊天簡單,管理模型要熟悉一點指令新手較容易
適合接其他程式、長時間運作瀏覽和測試模型
本地 API有有

至於網路上常有人比這兩款誰的速度比較快,老實說各種測試說法不一,實際跑起來的快慢主要還是取決於你挑的模型版本跟電腦硬體設定,選工具時不用太糾結這點。

如果是完全沒碰過本地 AI 的純新手,建議可以先試試 LM Studio,操作介紹可以閱讀 LM Studio 教學;想讓它直接讀取你電腦裡的 PDF 或文件來問答,也可以參考另一篇 LM Studio 讀取本地文件:
LM Studio 官網首頁與桌面 App 的圖形介面
圖片來源:LM Studio 官方網站

如果想順便比較其他同類型的本地 AI 工具,站上以前還介紹過 Jan 介紹和 GPT4All 介紹,想單獨在電腦跑 Gemma 模型也可以參考另一篇 Google Gemma 本地安裝教學。

不過先提醒一下,這三篇文章是寫於 2024 年,裡面的介面截圖和版本號比較舊。目前 Jan 依然持續在更新;GPT4All 從 2025 年 2 月的 3.10 版之後就沒有再推出新版;至於 Gemma 已經出到第 4 代,現在直接在 Ollama 輸入 ollama run gemma4 就能下載來跑了。

本地 AI 可以拿來做什麼

雖然能力比不上最頂級的雲端大模型,但本機跑 AI 在很多日常情境其實非常實用:

  • 處理敏感或機密文件: 拿來幫忙摘要合約重點、整理會議紀錄,資料完全不用上傳給第三方雲端業者。
  • 離線翻譯和潤稿: 出差搭飛機或人在沒網路的地方,打開電腦一樣能拿來翻譯或改寫文字。
  • 輔助寫程式: 搭配 VS Code 這類編輯器外掛,當作免費的本地寫程式助手。
  • 動手學習測試 AI: 可以自由切換不同參數、不同團隊開源的模型,實際感受之間的差異。

唯一要注意的是,本地模型跟雲端 AI 一樣會有一本正經胡說八道(幻覺)的時候,而且預設不會自己上網查最新消息,遇到重要數據或結論還是要自己核對過。

本地 AI 真的安全嗎?

大家選擇本地 AI 最大的誘因就是「不用把對話傳給業者」,但這不代表裝好就百分百安全,下面這幾點一樣要特別留意:

  • 模型和工具的來源: 軟體務必從官方網站抓,模型也只從可信的官方模型庫下載。
  • 11434 連接埠風險: 千萬不要隨便把 Ollama 的 API 開放到網際網路上,原因下面馬上說明。
  • 小心外掛和代理工具: 如果你接了能直接操作電腦檔案或執行指令的 AI 代理,操作風險會高非常多,相關風險評估可以閱讀 OpenClaw 是什麼。

很多人不知道這件事:Ollama 在背景執行時,預設會在電腦的 11434 連接埠開一個本地 API 給其他程式呼叫,而且這個 API 完全不需要帳號密碼。平時預設只限你這台電腦自己連得到,所以一般使用不會有問題。

但如果你在設定裡打開了「Expose Ollama to the network」,或是自己改過 OLLAMA_HOST 讓區網其他裝置連進來,同時又在路由器上設定了連接埠轉發,這就意味著全網際網路的人都能直接連進你家的 Ollama。陌生人不僅能免費拿你的顯示卡算力去跑模型、看光你裝了哪些模型,甚至還能直接把你的模型刪光。

這並不是危言聳聽的假設,2026 年初就有資安公司在網路上直接掃出約 17.5 萬台對外公開的 Ollama 主機。所以平常沒必要千萬不要隨便開放對外連線,同時也要記得把 Ollama 更新到最新版。

至於要不要開 VPN?一般只在自己電腦上跑本地 AI 時,所有運算都在本機完成,開 VPN 沒有任何幫助也不需要開。只有當你出門在外、真的需要連回家裡電腦上的 Ollama 來用時,才建議用 VPN 連回自家網路,千萬不要貪方便直接對外開連接埠,具體做法可以閱讀 NAS VPN 連回家教學。

什麼情況不建議用本地 AI?

老實說,本地 AI 並不是每個人都適合,如果你符合下面這幾種狀況,直接用雲端 AI 會省事非常多:

  • 電腦只有 8GB 記憶體,卻又想要又快又聰明的流暢體驗。
  • 工作需要搜尋最新即時資訊,或是處理非常複雜的長篇推理任務。
  • 只是偶爾想到才問幾個簡單問題,本身也沒那麼在意隱私。

這些情境直接交給現成的雲端服務效率高得多,怎麼挑可以參考另一篇 ChatGPT、Gemini、Claude 比較。

總結

現在要在自己電腦跑本地 AI 其實已經非常友善,Ollama 不只提供免打指令的官方桌面 App,個人使用完全免費,對想把合約、敏感資料留在自己硬碟裡的人來說相當實用。硬體上建議至少準備 16GB 以上記憶體跑 7B〜12B 模型,日常問答和翻譯的體感才會順暢。

如果剛入門喜歡介面漂亮、想多比較測試各種開源模型,可以先從 LM Studio 開始;如果是打算搭配其他外掛工具、或者習慣用指令快速切換管理,Ollama 會更適合。最後也別忘了,除非自己搭 VPN 連回家,否則絕對不要把 11434 連接埠直接對外網開放。

常見問題

Ollama 要錢嗎?

在自己電腦上跑本機模型是完全免費的,模型庫裡多數開源模型也能免費下載,不過每個模型都有各自的授權條款,如果要拿來做商業用途記得先看清楚。Ollama 另外也有提供免佔自己硬碟的雲端模型,採按用量計費,並有每月 20 美元起的 Pro 方案,但只要你只跑本機模型就一毛錢都不用付。

沒有顯示卡可以跑嗎?

可以跑,只是沒有獨立顯卡時會自動改用 CPU 來算,生成速度就會慢上不少。建議先從小模型試試看速度能不能接受,覺得合用再考慮升級硬體。

中文能力好嗎?

這完全看你挑哪一個模型。目前熱門的新模型大多都能看懂中文並用中文對答,不過很多開源模型預設還是會回簡體中文,例如直接用繁體中文問 Qwen,它往往還是回你簡體字:
在 Ollama 用繁體中文問 qwen3.8:27b「你是什麼模型」,模型以簡體中文回答

想要讓它穩定輸出繁體中文,最簡單的方法是在問題裡順手加上一句「請用繁體中文回答」,或是多測試幾款不同模型挑選語氣最順的。

Ollama 會把我的對話傳出去嗎?

只要你選用的是下載在電腦裡的本機模型就不會,官方明確說明本機執行時他們完全看不到你的對話內容。但如果你在選單裡點了名稱結尾是 :cloud 的雲端模型,對話就會送到 Ollama 的伺服器處理(官方表示不會保存或記錄內容)。

Mac 和 Windows 哪個比較適合?

各有優勢,Apple M 系列晶片因為採用統一記憶體架構,很適合直接拿來塞大模型;Windows 電腦則主要看你獨立顯示卡的記憶體(VRAM)夠不夠大。建議先用手邊現有的電腦安裝跑看看就好,完全不用一開始就為了跑本地 AI 特地去換新電腦。

搜尋站內文章