想用 AI 處理資料但又不想把檔案傳到雲端,或者單純不想每個月一直繳訂閱費,很多人就會開始研究「本地 AI」。講到本地 AI,Ollama 可說是最常被點名的工具之一,只是不少人對它的第一印象就是全黑的指令視窗,一看就被嚇退。
先講結論:Ollama 能讓你在自己電腦上下載並執行開源 AI 模型,個人使用完全免費,而且現在也已經有官方桌面 App 可以直接點選聊天。如果你偏好更完整的圖形介面、習慣像逛商店一樣點幾下挑模型,LM Studio 會更好上手。硬體門檻方面,8GB 記憶體只能勉強跑小模型,想順暢使用建議至少 16GB 以上。下面就從硬體需求、安裝步驟、常用指令,到跟 LM Studio 差在哪以及 11434 連接埠的安全風險,一次幫大家整理清楚。
Ollama 是什麼?本地 AI 有什麼好處
簡單來說,Ollama 就是一個負責在電腦上執行 AI 模型的引擎工具,它會把開源模型整個下載到你的硬碟裡,之後所有的對話運算都在你自己的電腦上完成:
圖片來源:Ollama 官方網站
和大家平常在用的 ChatGPT 這類雲端服務相比,兩者主要的差別如下:
| 比較項目 | 本地 AI(Ollama) | 雲端 AI(ChatGPT 等) |
|---|---|---|
| 隱私 | 資料留在自己電腦 | 資料傳到業者 |
| 費用 | 軟體免費,靠自己的硬體 | 免費版有限制,付費按月 |
| 離線使用 | 模型下載後可以 | 不行 |
| 模型能力 | 看硬體,通常較弱 | 最新的大模型 |
| 速度 | 看顯示卡和記憶體 | 看伺服器和網路 |
想先了解雲端服務在隱私上有哪些地方要注意,可以閱讀 AI 聊天機器人安全嗎。
電腦要多強才跑得動?
這是玩本地 AI 最常被問到的問題,關鍵其實就看你的記憶體容量。模型越大,需要的記憶體就越多。
模型名稱裡常見的「B」代表參數量,例如 4B 就是 40 億個參數。一般來說數字越大代表模型越聰明,但同時也越吃記憶體和硬碟空間。下表的模型例子和容量取自 Ollama 模型庫(2026 年 11 月),容量指的是預設版本的檔案大小:
| 記憶體 | 適合的參數量 | 模型例子 | 單一模型約佔硬碟 | 使用感受 |
|---|---|---|---|---|
| 8GB | 4B 以下 | Qwen 3.5 4B、Llama 3.2 3B、DeepSeek-R1 1.5B | 1〜4GB | 可以試,複雜任務較慢 |
| 16GB | 7B〜12B | Qwen 3.5 9B、Gemma 4 12B、DeepSeek-R1 8B | 5〜8GB | 日常問答、翻譯較順 |
| 32GB 以上 | 14B〜32B | Qwen 3.8 27B、Gemma 4 31B、DeepSeek-R1 32B | 9〜20GB | 較接近雲端體驗 |
這裡要注意,電腦記憶體一定要比模型檔案本身大上不少,因為作業系統和其他背景程式也在吃記憶體。也就是說,8GB 的電腦扣掉系統基本開銷後,能分給模型的空間非常有限,因此才只建議跑 4B 以下的小模型。
另外順便說明一下,Llama 系列在 Ollama 上目前最新的是 Llama 4,但最小的版本檔案也要 67GB,一般家用電腦根本跑不動,所以表格裡放的是較輕量的 Llama 3.2;而 DeepSeek 最新的 V4 在 Ollama 上目前只有雲端版,能直接下載在本機跑的是 DeepSeek-R1。
如果你的電腦有獨立顯示卡(主要看顯卡記憶體 VRAM),或是使用 Apple M 系列晶片的 Mac,生成速度通常會快非常多。當然實際流暢度還是會受到模型大小和壓縮方式影響,剛入門建議從小模型開始試跑最準。
硬碟容量也要記得多留一點,抓幾個模型下來很快就會累積到好幾十 GB。模型預設會存在使用者資料夾底下的「.ollama」資料夾,如果想換到空間比較大的硬碟,只要打開桌面 App 的 Settings 找到 Model location,按 Browse 挑新的資料夾位置就行:
如果是 Windows 用戶遇到 C 槽空間快滿了,建議先清理 C 槽,或直接把模型改存到其他硬碟。
Ollama 安裝教學
下載這類執行環境務必從官網抓最安全,整個安裝和啟用流程其實幾分鐘就能搞定:
- 打開 ollama.com,選好 macOS 或 Windows 後,點「Download manually」下載一般安裝檔;網頁上直接顯示的那串指令主要是給習慣用終端機的人用的:

圖片來源:Ollama 官方網站 - 照著畫面指示完成安裝。系統需求部分,Mac 需要 macOS 14 Sonoma 以上,Windows 則需要 Windows 10 22H2 以上。
- 打開 Ollama 桌面 App,點一下輸入框右下角的模型名稱就能挑模型。有顯示下載圖示的代表還沒抓下來的本機模型;如果是雲朵圖示、而且名稱結尾寫著「:cloud」的則是雲端模型:

- 第一次選用某個本機模型時會先自動下載,依模型檔案大小不同,大概要等幾分鐘或更久才會抓完。
這一點要特別看清楚:結尾是「:cloud」的雲端模型是在 Ollama 的伺服器上跑運算,這意味著你的對話內容一樣會傳出去。想讓所有機密資料百分百留在自己電腦裡,務必認明選用本機模型。
如果想用終端機指令來操作管理,基本語法就是輸入 ollama run 加上模型名稱。由於開源模型更新速度很快,確切的模型名稱可以直接去官網的模型庫查當下推薦的版本:
圖片來源:Ollama 官方網站
Ollama 常用指令
如果會用指令的話,管理模型其實非常快。Mac 打開「終端機」,Windows 打開 PowerShell 或命令提示字元,常用的就這 5 個指令:
| 指令 | 用途 | 範例與說明 |
|---|---|---|
ollama run 模型名稱 | 下載模型(第一次)並開始對話 | ollama run gemma4ollama run qwen3.5:4b |
ollama list | 列出已下載的模型和大小 | 也可以簡寫成 ollama ls |
ollama rm 模型名稱 | 刪除模型,釋放硬碟空間 | ollama rm qwen3.5:4b |
ollama ps | 查看正在執行、佔用記憶體的模型 | PROCESSOR 欄看是用 GPU 還是 CPU |
/bye | 結束對話,回到指令列 | 在對話的 >>> 後面輸入 |
第一次執行 ollama run 時會自動開始下載模型,畫面上會清楚顯示下載進度、檔案大小和預估剩餘時間:
下載完成後就會直接進到對話模式,在 >>> 後面打字提問就能聊,想結束對話離開只要輸入 /bye:
平常用 ollama list 可以隨時看電腦裡裝了哪些模型、各佔多少硬碟空間。其中 SIZE 顯示「-」、名稱結尾為 :cloud 的就是雲端模型,並不會佔用你的硬碟:
硬碟空間不夠時,用 ollama rm 加上完整模型名稱就能刪掉,看到畫面上出現 deleted 就代表空間已經釋放出來了:
想檢查電腦跑不跑得動,可以用 ollama ps 看正在記憶體裡執行的模型。如果 PROCESSOR 這欄顯示 100% GPU,代表全部都靠顯示卡在算,速度會最順;要是一旦出現 CPU,意味著顯卡或記憶體裝不下、有一部分挪去系統記憶體算了,跑起來就會慢一些:
不想打指令:桌面 App 和網頁介面
如果看到終端機就頭痛,完全沒關係。現在 Ollama 官方已經有提供桌面 App(支援 Mac 和 Windows),打開就是一個乾淨的聊天視窗,選好模型直接打字就能對話,日常使用根本不用碰指令:
此外,很多人也會把 Ollama 當成單純的背景引擎,操作介面交給其他更強的工具,最常見的有這兩種搭配:
- Open WebUI: 一套開源的網頁操作介面,畫面長得非常像 ChatGPT,能一次管理多個模型和歷史對話紀錄。需要另外透過 Docker 或 Python 安裝,比較適合願意多花一點時間折騰設定的人。
- Page Assist: 直接裝在瀏覽器裡的擴充功能,支援 Chrome、Edge、Brave 和 Firefox。裝好後平常逛網頁時,就能直接從側邊欄叫出本機模型幫你讀網頁或問問題。
Ollama 和 LM Studio 差在哪?
這兩款都是目前在本機跑 AI 模型最熱門的工具,核心都能跑類似的開源模型,主要差在使用習慣:
| 比較項目 | Ollama | LM Studio |
|---|---|---|
| 介面 | 桌面 App 可直接聊天,進階功能用指令 | 圖形介面,有模型瀏覽器 |
| 上手 | 聊天簡單,管理模型要熟悉一點指令 | 新手較容易 |
| 適合 | 接其他程式、長時間運作 | 瀏覽和測試模型 |
| 本地 API | 有 | 有 |
至於網路上常有人比這兩款誰的速度比較快,老實說各種測試說法不一,實際跑起來的快慢主要還是取決於你挑的模型版本跟電腦硬體設定,選工具時不用太糾結這點。
如果是完全沒碰過本地 AI 的純新手,建議可以先試試 LM Studio,操作介紹可以閱讀 LM Studio 教學;想讓它直接讀取你電腦裡的 PDF 或文件來問答,也可以參考另一篇 LM Studio 讀取本地文件:
圖片來源:LM Studio 官方網站
如果想順便比較其他同類型的本地 AI 工具,站上以前還介紹過 Jan 介紹和 GPT4All 介紹,想單獨在電腦跑 Gemma 模型也可以參考另一篇 Google Gemma 本地安裝教學。
不過先提醒一下,這三篇文章是寫於 2024 年,裡面的介面截圖和版本號比較舊。目前 Jan 依然持續在更新;GPT4All 從 2025 年 2 月的 3.10 版之後就沒有再推出新版;至於 Gemma 已經出到第 4 代,現在直接在 Ollama 輸入 ollama run gemma4 就能下載來跑了。
本地 AI 可以拿來做什麼
雖然能力比不上最頂級的雲端大模型,但本機跑 AI 在很多日常情境其實非常實用:
- 處理敏感或機密文件: 拿來幫忙摘要合約重點、整理會議紀錄,資料完全不用上傳給第三方雲端業者。
- 離線翻譯和潤稿: 出差搭飛機或人在沒網路的地方,打開電腦一樣能拿來翻譯或改寫文字。
- 輔助寫程式: 搭配 VS Code 這類編輯器外掛,當作免費的本地寫程式助手。
- 動手學習測試 AI: 可以自由切換不同參數、不同團隊開源的模型,實際感受之間的差異。
唯一要注意的是,本地模型跟雲端 AI 一樣會有一本正經胡說八道(幻覺)的時候,而且預設不會自己上網查最新消息,遇到重要數據或結論還是要自己核對過。
本地 AI 真的安全嗎?
大家選擇本地 AI 最大的誘因就是「不用把對話傳給業者」,但這不代表裝好就百分百安全,下面這幾點一樣要特別留意:
- 模型和工具的來源: 軟體務必從官方網站抓,模型也只從可信的官方模型庫下載。
- 11434 連接埠風險: 千萬不要隨便把 Ollama 的 API 開放到網際網路上,原因下面馬上說明。
- 小心外掛和代理工具: 如果你接了能直接操作電腦檔案或執行指令的 AI 代理,操作風險會高非常多,相關風險評估可以閱讀 OpenClaw 是什麼。
很多人不知道這件事:Ollama 在背景執行時,預設會在電腦的 11434 連接埠開一個本地 API 給其他程式呼叫,而且這個 API 完全不需要帳號密碼。平時預設只限你這台電腦自己連得到,所以一般使用不會有問題。
但如果你在設定裡打開了「Expose Ollama to the network」,或是自己改過 OLLAMA_HOST 讓區網其他裝置連進來,同時又在路由器上設定了連接埠轉發,這就意味著全網際網路的人都能直接連進你家的 Ollama。陌生人不僅能免費拿你的顯示卡算力去跑模型、看光你裝了哪些模型,甚至還能直接把你的模型刪光。
這並不是危言聳聽的假設,2026 年初就有資安公司在網路上直接掃出約 17.5 萬台對外公開的 Ollama 主機。所以平常沒必要千萬不要隨便開放對外連線,同時也要記得把 Ollama 更新到最新版。
至於要不要開 VPN?一般只在自己電腦上跑本地 AI 時,所有運算都在本機完成,開 VPN 沒有任何幫助也不需要開。只有當你出門在外、真的需要連回家裡電腦上的 Ollama 來用時,才建議用 VPN 連回自家網路,千萬不要貪方便直接對外開連接埠,具體做法可以閱讀 NAS VPN 連回家教學。
什麼情況不建議用本地 AI?
老實說,本地 AI 並不是每個人都適合,如果你符合下面這幾種狀況,直接用雲端 AI 會省事非常多:
- 電腦只有 8GB 記憶體,卻又想要又快又聰明的流暢體驗。
- 工作需要搜尋最新即時資訊,或是處理非常複雜的長篇推理任務。
- 只是偶爾想到才問幾個簡單問題,本身也沒那麼在意隱私。
這些情境直接交給現成的雲端服務效率高得多,怎麼挑可以參考另一篇 ChatGPT、Gemini、Claude 比較。
總結
現在要在自己電腦跑本地 AI 其實已經非常友善,Ollama 不只提供免打指令的官方桌面 App,個人使用完全免費,對想把合約、敏感資料留在自己硬碟裡的人來說相當實用。硬體上建議至少準備 16GB 以上記憶體跑 7B〜12B 模型,日常問答和翻譯的體感才會順暢。
如果剛入門喜歡介面漂亮、想多比較測試各種開源模型,可以先從 LM Studio 開始;如果是打算搭配其他外掛工具、或者習慣用指令快速切換管理,Ollama 會更適合。最後也別忘了,除非自己搭 VPN 連回家,否則絕對不要把 11434 連接埠直接對外網開放。
常見問題
Ollama 要錢嗎?
在自己電腦上跑本機模型是完全免費的,模型庫裡多數開源模型也能免費下載,不過每個模型都有各自的授權條款,如果要拿來做商業用途記得先看清楚。Ollama 另外也有提供免佔自己硬碟的雲端模型,採按用量計費,並有每月 20 美元起的 Pro 方案,但只要你只跑本機模型就一毛錢都不用付。
沒有顯示卡可以跑嗎?
可以跑,只是沒有獨立顯卡時會自動改用 CPU 來算,生成速度就會慢上不少。建議先從小模型試試看速度能不能接受,覺得合用再考慮升級硬體。
中文能力好嗎?
這完全看你挑哪一個模型。目前熱門的新模型大多都能看懂中文並用中文對答,不過很多開源模型預設還是會回簡體中文,例如直接用繁體中文問 Qwen,它往往還是回你簡體字:
想要讓它穩定輸出繁體中文,最簡單的方法是在問題裡順手加上一句「請用繁體中文回答」,或是多測試幾款不同模型挑選語氣最順的。
Ollama 會把我的對話傳出去嗎?
只要你選用的是下載在電腦裡的本機模型就不會,官方明確說明本機執行時他們完全看不到你的對話內容。但如果你在選單裡點了名稱結尾是 :cloud 的雲端模型,對話就會送到 Ollama 的伺服器處理(官方表示不會保存或記錄內容)。
Mac 和 Windows 哪個比較適合?
各有優勢,Apple M 系列晶片因為採用統一記憶體架構,很適合直接拿來塞大模型;Windows 電腦則主要看你獨立顯示卡的記憶體(VRAM)夠不夠大。建議先用手邊現有的電腦安裝跑看看就好,完全不用一開始就為了跑本地 AI 特地去換新電腦。
