Molmo 是由美國艾倫人工智慧研究所 Ai2 於 2024 年 9 月 25 日推出的一系列開源多模態 AI 模型。能同時處理文字與圖像資訊，實現對視覺資料的理解與互動，並具備指示功能，能在圖像中指出特定元素。
跟其他 AI 模型一樣，Molmo 系列有非常多參數規模的版本，如：Molmo-1B、Molmo-7B、Molmo-7B-D 和 Molmo-72B 等，而在 Ai2 開發的線上 Playground 中，可直接免費使用，無需部署在本地。
Molmo-72B 模型在多項學術基準測試和人類評估中，表現都相當出色，甚至超越一些知名模型，如：Claude 3.5 和 Gemini 1.5 Pro。
Molmo 主要功能
- 支援多模態：能同時處理文字與圖像資訊。
- 指示功能：擁有能指出圖像裡特定元素的能力。
- 高效訓練與運行：使用高品質且規模適中的訓練資料集 PixMo。
- 開源與可擴展性：提供完整的模型權重、訓練資料和原始碼，允許開發者根據需求進行調整與應用。
- Ai2 Playground 還提供其他模型：除了自家的 Molmo，還有 Llama 405B、OLMo 2 32B 可免費使用。
Molmo 是免費的嗎
是的，Molmo 完全開源，除了能部署在本地之外，也可以直接前往 Ai2 Playground 網站體驗。
Molmo 支援哪些平台
- 網頁版：可至 Ai2 自家的 Playground 網站使用。
- 雲端平台：如 AWS、Google Cloud、Azure 等。
- 本地伺服器或工作站：適用於具備 GPU 的本地計算環境。
- 個人裝置：如筆記型電腦，特別是 Molmo-1B 模型，設計輕量，適合在硬體效能的裝置上運行。
Molmo 使用技巧
- 在需要與圖像元素互動的應用中，可嘗試使用 Molmo 的指示功能。
- 跟 Molmo 聊天時，需要搭配圖片才行，每一個聊天室只能上傳一張，但可以一直針對這張圖片詢問下去。
- 可以要求用中文回覆，但因為主要訓練數據是英文，因此某些單詞可能會突然改用英文。
- 單純只需要文字聊天的話，建議改用 Llama 和 OLMo。
- Ai2 Playground 不用註冊就能用，如果你只是想體驗，可以先不要，但覺得不錯的話，註冊帳號可以保存你的聊天紀錄。
Molmo 支援的語言有哪些
Ai2 Playground 目前介面只有英文，線上版 Molmo 模型雖然支援多國語言，也能理解中文，但回覆部份的中文能力不是那麼好。
本地部署的話，開發者可以根據需求來擴展，添加繁體中文的支援性。
Molmo 缺點
- 語言支援有限：預設主要為英文，對其他語言的支援性較差，特別是回覆。
- 單一聊天室只能上傳一張圖片：目前沒辦法上傳多張圖片一次詢問，對使用來說有所限制。
- 多模態僅支援圖片：現階段只能上傳圖片，其他檔案不支援，也沒有語音轉文字功能。
Rocky
曾任職於各大科技網站編輯，目前也是電腦王阿達資深編輯，接觸科技已經長達 10 年，熱愛將一些新科技、知識、和經驗分享給所有人。目前居住在日本，老婆是日本人，偶爾也會分享一些日本生活內容。