Riffusion 是一款免費的 AI 音樂生成平台，於 2022 年 12 月由 Seth Forsgren 和 Hayk Martiros 開發，利用穩定擴散（Stable Diffusion）技術，將用戶輸入的文字提示轉換為聲譜圖，然後再透過傅立葉逆變換生成音樂，能即時創作出具有多樣風格的音樂片段。
這種方法特別擅長建立氛圍音樂、循環樂段 、音效和富有質感的背景音樂。
Riffusion 也是開源項目，意味著開發者可以自由訪問其模型權重、訓練資料和原始碼，並根據自身需求進行調整與應用。
更重要是，網頁版可無限量免費生成音樂，但無法商業用途，商用僅限付費版。
Riffusion 主要功能
- 文字生成音樂：使用者只需輸入簡單的文字描述，即可生成包含旋律和節奏的音樂片段。
- 圖片到音樂：
可上傳一張初始的聲譜圖（或任何圖片），並結合文字提示，讓 AI 根據視覺風格和結構基礎上生成新的音樂。 - 即時生成與編輯：支援即時音樂生成，並提供延伸、替換和重新混音等編輯功能。
- 多樣化音樂風格：支援多種音樂風格，包括爵士、放克、藍調等，滿足不同創作需求。
- 開源模型：Riffusion 的模型是開源的，意味著有技術能力的開發者可下載、修改、並將其集成到自己的項目中，或在本地進行無限制測試。
Riffusion 是免費的嗎
是的，Riffusion 可完全無限制的使用，要生成多少音樂都可以（基本生成），但僅限於個人使用。
如果你想要商業用途，或是獲得更多 Studio Hours，可以考慮升級到付費版，每月 6 美元起。
Riffusion 支援哪些平台
- 網頁版：透過瀏覽器即可進行音樂創作，無需額外安裝。
目前官方還沒有推出行動版 App，不過有消息指出，Riffusion 似乎會推出 iOS 版，Android 就不知道。
Riffusion 使用技巧
- 像描述圖片一樣描述音樂，如：使用 vibrant colors、smooth gradient、sharp jagged lines 等提示詞，這些會影響聲譜圖的紋理，進而影響音樂的質感。
- 生成音樂時，輸入具體的歌曲風格、主題和情緒描述，有助於 AI 生成更好的作品。
- 使用平台提供的編輯工具，對旋律、節奏和音效進行微調，進而提升音樂品質。
- 沒靈感時，可瀏覽其他使用者創作的音樂作品，也能學習到不同的創作技巧。
Riffusion 支援的語言有哪些
目前 Riffusion 介面只有英文，我測試中文提示詞會亂生成，代表說，提示詞也只能用英文。
Riffusion 缺點
- 語言限制：介面和提示詞都不支援中文，對於中文用戶來說使用上有一定難度。
- 免費版無法商用：免費帳號生成的音樂都無法商業用途，必須付費升級才行。
- 只有提供網頁版：雖然網頁版也有針對行動裝置優化，但如果有專屬的 App，操作體驗上一定更好，也能獲得一些 App 才能賦予的功能。
- 本地部署的技術門檻：雖然開源，但要在本地運行 Riffusion 需要較強的技術能力，像是熟悉 Python、PyTorch 等，硬體設備也不能太差。
類似 Riffusion 工具
Rocky
曾任職於各大科技網站編輯，目前也是電腦王阿達資深編輯，接觸科技已經長達 10 年，熱愛將一些新科技、知識、和經驗分享給所有人。目前居住在日本，老婆是日本人，偶爾也會分享一些日本生活內容。