AI孫燕姿翻唱爆火，多虧這個開源專案！廣西老錶帶頭打造，上手指南已出

AI孫燕姿這麼快翻唱了這麼多首歌，到底是咋實現的？

關鍵在於一個開源專案。

最近，這波AI翻唱趨勢大火，不僅是AI孫燕姿唱的歌越來越多，AI歌手的範圍也在擴大，就連製作教學都層出不窮了。

而如果在各大教程中溜達一圈後就會發現，其中的關鍵秘訣，還是要靠一個名為so-vits-svc的開源專案。

它提供了一種音色替換的辦法，專案在今年3月發布。

貢獻成員應該大部分都來自國內，其中貢獻量最高的還是一位玩明日方舟的廣西老表。

如今，專案已經停止更新了，但星標數量還在蹭蹭上漲，目前已經到了8.4k。

所以它到底實現了哪些技術能引爆這波趨勢？

一起來看。

多虧了一個開源專案

這個專案名叫SoftVC VITS Singing Voice Conversion（歌聲轉換）。

它提供了一種音色轉換演算法，採用SoftVC內容編碼器提取來源音頻語音特徵，然後將向量直接輸入VITS，中間不轉換成文本，從而保留了音高和語調。

此外，也將聲碼器改為NSF HiFiGAN，可以解決聲音中斷的問題。

具體分為以下幾步：

• 預訓練模型
• 準備資料集
• 預處理
• 訓練
• 推理

#其中，預訓練模型這一步是關鍵之一，因為專案本身不提供任何音色的音訊訓練模型，所以如果你想要做一個新的AI歌手出來，需要自己訓練模型。

而預訓練模型的第一步，就是準備幹聲，也就是無音樂的純人聲。

很多部落客使用的工具都是UVR_v5.5.0。

推特部落客@歸藏介紹說，在處理前最好把聲音格式轉成WAV格式，因為So-VITS-SVC 4.0只認這個格式，方便後面處理。

想要效果好一些，需要處理兩次背景音，每次的設定不同，能最大限度提升幹聲品質。

得到處理好的音訊後，需要進行一些預處理操作。

例如音訊太長容易爆顯存，需要對音訊切片，建議5-15秒或再長一點也OK。

然後要重新取樣到44100Hz和單聲道，並自動將資料集分割為訓練集和驗證集，產生設定檔。再生成Hubert和f0。

接下來就能開始訓練和推理了。

具體的步驟可以移步GitHub專案頁查看（指路文末）。

值得一提的是，這個計畫在今年3月上線，目前貢獻者有25位。從貢獻用戶的簡介來看，很多應該都來自國內。

據說專案剛上線時也有不少漏洞並且需要編程，但是後面幾乎每一天都有人在更新和修補，現在的使用門檻已經降低了不少。

目前專案已經停止更新了，但還是有一些開發者創建了新的分支，例如有人做出了支援即時轉換的客戶端。

專案貢獻量最多的一位開發者是Miuzarte，從簡介位址判斷應該來自廣西。

隨著想要上手使用的人越來越多，也有不少部落客推出了上手難度更低、更詳細的食用指南。

歸藏推薦的方法是使用整合包來推理（使用模型）和訓練，還有B站的Jack-Cui展示了Windows下的步驟指南（https://www.bilibili .com/read/cv22375562）。

要注意的是，模型訓練對顯示卡需求還是比較高的，顯存小於6G容易出現各類問題。

Jack-Cui建議使用N卡，他用RTX 2060 S，訓練自己的模型大概花了14個小時。

訓練資料也同樣關鍵，越多高品質音頻，就代表最後效果可以越好。

還是會擔心版權問題

值得一提的是，在so-vits-svc的項目主頁上，著重強調了版權問題。

警告：請自行解決資料集的授權問題。因使用未經授權的資料集進行訓練而產生的任何問題及其一切後果，由您自行承擔責任。儲存庫及其維護者、svc開發團隊，與生成結果無關!

#這和AI畫畫爆火時有點相似。

因為AI生成內容的最初資料取材自人類作品，在版權上的爭論不絕於耳。

而且隨著AI作品盛行，已經有版權方出手下架平台上的影片了。

據了解，一首AI合成的《Heart on My Sleeve》在Tik Tok上爆火，它合成了Drake和Weekend演唱的版本。

但隨後，Drake和Weekend的唱片公司環球音樂將這個視頻從平台上下架了，並在聲明裡向潛在的仿冒者發問，“是要站在藝術家、粉絲和人類創造性表達的一邊，還是站在Deepfake、詐欺和拒付藝人賠償的一邊？」

此外，歌手Drake對AI合成翻唱歌曲表達了不滿。

而另一邊，也有人選擇擁抱這項技術。

加拿大歌手Grimes表示，她願意讓別人用自己的聲音合成歌曲，但要給她一半版權費。

GitHub網址：https://github.com/svc-develop-team/so-vits-svc

以上是AI孫燕姿翻唱爆火，多虧這個開源專案！廣西老錶帶頭打造，上手指南已出的詳細內容。更多資訊請關注PHP中文網其他相關文章！