首頁  >  文章  >  科技週邊  >  以假亂真,天工音樂大模型帶來顛覆式AI體驗

以假亂真,天工音樂大模型帶來顛覆式AI體驗

王林
王林轉載
2024-04-03 21:25:102380瀏覽

昨日,崑崙萬維AI音樂生成大模型「天工SkyMusic」開啟了免費邀測活動。誠摯邀請媒體、業界專家以及有興趣的音樂從業者們共同體驗SOTA的音樂大模型產品。該產品能夠讓使用者產生身臨其境的體驗,同時共同體驗人聲情感表達。

邀請開始後,廣大用戶對「天工SkyMusic」AI音樂產生大模型的期望很高。工作人員在極短時間內收到了數十萬份測試申請,其中包括眾多專業的音樂創作人、媒體及行業專家。同時,也有大量測試申請源源不絕地發至後台。在申請中,包括眾多專業的音樂創作人、媒體及行業專家,還有大量的測試申請需要被源源不斷地篩選和審查。申請人中有許多是包括眾多專業的音樂創作人、媒體及行業專家的包括眾多專業的音樂創作人、媒體及行業專家,在測試過程中不斷提供寶貴的反饋和意見

#同時,我們也收到了大量來自用戶的真實反饋與高度評價:

“人聲很清晰抒情旋律也好”

“好聽!”

「這是天工做的??太厲害了!」

「《悟空》這首歌是唱氣息的,感情很到位,基本上代表了生成情感以假亂真的能力巔峰之作”

“天工SkyMusic在高音演唱技巧上超出我的想像,非常優秀。”

「太強了,1、AI音樂使用者群體非常大;2、生成的音樂可以重複使用;3、很容易做社交裂變」

「副歌部分真絲滑,Beat真好」

「沒想到中國團隊做的東西比國外的好」

以假亂真,天工音樂大模型帶來顛覆式AI體驗用戶AI音樂生成作品

廣大用戶的熱情回饋既然讓我們看到了業界對於「天工SkyMusic」AI音樂生成大模型的高度期待,也讓我們看到了在以「智力」為主的AGI大模型探索方向中,「情感AGI」的重要意義。

比較文字和圖片,音訊內容是理解人類情感最好的方式,而音樂又是人類情感表達最充沛、最不受地域和文化限制的內容載體,不論時代變幻,不論是戰爭還是災禍,人們總是能透過音樂傳遞自己的感受並獲得情感的慰藉。這是「天工SkyMusic」的創作初衷,也是崑崙萬維情感AGI持續探索的重要方向。

我們感謝所有積極參與並熱情回饋的使用者們,感謝你們的支持、鼓勵與陪伴,我們將持續迭代、優化、拓寬「天工SkyMusic」的能力邊界,讓模型具備更強的多模態情感理解與表達能力,為使用者帶來更優質的AI音樂體驗。

最後,我們很快就會給出「天工SkyMusic」音樂創作Prompt指南,並提供更多的AI音樂Demo與使用技巧,與用戶一同探索AI音樂的強大魅力!

關於「天工SkyMusic」與「天工3.0」

「天工SkyMusic」AI音樂生成大模型是基於崑崙萬維「天工3.0”超級大模型打造。 4月17日,「天工SkyMusic」將隨「天工3.0」同步開啟公測。

申請網頁:https://rg975ojk5z.feishu.cn/share/base/form/shrcnTcBRpGzv5Sx9xAGd5V97Md

「天工3.0」採用4千億級參數MoE混合專家模型,並將同步選擇開源,是全球模型參數最大、效能最強的MoE模型之一。相較於上一代「天工2.0」MoE大模型,「天工3.0」在模型語意理解、邏輯推理、以及通用性、泛化​​性、不確定性知識、學習能力等領域擁有驚人的表現提升,其模型技術知識能力提升超過20%,數學/推理/程式/文創能力提升超過30%。同時,「天工3.0」新增了搜尋增強、研究模式、呼叫程式碼及繪製圖表、多次呼叫連網搜尋等能力,並針對性地訓練了模型的Agent能力,使得「天工3.0」能夠獨立完成規劃、呼叫、組合外部工具及訊息,以精準且有效率地完成產業分析、產品對比等各類複雜需求,帶來全新的顛覆式人工智慧體驗。

「天工SkyMusic」是目前國內首款且唯一公開可用的AI音樂生成大模型,其採用音樂音頻領域類Sora模型架構,Large-scale Transformer 負責譜曲,來學習Music Patches 的上下文依賴關係,同時完成音樂可控性;Diffusion Transformer 負責演唱,透過LDM讓Music Patches被還原成高質量音頻,使得“天工SkyMusic”能夠支持生成80秒44100Hz 採樣率雙聲道立體聲歌曲。這套模型架構在處理視訊、音訊和音樂領域效果極佳。崑崙萬維團隊也將在後續逐步迭代和添加新的能力,讓模型具備多模態的情感理解與表達能力。

「天工SkyMusic」测试申请网页:https://rg975ojk5z.feishu.cn/share/base/form/shrcnTcBRpGzv5Sx9xAGd5V97Md

「天工SkyMusic」具有以下五大特点:

1. 高质量AI音乐

「天工SkyMusic」能够生成80秒44100Hz采样率双声道立体声AI歌曲,并可根据用户输入的歌词风格生成对应歌曲风格。

2. 人声“以假乱真”

人声合成是AI音乐生成中最重要、最能体现生成效果和品质的维度。「天工SkyMusic」的AI人声合成能够达到业内顶尖的SOTA水平,中文水平极为优秀,发音清晰、无异响。其中文演唱效果更是显著好于国外产品,领先世界水平。

3. 歌词段落控制

「天工SkyMusic」能够通过歌词来控制歌曲,让生成的歌曲可以明确分辨出不同歌词段落的情绪变化,体现出主歌和副歌、前奏和主歌的段落差异。

4. 多种音乐风格

「天工SkyMusic」支持说唱、民谣、放克、古风、电子等多种音乐风格,用户在创作音乐时,可以通过参考音频制定想要的音乐风格。

5. 音乐智能表达 - 歌唱技巧学习

「天工SkyMusic」同时能够学习如颤音、歌剧、吟唱、男女对唱,自动和声等多种歌唱技巧,让用户创作的歌曲得到更恰当的情感表达。

2023 年,昆仑万维在 “All in AGI 和 AIGC” 的战略推动下,在人工智能领域取得了许多进展,逐步形成了AI大模型、AI搜索、AI音乐、AI动漫、AI 社交、AI游戏等AI业务矩阵。

当前,昆仑万维已打造了集AI搜索、AI写作、AI长文本阅读、AI对话、AI语音合成、AI图片生成、AI漫画创作、AI图片识别、AI音乐生成、AI代码写作、AI表格生成等多项能力于一体的「天工3.0」多模态“超级模型”(Super Model),成为AI行业全新里程碑。

以上是以假亂真,天工音樂大模型帶來顛覆式AI體驗的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文轉載於:jiqizhixin.com。如有侵權,請聯絡admin@php.cn刪除