在本屆ICASSP 2024 各類音訊國際挑戰賽中,位元組跳動串流音訊團隊聯合西北工業大學音訊語音與語言處理研究實驗室,在丟包補償(Packet Loss Concealment, PLC)與音質修復(Speech Signal Improvement, SSI)在兩個挑戰賽道中,多項指標上表現優秀,分別取得第一和第二的成績,達到國際領先水準。
ICASSP高峰會上的音訊挑戰賽由國際音訊頂尖會議ICASSP 和微軟共同發起,旨在激發各研究構在音訊效果與音質提升上的研究,自第一屆舉辦以來就吸引了亞馬遜、騰訊、阿里巴巴、百度、快手、中科院、西工大等全球許多知名企業及科研院所的參與。隨著串流媒體領域技術的不斷發展,讓聲音聽的清,聽和真,變成音頻技術行業發展必然趨勢。圍繞著如何讓使用者有更優的音訊體驗,多個研究團隊對音訊從擷取到轉發進行端到端的最佳化,這個過程包含瞭如何對音訊擷取缺陷,演算法處理缺陷,編解碼缺陷,網路傳輸缺陷等進行一體化修復。在本屆挑戰賽中,位元組跳動串流音訊團隊結合真實的業務落地場景,參加了丟包補償與通用音質修復這兩個挑戰賽道。
ICASSP PLC 挑戰賽旨在解決網路IP通話中長間隔資料包遺失和全頻音訊(48k Hz取樣率)處理的問題。此挑戰具有嚴格的時延限制,同時提供了苛刻的資料集來反映不利的網路條件。主觀評估將使用P.804多維音訊品質評估方法進行,同時WER也被用於評估參賽系統產生語音的可懂度。串流音訊技術團隊透過對模型結構進行最佳化,有效降低了丟包補償模型的複雜度。同時,透過多判別器對抗訓練與多任務學習,使丟包補償模型可以以高品質、高可懂度恢復丟包片段,最終取得第一的成績。
ICASSP SSI 挑戰賽旨在解決通訊系統中語音訊號面臨的頻率響應失真、不連續失真、響度失真、噪音和混響這五類問題。此挑戰賽在嚴格設定模型時延以及因果性的前提下,使用ITU-TP.804標準下的主觀意見分和語音辨識率綜合評判名次。串流技術團隊使用兩階段模型結構將複雜的修復問題簡化為多個子任務,在第一階段主要修復頻率響應失真、不連續失真以及響度失真,並進行初步降噪與去混響;在第二階段進一步去除第一階段產生的偽影以及殘餘雜訊。最終,團隊在即時賽道上取得第二名的成績。
丟包補償系統
為解決48kHz全頻音訊處理複雜度的問題,在丟包補償系統中使用了頻域模型,並根據頻率將音頻分為0-8kHz,8-24kHz兩個子帶並行處理。將主要計算量集中在對聽感影響更大的0-8kHz頻段,實現了低複雜度、高品質的丟包補償。為了應對長間隔丟包問題,在編解碼器每層後添加了時頻擴張卷積模組(TFDCM),在保持小尺寸卷積核同時通過時間和頻率維度逐層膨脹的因果擴張卷積捕獲長時歷史資訊與頻率相關性。
為了更高品質的補償音頻,結合使用頻域多分辨率判別器、時域多周期判別器與MetricGAN,進行生成對抗訓練,使得生成音頻聽感優秀。對於長間隔丟包以及可懂度的問題,採用多工學習框架。除了通常的語音訊號相似度學習,還引入了基頻預測與基於whisper的語義理解損失函數。模型最長能夠以高品質恢復超過100ms的丟包片段,且恢復音訊可懂度較高,字詞正確率(WAcc)指標領先所有參賽隊伍,整體評估得分並列第一。
丟包補償模型結構示意圖
音質修復系統
#為了修復同時受多種失真影響的音頻,建構系統中使用了兩階段模型架構,在不同階段著重對不同失真進行處理。一階段模型使用映射(Mapping)的方式直接預測修復後音頻的複數譜,從而使模型同時具備生成音頻缺失成分與消除乾擾信號的能力,同時為了提升模型的長時捕獲信息的能力,在編碼器在和解碼器中引入了時頻卷積模組(Time-Frequency Convlution Module,TFCM);由於映射法的不穩定性,可能產生偽影,因此引入使用掩蔽(Mask)方式的二階段模型,並採用子帶-全帶建模的方式對頻帶進行細粒度建模,從而進一步消除一階段模型產生的偽影與殘餘雜訊。
為了提升生成的音訊成分的自然度,引入生成式對抗網路框架,使用多解析度判別器、分子帶多解析度判別器輔助模型進行訓練。同時為了多階段模型在訓練時更容易收斂,首先在降噪和去混響任務上對二階段模型進行預訓練,然後凍結已訓練完成的一階段模型的參數,並將其與預訓練的二階段模型級聯進行聯合訓練,從而加快模型收斂。
音質修復模型結構示意圖
團隊介紹
位元組跳動串流音訊團隊,致力於提供全球網路範圍內高品質、低延時的即時音視訊通訊能力,協助開發者快速建立語音通話、視訊通話、互動直播、轉推直播等豐富場景功能,目前已涵蓋互娛、教育、會議、遊戲、汽車、金融、IoT 等即時影音互動場景,服務數億用戶。
以上是2024年ICASSP|位元組跳動串流音訊團隊創新解方案:解決丟包補償與通用音質修復問題的詳細內容。更多資訊請關注PHP中文網其他相關文章!

Meta的Llama 3.2:多模式和移動AI的飛躍 Meta最近公佈了Llama 3.2,這是AI的重大進步,具有強大的視覺功能和針對移動設備優化的輕量級文本模型。 以成功為基礎

本週的AI景觀:進步,道德考慮和監管辯論的旋風。 OpenAI,Google,Meta和Microsoft等主要參與者已經釋放了一系列更新,從開創性的新車型到LE的關鍵轉變

連接的舒適幻想:我們在與AI的關係中真的在蓬勃發展嗎? 這個問題挑戰了麻省理工學院媒體實驗室“用AI(AHA)”研討會的樂觀語氣。事件展示了加油

介紹 想像一下,您是科學家或工程師解決複雜問題 - 微分方程,優化挑戰或傅立葉分析。 Python的易用性和圖形功能很有吸引力,但是這些任務需要強大的工具

Meta's Llama 3.2:多式聯運AI強力 Meta的最新多模式模型Llama 3.2代表了AI的重大進步,具有增強的語言理解力,提高的準確性和出色的文本生成能力。 它的能力t

數據質量保證:與Dagster自動檢查和良好期望 保持高數據質量對於數據驅動的業務至關重要。 隨著數據量和源的增加,手動質量控制變得效率低下,容易出現錯誤。

大型機:AI革命的無名英雄 雖然服務器在通用應用程序上表現出色並處理多個客戶端,但大型機是專為關鍵任務任務而建立的。 這些功能強大的系統經常在Heavil中找到

為您的業務選擇合適的大型語言模型(LLM):綜合指南 GPT-4O,Llama和Claude等LLM的快速擴散呈現出至關重要的挑戰:為其特定需求選擇最佳模型。


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

記事本++7.3.1
好用且免費的程式碼編輯器

SAP NetWeaver Server Adapter for Eclipse
將Eclipse與SAP NetWeaver應用伺服器整合。