搜尋
首頁科技週邊人工智慧2024年ICASSP|位元組跳動串流音訊團隊創新解方案:解決丟包補償與通用音質修復問題

在本屆ICASSP 2024 各類音訊國際挑戰賽中,位元組跳動串流音訊團隊聯合西北工業大學音訊語音與語言處理研究實驗室,在丟包補償(Packet Loss Concealment, PLC)與音質修復(Speech Signal Improvement, SSI)在兩個挑戰賽道中,多項指標上表現優秀,分別取得第一和第二的成績,達到國際領先水準。

ICASSP高峰會上的音訊挑戰賽由國際音訊頂尖會議ICASSP 和微軟共同發起,旨在激發各研究構在音訊效果與音質提升上的研究,自第一屆舉辦以來就吸引了亞馬遜、騰訊、阿里巴巴、百度、快手、中科院、西工大等全球許多知名企業及科研院所的參與。隨著串流媒體領域技術的不斷發展,讓聲音聽的清,聽和真,變成音頻技術行業發展必然趨勢。圍繞著如何讓使用者有更優的音訊體驗,多個研究團隊對音訊從擷取到轉發進行端到端的最佳化,這個過程包含瞭如何對音訊擷取缺陷,演算法處理缺陷,編解碼缺陷,網路傳輸缺陷等進行一體化修復。在本屆挑戰賽中,位元組跳動串流音訊團隊結合真實的業務落地場景,參加了丟包補償與通用音質修復這兩個挑戰賽道。

ICASSP PLC 挑戰賽旨在解決網路IP通話中長間隔資料包遺失和全頻音訊(48k Hz取樣率)處理的問題。此挑戰具有嚴格的時延限制,同時提供了苛刻的資料集來反映不利的網路條件。主觀評估將使用P.804多維音訊品質評估方法進行,同時WER也被用於評估參賽系統產生語音的可懂度。串流音訊技術團隊透過對模型結構進行最佳化,有效降低了丟包補償模型的複雜度。同時,透過多判別器對抗訓練與多任務學習,使丟包補償模型可以以高品質、高可懂度恢復丟包片段,最終取得第一的成績。

ICASSP 2024|字节跳动流媒体音频团队创新方案解决丢包补偿、通用音质修复问题

ICASSP SSI 挑戰賽旨在解決通訊系統中語音訊號面臨的頻率響應失真、不連續失真、響度失真、噪音和混響這五類問題。此挑戰賽在嚴格設定模型時延以及因果性的前提下,使用ITU-TP.804標準下的主觀意見分和語音辨識率綜合評判名次。串流技術團隊使用兩階段模型結構將複雜的修復問題簡化為多個子任務,在第一階段主要修復頻率響應失真、不連續失真以及響度失真,並進行初步降噪與去混響;在第二階段進一步去除第一階段產生的偽影以及殘餘雜訊。最終,團隊在即時賽道上取得第二名的成績。

ICASSP 2024|字节跳动流媒体音频团队创新方案解决丢包补偿、通用音质修复问题

丟包補償系統

為解決48kHz全頻音訊處理複雜度的問題,在丟包補償系統中使用了頻域模型,並根據頻率將音頻分為0-8kHz,8-24kHz兩個子帶並行處理。將主要計算量集中在對聽感影響更大的0-8kHz頻段,實現了低複雜度、高品質的丟包補償。為了應對長間隔丟包問題,在編解碼器每層後添加了時頻擴張卷積模組(TFDCM),在保持小尺寸卷積核同時通過時間和頻率維度逐層膨脹的因果擴張卷積捕獲長時歷史資訊與頻率相關性。

為了更高品質的補償音頻,結合使用頻域多分辨率判別器、時域多周期判別器與MetricGAN,進行生成對抗訓練,使得生成音頻聽感優秀。對於長間隔丟包以及可懂度的問題,採用多工學習框架。除了通常的語音訊號相似度學習,還引入了基頻預測與基於whisper的語義理解損失函數。模型最長能夠以高品質恢復超過100ms的丟包片段,且恢復音訊可懂度較高,字詞正確率(WAcc)指標領先所有參賽隊伍,整體評估得分並列第一。

ICASSP 2024|字节跳动流媒体音频团队创新方案解决丢包补偿、通用音质修复问题

丟包補償模型結構示意圖

音質修復系統

#

為了修復同時受多種失真影響的音頻,建構系統中使用了兩階段模型架構,在不同階段著重對不同失真進行處理。一階段模型使用映射(Mapping)的方式直接預測修復後音頻的複數譜,從而使模型同時具備生成音頻缺失成分與消除乾擾信號的能力,同時為了提升模型的長時捕獲信息的能力,在編碼器在和解碼器中引入了時頻卷積模組(Time-Frequency Convlution Module,TFCM);由於映射法的不穩定性,可能產生偽影,因此引入使用掩蔽(Mask)方式的二階段模型,並採用子帶-全帶建模的方式對頻帶進行細粒度建模,從而進一步消除一階段模型產生的偽影與殘餘雜訊。

為了提升生成的音訊成分的自然度,引入生成式對抗網路框架,使用多解析度判別器、分子帶多解析度判別器輔助模型進行訓練。同時為了多階段模型在訓練時更容易收斂,首先在降噪和去混響任務上對二階段模型進行預訓練,然後凍結已訓練完成的一階段模型的參數,並將其與預訓練的二階段模型級聯進行聯合訓練,從而加快模型收斂。

ICASSP 2024|字节跳动流媒体音频团队创新方案解决丢包补偿、通用音质修复问题

音質修復模型結構示意圖

團隊介紹

位元組跳動串流音訊團隊,致力於提供全球網路範圍內高品質、低延時的即時音視訊通訊能力,協助開發者快速建立語音通話、視訊通話、互動直播、轉推直播等豐富場景功能,目前已涵蓋互娛、教育、會議、遊戲、汽車、金融、IoT 等即時影音互動場景,服務數億用戶。

以上是2024年ICASSP|位元組跳動串流音訊團隊創新解方案:解決丟包補償與通用音質修復問題的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:机器之心。如有侵權,請聯絡admin@php.cn刪除
AI技能差距正在減慢供應鏈AI技能差距正在減慢供應鏈Apr 26, 2025 am 11:13 AM

經常使用“ AI-Ready勞動力”一詞,但是在供應鏈行業中確實意味著什麼? 供應鏈管理協會(ASCM)首席執行官安倍·埃什肯納齊(Abe Eshkenazi)表示,它表示能夠評論家的專業人員

一家公司如何悄悄地努力改變AI一家公司如何悄悄地努力改變AIApr 26, 2025 am 11:12 AM

分散的AI革命正在悄悄地獲得動力。 本週五在德克薩斯州奧斯汀,Bittensor最終遊戲峰會標誌著一個關鍵時刻,將分散的AI(DEAI)從理論轉變為實際應用。 與閃閃發光的廣告不同

NVIDIA釋放NEMO微服務以簡化AI代理開發NVIDIA釋放NEMO微服務以簡化AI代理開發Apr 26, 2025 am 11:11 AM

企業AI面臨數據集成挑戰 企業AI的應用面臨一項重大挑戰:構建能夠通過持續學習業務數據來保持準確性和實用性的系統。 NeMo微服務通過創建Nvidia所描述的“數據飛輪”來解決這個問題,允許AI系統通過持續接觸企業信息和用戶互動來保持相關性。 這個新推出的工具包包含五個關鍵微服務: NeMo Customizer 處理大型語言模型的微調,具有更高的訓練吞吐量。 NeMo Evaluator 提供針對自定義基準的AI模型簡化評估。 NeMo Guardrails 實施安全控制,以保持合規性和適當的

AI為藝術與設計的未來描繪了一幅新圖片AI為藝術與設計的未來描繪了一幅新圖片Apr 26, 2025 am 11:10 AM

AI:藝術與設計的未來畫卷 人工智能(AI)正以前所未有的方式改變藝術與設計領域,其影響已不僅限於業餘愛好者,更深刻地波及專業人士。 AI生成的藝術作品和設計方案正在迅速取代傳統的素材圖片和許多交易性設計活動中的設計師,例如廣告、社交媒體圖片生成和網頁設計。 然而,專業藝術家和設計師也發現AI的實用價值。他們將AI作為輔助工具,探索新的美學可能性,融合不同的風格,創造新穎的視覺效果。 AI幫助藝術家和設計師自動化重複性任務,提出不同的設計元素並提供創意輸入。 AI支持風格遷移,即將一種圖像的風格應用

Zoom如何徹底改變與Agent AI的合作:從會議到里程碑Zoom如何徹底改變與Agent AI的合作:從會議到里程碑Apr 26, 2025 am 11:09 AM

Zoom最初以其視頻會議平台而聞名,它通過創新使用Agentic AI來引領工作場所革命。 最近與Zoom的CTO XD黃的對話揭示了該公司雄心勃勃的願景。 定義代理AI 黃d

對大學的存在威脅對大學的存在威脅Apr 26, 2025 am 11:08 AM

AI會徹底改變教育嗎? 這個問題是促使教育者和利益相關者的認真反思。 AI融入教育既提出了機遇和挑戰。 正如科技Edvocate的馬修·林奇(Matthew Lynch)所指出的那樣

原型:美國科學家正在國外尋找工作原型:美國科學家正在國外尋找工作Apr 26, 2025 am 11:07 AM

美國科學研究和技術發展或將面臨挑戰,這或許是由於預算削減導致的。據《自然》雜誌報導,2025年1月至3月期間,美國科學家申請海外工作的數量比2024年同期增加了32%。此前一項民意調查顯示,75%的受訪研究人員正在考慮前往歐洲和加拿大尋找工作。 過去幾個月,數百項NIH和NSF的撥款被終止,NIH今年的新撥款減少了約23億美元,下降幅度接近三分之一。洩露的預算提案顯示,特朗普政府正在考慮大幅削減科學機構的預算,削減幅度可能高達50%。 基礎研究領域的動盪也影響了美國的一大優勢:吸引海外人才。 35

所有有關打開AI最新的GPT 4.1家庭的信息 - 分析Vidhya所有有關打開AI最新的GPT 4.1家庭的信息 - 分析VidhyaApr 26, 2025 am 10:19 AM

Openai推出了強大的GPT-4.1系列:一個專為現實世界應用設計的三種高級語言模型家族。 這種巨大的飛躍提供了更快的響應時間,增強的理解和大幅降低了成本

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

EditPlus 中文破解版

EditPlus 中文破解版

體積小,語法高亮,不支援程式碼提示功能

Atom編輯器mac版下載

Atom編輯器mac版下載

最受歡迎的的開源編輯器

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SecLists

SecLists

SecLists是最終安全測試人員的伙伴。它是一個包含各種類型清單的集合,這些清單在安全評估過程中經常使用,而且都在一個地方。 SecLists透過方便地提供安全測試人員可能需要的所有列表,幫助提高安全測試的效率和生產力。清單類型包括使用者名稱、密碼、URL、模糊測試有效載荷、敏感資料模式、Web shell等等。測試人員只需將此儲存庫拉到新的測試機上,他就可以存取所需的每種類型的清單。