搜尋
首頁科技週邊人工智慧清華最新「持續學習」綜述,32頁詳述持續學習理論、方法與應用綜述

在一般意義上,持續學習明顯受到災難性遺忘的限制,學習新任務通常會導致舊任務的表現急劇下降。

除此之外,近年來出現了越來越多的進展,在很大程度上擴展了持續學習的理解和應用。

人們對這一方向日益增長和廣泛的興趣表明了它的現實意義和複雜性。

清華最新「持續學習」綜述,32頁詳述持續學習理論、方法與應用綜述

#論文網址:#https://www.php.cn/link/82039d16dce0aab3913b6a7ac73deff7

#本文對持續學習進行了全面的研究,試圖在基本設定、理論基礎、代表性方法和實際應用之間建立聯繫

基於現有的理論和實證結果,將持續學習的一般目標總結為:在資源效率的背景下,確保適當的穩定性-可塑性權衡,以及充分的任務內/任務間泛化能力。

提供了最先進的和詳細的分類法,廣泛分析了有代表性的策略如何解決持續學習,以及它們如何適應各種應用中的特定挑戰。

透過對持續學習當前趨勢、跨方向前景和與神經科學的跨學科聯繫的深入討論,相信這種整體的視角可以極大地促進該領域和其他領域的後續探索。

引言

學習是智慧系統適應環境的基礎。為了因應外在的變化,演化使人類和其他生物具有很強的適應性,能夠不斷地獲取、更新、累積和利用知識[148]、[227]、[322]。自然,我們期望人工智慧(AI)系統以類似的方式適應。這激發了持續學習的研究,其中典型的設定是逐一學習一系列內容,並表現得就像同時觀察到的一樣(圖1,a)。這些內容可以是新技能、舊技能的新範例、不同的環境、不同的背景等,並包含特定的現實挑戰[322],[413]。由於內容是在一生中逐步提供的,因此因此在許多文獻中,持續學習也被稱為增量學習或終身學習,但沒有嚴格的區分[70],[227]。

與傳統的基於靜態資料分佈的機器學習模型不同,持續學習的特徵是從動態資料分佈中學習。 一個主要的挑戰被稱為災難性遺忘[291],[292],對新分佈的適應通常會導致捕獲舊分佈的能力大大降低。 這種困境是學習可塑性和記憶穩定性權衡的一個面向:前者過多會幹擾後者,反之亦然。除了簡單地平衡這兩方面的「比例」外,持續學習的理想解決方案應該獲得強大的泛化能力,以適應任務內部和任務之間的分佈差異(圖1,b)。作為一個樸素的基線,重新訓練所有舊的訓練樣本(如果允許)可以輕鬆解決上述挑戰,但會產生巨大的計算和存儲開銷(以及潛在的隱私問題)。事實上,持續學習的主要目的是確保模型更新的資源效率,最好接近只學習新的訓練樣本。

清華最新「持續學習」綜述,32頁詳述持續學習理論、方法與應用綜述

許多努力致力於解決上述挑戰,可以在概念上分為五組(圖1,c):參考舊模型添加正則化項(基於正則化的方法);逼近和恢復舊資料分佈(基於回放的方法);顯式操作優化程序(基於優化的方法);學習魯棒和良好泛化的表示(基於表示的方法);以及使用正確設計的體系結構構建任務自適應參數(基於體系結構的方法)。此分類法擴展了常用分類法的最新進展,並為每個類別提供了細化的子方向。總結了這些方法是如何實現所提出的一般目標的,並對其理論基礎和典型實現進行了廣泛的分析。特別是,這些方法是緊密聯繫的,例如正則化和重播最終糾正優化中的梯度方向,並且具有高度的協同性,例如,重播的效果可以透過從舊模型中提取知識來提高。

現實應用對持續學習提出了特殊的挑戰,可以分為場景複雜性和任務特異性。對於前者,例如,在訓練和測試中可能缺少任務oracle(即執行哪個任務),訓練樣本可能是小批量甚至一次引入的。由於資料標記的成本和稀缺性,持續學習需要在少樣本、半監督甚至無監督的場景中有效。對於後者,雖然目前的進展主要集中在視覺分類,但其他視覺領域(如目標檢測、語義分割和圖像生成)以及其他相關領域(如強化學習(RL)、自然語言處理(NLP)和倫理考慮)正在受到越來越多的關注,其機會和挑戰。

考慮到持續學習的興趣顯著增長,我們相信這項最新和全面的研究可以為後續的工作提供一個整體的視角。 儘管有一些關於持續學習的早期調查,覆蓋面相對較廣[70],[322],但近年來的重要進展並未被納入其中。相較之下,最新的研究通常只整理持續學習的局部方面,關於其生物學基礎[148],[156],[186],[227],視覺分類的專門設定[85],[283] ,[289],[346],以及NLP[37],[206]或RL[214]中的擴展。據我們所知,這是第一個系統總結持續學習的最新進展的研究。基於這些優勢,我們就當前趨勢、跨方向前景(如擴散模型、大規模預訓練、視覺轉換器、具體AI、神經壓縮等)以及與神經科學的跨學科聯繫,深入討論了持續學習。

主要貢獻包括:

#(1) 對持續學習進行了最新而全面的綜述,以連接理論、方法和應用的進步;

(2) 根據現有的理論和實證結果,總結了持續學習的一般目標,並對具有代表性的策略進行了詳細的分類;

(3) 將現實應用的特殊挑戰分為場景複雜性和任務特殊性,並廣泛分析了持續學習策略如何適應這些挑戰

#(4)深入探討了當前研究趨勢和發展方向,以期為相關領域後續工作提供參考

本文的組織如下:在第2節中,我們介紹了持續學習的設置,包括其基本公式,典型場景和評估指標。在第3節中,我們總結了一些針對其一般目標的持續學習的理論努力。在第4節中,我們對代表性的策略進行了最新的和詳細的分類,分析了它們的動機和典型的實現。在第5節和第6節中,我們描述了這些策略如何適應場景複雜性和任務特異性的現實挑戰。在第7節中,我們提供了當前趨勢的討論,交叉方向的前景和神經科學的跨學科連結。

清華最新「持續學習」綜述,32頁詳述持續學習理論、方法與應用綜述

在本節中,我們詳細介紹了代表性持續學習方法的分類(參見圖3和圖1 ,c),並廣泛分析了它們的主要動機、典型實現和經驗屬性。

Regularization-based 方法

#

該方向的特徵是添加顯式正則項來平衡新舊任務,這通常需要儲存舊模型的凍結副本以供參考(見圖4)。根據正規化的目標,這類方法可以分為兩類。

清華最新「持續學習」綜述,32頁詳述持續學習理論、方法與應用綜述

Replay-based 方法

##將近似和恢復舊資料分佈的方法分組到這個方向(見圖5)。根據回放的內容,這些方法可以進一步分為三個子方向,每個子方向都有自己的挑戰。

清華最新「持續學習」綜述,32頁詳述持續學習理論、方法與應用綜述

Optimization-based 方法

持續學習不僅可以透過向損失函數添加額外的項(例如正則化和重播)來實現,還可以透過明確地設計和操作最佳化程序來實現。

清華最新「持續學習」綜述,32頁詳述持續學習理論、方法與應用綜述

#Representation-based 方法

將創建和利用持續學習表示優勢的方法歸為這一類。除了早期透過元訓練[185]獲得稀疏表示的工作外,最近的工作試圖結合自監督學習(SSL)[125]、[281]、[335]和大規模預訓練[295]、[380]、 [456]的優勢,以改善初始化和持續學習中的表示。請注意,這兩種策略密切相關,因為預訓練資料通常數量龐大且沒有明確的標籤,而SSL本身的表現主要透過對(一系列)下游任務進行微調來評估。下面,我們將討論具有代表性的子方向。

清華最新「持續學習」綜述,32頁詳述持續學習理論、方法與應用綜述

#Architecture-based 方法

#Architecture-based 方法

上述策略主要集中在學習所有具有共享參數集的增量任務(即單一模型和一個參數空間),這是導致任務間幹擾的主要原因。相反,建構特定於任務的參數可以明確地解決這個問題。過去的工作通常根據網路體系結構是否固定,將此方向分為參數隔離和動態體系結構。本文專注於實現特定任務參數的方式,將上述概念擴展到參數分配、模型分解和模組化網路(圖8)。 清華最新「持續學習」綜述,32頁詳述持續學習理論、方法與應用綜述

################

以上是清華最新「持續學習」綜述,32頁詳述持續學習理論、方法與應用綜述的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
一個提示可以繞過每個主要LLM的保障措施一個提示可以繞過每個主要LLM的保障措施Apr 25, 2025 am 11:16 AM

隱藏者的開創性研究暴露了領先的大語言模型(LLM)的關鍵脆弱性。 他們的發現揭示了一種普遍的旁路技術,稱為“政策木偶”,能夠規避幾乎所有主要LLMS

5個錯誤,大多數企業今年將犯有可持續性5個錯誤,大多數企業今年將犯有可持續性Apr 25, 2025 am 11:15 AM

對環境責任和減少廢物的推動正在從根本上改變企業的運作方式。 這種轉變會影響產品開發,製造過程,客戶關係,合作夥伴選擇以及採用新的

H20芯片禁令震撼中國人工智能公司,但長期以來一直在為影響H20芯片禁令震撼中國人工智能公司,但長期以來一直在為影響Apr 25, 2025 am 11:12 AM

最近對先進AI硬件的限制突出了AI優勢的地緣政治競爭不斷升級,從而揭示了中國對外國半導體技術的依賴。 2024年,中國進口了價值3850億美元的半導體

如果Openai購買Chrome,AI可能會統治瀏覽器戰爭如果Openai購買Chrome,AI可能會統治瀏覽器戰爭Apr 25, 2025 am 11:11 AM

從Google的Chrome剝奪了潛在的剝離,引發了科技行業中的激烈辯論。 OpenAI收購領先的瀏覽器,擁有65%的全球市場份額的前景提出了有關TH的未來的重大疑問

AI如何解決零售媒體的痛苦AI如何解決零售媒體的痛苦Apr 25, 2025 am 11:10 AM

儘管總體廣告增長超過了零售媒體的增長,但仍在放緩。 這個成熟階段提出了挑戰,包括生態系統破碎,成本上升,測量問題和整合複雜性。 但是,人工智能

'AI是我們,比我們更多''AI是我們,比我們更多'Apr 25, 2025 am 11:09 AM

在一系列閃爍和惰性屏幕中,一個古老的無線電裂縫帶有靜態的裂紋。這堆易於破壞穩定的電子產品構成了“電子廢物之地”的核心,這是沉浸式展覽中的六個裝置之一,&qu&qu

Google Cloud在下一個2025年對基礎架構變得更加認真Google Cloud在下一個2025年對基礎架構變得更加認真Apr 25, 2025 am 11:08 AM

Google Cloud的下一個2025:關注基礎架構,連通性和AI Google Cloud的下一個2025會議展示了許多進步,太多了,無法在此處詳細介紹。 有關特定公告的深入分析,請參閱我的文章

IR的秘密支持者透露,Arcana的550萬美元的AI電影管道說話,Arcana的AI Meme,Ai Meme的550萬美元。IR的秘密支持者透露,Arcana的550萬美元的AI電影管道說話,Arcana的AI Meme,Ai Meme的550萬美元。Apr 25, 2025 am 11:07 AM

本週在AI和XR中:一波AI驅動的創造力正在通過從音樂發電到電影製作的媒體和娛樂中席捲。 讓我們潛入頭條新聞。 AI生成的內容的增長影響:技術顧問Shelly Palme

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

SecLists

SecLists

SecLists是最終安全測試人員的伙伴。它是一個包含各種類型清單的集合,這些清單在安全評估過程中經常使用,而且都在一個地方。 SecLists透過方便地提供安全測試人員可能需要的所有列表,幫助提高安全測試的效率和生產力。清單類型包括使用者名稱、密碼、URL、模糊測試有效載荷、敏感資料模式、Web shell等等。測試人員只需將此儲存庫拉到新的測試機上,他就可以存取所需的每種類型的清單。

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SAP NetWeaver Server Adapter for Eclipse

SAP NetWeaver Server Adapter for Eclipse

將Eclipse與SAP NetWeaver應用伺服器整合。

SublimeText3 Linux新版

SublimeText3 Linux新版

SublimeText3 Linux最新版

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)