2022年深度學習的發展趨勢與問題

我們將人工智慧(AI)深度學習的另一年令人興奮的發展拋在身後——這一年充滿了顯著的進步、爭議，當然還有爭議。在我們結束 2022 年並準備迎接 2023 年的到來之際，以下是今年深度學習領域最顯著的整體趨勢。

1. 規模仍然是一個重要因素

過去幾年深度學習中保持不變的主題是創建更大的神經網路的驅動力。電腦資源的可用性使擴展神經網路以及專門的 AI 硬體、大型資料集以及變壓器模型等規模友善架構的開發成為可能。

目前，公司正在透過將神經網路擴展到更大的規模來獲得更好的結果。過去一年，DeepMind 發布了Gopher，一個2800 億參數的大型語言模型（LLM）；Google發布了擁有5400 億個參數的Pathways 語言模型( PaLM )和多達1.2 兆個參數的通用語言模型( GLaM )；微軟和英偉達發布了Megatron-Turing NLG，一個5300 億參數的LLM。

規模的有趣方面之一是湧現能力，其中較大的模型成功地完成了較小的模型不可能的任務。這種現像在 LLM 中特別有趣，隨著規模的擴大，模型在更廣泛的任務和基準測試中顯示出有希望的結果。

然而，值得注意的是，即使在最大的模型中，深度學習的一些基本問題仍未解決（稍後會詳細介紹）。

2. 無監督學習繼續交付

許多成功的深度學習應用程式需要人類標記訓練範例，也稱為監督學習。但網路上可用的大多數數據都沒有帶有監督學習所需的乾淨標籤。資料註釋既昂貴又緩慢，造成瓶頸。這就是為什麼研究人員長期以來一直在尋求無監督學習的進步，在這種學習中，深度學習模型的訓練不需要人工註釋的資料。

近年來，這一領域取得了巨大的進步，尤其是在 LLM 領域，它們大多接受從互聯網上收集的大量原始資料集的訓練。雖然法學碩士在 2022 年繼續取得進展，但我們也看到無監督學習技術的其他趨勢越來越受歡迎。

例如，今年文字到圖像的模型取得了驚人的進步。 OpenAI 的DALL-E 2、Google的Imagen和 Stability AI 的Stable Diffusion等模型展示了無監督學習的力量。與需要註釋良好的圖像和描述對的舊文本到圖像模型不同，這些模型使用互聯網上已經存在的鬆散標題圖像的大型資料集。他們的訓練資料集的龐大規模（這僅是可能的，因為不需要手動標記）和字幕方案的可變性使這些模型能夠找到文字和視覺資訊之間的各種複雜模式。因此，它們在為各種描述生成圖像方面更加靈活。

3. 多模態取得長足進步

文字到影像產生器還有另一個有趣的功能：它們在單一模型中組合了多種資料類型。能夠處理多種模式使深度學習模型能夠承擔更複雜的任務。 

多模態對人類和動物的智慧非常重要。例如，當你看到一棵樹並聽到風在它的樹枝上沙沙作響時，你的大腦可以很快地將它們連結在一起。同樣，當你看到“樹”這個詞時，你可以很快地聯想到一棵樹的形象，記住下雨後松樹的味道，或者回憶起你以前有過的其他經歷。 

顯然，多模態在使深度學習系統更靈活方面發揮了重要作用。 DeepMind 的Gato可能最好地展示了這一點，這是一種針對各種資料類型（包括圖像、文字和本體感覺資料）進行訓練的深度學習模型。 Gato 在多項任務中表現出色，包括圖像字幕、互動式對話、控制機械手臂和玩遊戲。這與旨在執行單一任務的經典深度學習模型形成對比。

一些研究人員已經提出了這樣的概念，即我們只需要像 Gato 這樣的系統來實現人工智慧(AGI)。儘管許多科學家不同意這一觀點，但可以肯定的是，多模態為深度學習帶來了重要成就。

4. 深度學習的基本問題仍然存在

儘管深度學習取得了令人矚目的成就，但該領域的一些問題仍未解決。其中包括因果關係、組合性、常識、推理、計劃、直覺物理學以及抽象和類比。 

這些是不同領域的科學家仍在研究的一些智力奧秘。純粹的基於規模和數據的深度學習方法有助於在其中一些問題上取得漸進式進展，但未能提供明確的解決方案。 

例如，較大的 LLM 可以在較長的文字中保持連貫性和一致性。但他們在需要細緻的逐步推理和計劃的任務上失敗了。

同樣，文字到圖像生成器創建令人驚嘆的圖形，但在被要求繪製需要組合性或具有複雜描述的圖像時會犯基本錯誤。

不同的科學家正在討論和探索這些挑戰，包括一些深度學習的先驅。其中最著名的是獲得圖靈獎的捲積神經網路 (CNN) 發明家 Yann LeCun，他最近寫了一篇關於僅從文本中學習的 LLM的局限性的長文。 LeCun 正在研究一種深度學習架構，該架構可以學習世界模型，並可以解決該領域目前面臨的一些挑戰。

深度學習已經走過了漫長的道路。但我們取得的進步越多，就越意識到創建真正智慧系統的挑戰。明年肯定會和今年一樣令人興奮。

以上是2022年深度學習的發展趨勢與問題的詳細內容。更多資訊請關注PHP中文網其他相關文章！