UC伯克利谷歌革新LLM，實現終結擴散模型並用於IGN單步生成逼真圖像，美劇成為靈感來源

已經紅遍半邊天的擴散模型，將被淘汰了？

目前，生成式AI模型，例如GAN、擴散模型或一致性模型，透過將輸入映射到對應目標資料分佈的輸出，來產生影像需要進行改寫的內容是：

通常情況下，這種模型需要學習很多真實的圖片，然後才能盡量保證生成圖片的真實特徵需要進行改寫的內容是：

最近，來自UC伯克利和Google的研究人員提出了一個全新生成模型－冪等生成網路（IGN）需要改寫的內容是：

圖片

論文網址：https://arxiv.org/abs/2311.01462

IGNs可以從各種各樣的輸入，例如隨機雜訊、簡單的圖形等，透過單一步驟產生逼真的影像，且不需要多步驟迭代需要進行改寫的內容是：

這項模型旨在成為一個「全域映射器」（global projector），可以把任何輸入資料映射到目標資料分佈需要進行改寫的內容是：

簡言之，通用圖像生成模型未來一定是這樣的需要進行改寫的內容是：

有趣的是，《宋飛正傳》中一個高效的場景竟成為作者的靈感來源需要進行改寫的內容是：

圖片

這個場景很好地總結了「冪等運算子」（idempotent operator）這個概念，是指在在運算過程中，對同一個輸入重複運算，得到的結果總是一樣的需要進行改寫的內容是：

即

圖片

需要進行改寫的內容是：

正如Jerry Seinfeld幽默地指出的那樣，一些現實生活中的行為也可以被認為是冪等的需要進行改寫的內容是：

冪等生成網路

IGN與GAN、擴散模型有兩點重要的不同之處：

- 與GAN不同的是，IGN不需要單獨的生成器和判別器，它是一個「自對抗」的模型，同時完成生成和判別需要進行改寫的內容是：

- 與執行增量步驟的擴散模型不同，IGN嘗試在單一步驟中將輸入映射到資料分佈需要進行改寫的內容是：

#IGN（冪等生成模型）的來源是什麼？

它被訓練到從來源分佈給定輸入樣本的目標分佈，生成樣本需要進行改寫的內容是：

給定範例資料集#，每個範例均取自需要進行改寫的內容是：然後，研究者訓練模型將對應到需要進行改寫的內容是：

假設分佈和位於同一空間，即它們的實例具有相同的維度需要進行改寫的內容是：這允許將應用於兩種類型的實例和#需要進行改寫的內容是：

如圖展示了IGN背後的基本想法：真實範例(x) 對於模型f 是不變的

#需要進行改寫的內容是：其他輸入(z) 被對應到f透過優化

對應到自身的實例流上需要進行改寫的內容是：

圖片

#IGN訓練程式PyTorch程式碼的一部分範例需要進行改寫的內容是：

圖片

##實驗結果

得到IGN後，效果如何呢？

作者承認，現階段，IGN的生成結果無法與最先進的模型競爭需要進行改寫的內容是：

在實驗中，使用的較小的模型和較低分辨率的數據集，並在探索中主要關注簡化方法需要進行改寫的內容是：

當然了，基礎生成建模技術，如GAN、擴散模型，也是花了相當長的時間才達到成熟、規模化的性能需要進行改寫的內容是：

實驗設定

研究人員在MNIST（灰階手寫數位資料集）和CelebA（人臉影像資料集）上評估IGN，分別使用28×28和64×64的影像解析度需要進行改寫的內容是：

作者採用了簡單的自動編碼器架構，其中編碼器是來自DCGAN的簡單五層鑑別器主幹，解碼器是生成器需要進行改寫的內容是：訓練與網路超參數如表1所示需要進行改寫的內容是：

#圖片

##產生結果

圖4顯示了應用模型一次和連續兩次後兩個資料集的定性結果需要進行改寫的內容是：

#如圖所示，應用IGN 一次(f (z)) 會產生相干生成結果需要進行改寫的內容是：然而，可能會出現偽影，例如MNIST數字中的孔洞，或者面部圖像中頭頂和頭髮的扭曲像素需要進行改寫的內容是：

再次應用f (f (f (z))) 可以糾正這些問題，填充孔洞，或減少臉部噪音斑塊周圍的總變化需要進行改寫的內容是：

#########圖片############圖7顯示了附加結果以及應用f三次的結果需要進行改寫的內容是：#######

圖片

比較#和表明，當影像接近學習流形時，再次應用f會導致最小的變化，因為影像被認為是分佈的需要進行改寫的內容是：

潛在空間操縱

作者透過執行操作證明IGN具有一致的潛在空間，與GAN所示的類似，圖6顯示了潛在空間演算法需要進行改寫的內容是：

#圖片

分佈外映射

#作者也驗證透過將來自各種分佈的圖像輸入到模型中以產生其等效的“自然圖像”，來驗證IGN“全局映射”的潛力需要進行改寫的內容是：

研究人員通過對噪聲圖像x n 進行去雜訊、對灰階影像進行著色，以及將草圖轉換為圖5中的真實影像來證明這一點需要進行改寫的內容是：

原始圖像x，這些逆任務是不適定的需要進行改寫的內容是：IGN能夠創建符合原始圖像結構的自然映射需要進行改寫的內容是：

如圖所示，連續應用f可以提高影像品質（例如，它消除了投影草圖中的黑暗和煙霧偽影）需要進行改寫的內容是：

圖片

Google下一步？

透過以上結果可以看出，IGN在推理方面更有效，在訓練後只需單步驟即可產生結果需要進行改寫的內容是：

它們還可以輸出更一致的結果，這可能會推廣到更多的應用中，例如醫學影像修復需要進行改寫的內容是：

論文作者表示：

我們認為這項工作是邁向模型的第一步，該模型學習將任意輸入映射到目標分佈，這是生成建模的新範式需要進行改寫的內容是：

接下來，研究團隊計畫用更多的數據來擴大IGN的規模，希望挖掘新的生成式AI模型的全部潛力需要進行改寫的內容是：

最新研究的程式碼，未來將在GitHub上公開需要進行改寫的內容是：

##參考文獻：

https://www.php.cn/link/2bd388f731f26312bfc0fe30da009595

#https://www .php.cn/link/e1e4e65fddf79af60aab04457a6565a6

以上是UC伯克利谷歌革新LLM，實現終結擴散模型並用於IGN單步生成逼真圖像，美劇成為靈感來源的詳細內容。更多資訊請關注PHP中文網其他相關文章！