OpenAI發布新的一致性模型，GAN速度達到18FPS，能夠即時產生高品質影像。

ChatGPT、Midjourney的火爆，讓其背後技術擴散模型成為「生成式AI」革命的基礎。

甚至，還受到業內研究者極力追捧，其風頭遠遠蓋過曾經逆襲天下的GAN。

就在擴散模型最能打的時候，竟有網友突然高調宣布：

Diffusion models時代終結！ Consistency models加冕為王！

這究竟是怎麼回事？ ？ ？

原來，OpenAI曾在3月發布了一篇重磅、且含金量十足的論文「Consistency Models」，並在今天在GitHub上公開了模型權重。

論文網址：https://arxiv.org/abs/2303.01469

#專案網址：https://github.com/openai/consistency_models

「一致性模型」在訓練速度上顛覆了擴散模型，能夠‘一步生成’，比擴散模型更快一個數量級完成簡單任務，而且用到的計算量還要少10-2000倍。

那麼，這到底有多快呢？

有網友表示，相當於在大約3.5秒內產生64張解析度為256x256的影像，也就是每秒18張！

而且，最新模型最主要優勢之一，就是不需要「對抗訓練」就能實現高品質樣本。

這篇研究由圖靈三巨頭之一Hinton學生，AlexNet的主要推動者Ilya Sutskever親筆撰寫，還有研發DALL-E 2的華人學者Mark Chen、Prafulla Dhariwal，研究內容有多硬派可想而知。

甚至還有網友稱，「一致性模型」才是未來的研究方向，相信我們未來一定會嘲笑擴散模型。

所以，擴散模型也要不存在了？

更快，更強，無需對抗

目前，這篇論文還是未定稿版本，研究還在繼續。

2021年，OpenAI執行長Sam Altman曾撰寫了一篇博客，討論摩爾定律應該如何應用於所有領域。

Altman前段時間又在推特上公開談到了人工智慧正在實現「蛙跳」。他表示，「新版摩爾定律可能很快就會出現，宇宙中的智慧數量每18個月翻一番。」

對於其他人來說，Altman的樂觀可能看起來毫無根據。

但OpenAI的首席科學家Ilya Sutskever帶領團隊做出的最新研究，恰恰為Altman的主張提供了強有力的支撐。

都說2022年是AIGC元年，是因為許多模型的泉湧背後都是基於擴散模型。

擴散模型的大紅大紫逐漸取代了GAN，並成為當前業界最有效的影像生成模型，就例如DALL.E 2、GoogleImagen都是擴散模型。

然而，最新提出的「一致性模型」已被證明可以在更短的時間內，輸出與擴散模型相同品質的內容。

這是因為，這種「一致性模型」採用了類似GAN的單步驟產生的過程。

相較之下，擴散模型採用了一種反覆取樣的過程，逐步消除影像中的雜訊。

這種方法雖然令人印象深刻，但需要依賴執行一百到數千步驟的步驟才能取得良好的結果，不僅操作成本高，而且速度慢。

擴散模型的持續迭代生成過程，比「一致性模型」消耗的計算量要多10-2000倍，甚至減慢了訓練過程中的推理速度。

「一致性模型」強大之處在於，必要時能夠在樣本品質和計算資源兩者間進行權衡。

此外，這個模型還能夠執行零樣本的資料編輯任務，例如影像修補，著色或筆觸引導的影像編輯。

使用在LSUN Bedroom 256^256上透過蒸餾訓練的一致性模型進行零樣本影像編輯

「一致性模型」還能在使用數學方程式時將資料轉換成噪聲，並確保結果輸出對於相似資料點是一致的，從而實現它們之間的平滑過渡。

這類方程式稱為「機率流常微分方程」（Probability Flow ODE）。

這項研究將這類模型命名為“一致性”，因為它們在輸入資料和輸出資料之間保持了這種自洽性。

這些模型既可以在蒸餾模式（distillation mode）下訓練，也可以在分離模式（isolation mode）下訓練。

在蒸餾模式中，模型能夠從預先訓練的擴散模型中提取數據，使其能夠在單一步驟中執行。

在分離模式下，模型完全不依賴擴散模型，從而使其成為完全獨立的模型。

值得注意的是，這兩種訓練方法都會將「對抗訓練」從中刪除。

不得不承認，對抗訓練確實會產生更強大的神經網絡，但其過程是較為迂迴。即它引入一組被錯誤分類的對抗性樣本，然後用正確的標籤重新訓練目標神經網路。

因此，對抗訓練這種方式也會導致深度學習模型預測的準確性略有下降，甚至它可能在機器人應用中帶來意想不到的副作用。

實驗結果表明，用於訓練「一致性模型」的蒸餾技術優於用於擴散模型的。

「一致性模型」在 CIFAR10影像集和 ImageNet 64x64資料集上，分別獲得了3.55和6.20的最新和最先進的FID分數。

這簡直就是實作了，擴散模型的質量GAN的速度，雙重完美。

2月份，Sutskever曾發布了一則推文暗示，

許多人認為偉大的AI進步必須包含一個新的「想法」。但事實並非如此：許多AI的最偉大進步都是以這樣的形式出現的，嗯，原來這個熟悉的不起眼的想法，如果做得好，會變得令人難以置信。

最新研究正好證明了這一點，基於舊概念的微調可以改變一切。

作者介紹

身為OpenAI的共同創辦人兼首席科學家，Ilya Sutskever無須贅述，看看這張「頂級扛把子」大合照就夠了。

（圖片最右）

# Yang Song（宋颮）

論文一作宋颯，是OpenAI的研究科學家。

此前，他在清華大學獲得數學和物理學學士學位，並在史丹佛大學獲得了電腦科學碩士和博士學位。此外，他也曾在Google大腦、Uber ATG和微軟研究院做過實習。

作為機器學習的研究人員，他專注於開發可擴展的方法來建模、分析和產生複雜的高維度資料。他的興趣橫跨多個領域，包括生成建模、表徵學習、機率推理、人工智慧安全和AI for science。

Mark Chen

#Mark Chen是OpenAI多模態和前沿研究部門的負責人，同時也是美國電腦奧林匹克隊的教練。

此前，他在麻省理工學院獲得了數學與電腦科學學士學位，並曾在幾家自營交易公司（包括Jane Street Capital）擔任量化交易員。

加入OpenAI後，他帶領團隊開發了DALL-E 2，並將視覺引入GPT-4。此外，他還領導了Codex的開發，參與了GPT-3項目，並創建了Image GPT。

Prafulla Dhariwal

Prafulla Dhariwal是OpenAI的研究科學家，從事生成模型和無監督學習。在此之前，他是麻省理工學院的本科生，學習電腦、數學和物理學。

有趣的是，擴散模型可以在影像生成領域吊打GAN，正是他在2021年的NeurIPS論文中提出的。

網友：終於做了回Open AI

OpenAI今天開放了一致性模型原始碼。

終於做回了Open AI。

面對每天太多瘋狂突破和宣告。網友發問：我們是稍作休息，還是加速前進？

與擴散模型相比，這將大大節省研究人員訓練模型的節省成本。

還有網友給了「一致性模型」的未來用例：即時編輯、NeRF渲染、即時遊戲渲染。

目前倒是沒有demo演示，但值得確定的能夠實現圖像生成的速度大幅提升總是贏家。

我們直接從撥號升級到寬頻了。

腦機接口，外加幾乎是即時產生的超逼真影像。

以上是OpenAI發布新的一致性模型，GAN速度達到18FPS，能夠即時產生高品質影像。的詳細內容。更多資訊請關注PHP中文網其他相關文章！