何愷明與MIT合作：簡單框架實現無條件影像產生的最新突破

大佬何恺明还未正式入职MIT，但和MIT的第一篇合作研究已经出来了：

他和MIT师生一起开发了一个自条件图像生成框架，名叫RCG（代码已开源）。

这个框架结构非常简单但效果拔群，直接在ImageNet-1K数据集上实现了无条件图像生成的新SOTA。

它生成的图像不需要任何人类注释（也就是提示词、类标签什么的），就能做到既保真又具有多样性。

这样的它不仅显著提高了无条件图像生成的水平，还能跟当前最好的条件生成方法一较高下。

用何恺明团队自己的话来说：

有条件和无条件生成任务之间长期存在的性能差距，终于在这一刻被弥补了。

那么，它究竟是如何做到的呢？

类似自监督学习的自条件生成

首先，所谓无条件生成，就是模型在没有输入信号帮助的情况下直接捕获数据分布生成内容。

这种训练方式很困难，因此一直与条件生成存在很大的性能差距——就像无监督学习无法与监督学习相比

正如自我监督学习的出现一样，它也改变了这种情况

在无条件图像生成领域，也有一个类似于自监督学习概念的自条件生成方法。

相比传统的无条件生成简单地将噪声分布映射到图像分布，这种方法主要将像素生成过程设置在从数据分布本身导出的表示分布上。

它有望超越条件图像生成，并推动诸如分子设计或药物发现这种不需要人类给注释的应用往前发展（这也是为什么条件生成图像发展得这么好，我们还要重视无条件生成）。

现在，基于这个自条件生成概念，何恺明团队首先开发了一个表示扩散模型RDM。

通过自监督图像编码器从图像中截取，主要用于生成低维自监督图像表示

它的核心架构如下：

首先是输入层，它负责将表征投射到隐藏维度C，接着是N个全连接块，最后是一个输出层，负责把隐藏层的潜在特征重新投射（转换）到原始表征维度。

其中每一层都包含一个LayerNorm层、一个SiLU层以及一个线性层。

这样的RDM具有两个优点：

它的特点之一是具有很强的多样性，另一个特点是计算开销很小

在此之后，团队借助RDM提出了今天的主角：表示条件图像生成架构RCG

它是一个简单的自条件生成框架，由三个组件组成：

一个是SSL图像编码器，用于将图像分布转换为紧凑的表示分布。

一个是RDM，用于对该分布进行建模和采样。

最后是一个像素生成器MAGE，用于根据表示来处理图像像。

MAGE的工作方式是在token化的图像中添加随机掩码，并要求网络以从同一图像中提取的表示为条件来重建丢失的token

经过测试发现，最终结果显示，尽管这个自条件生成框架的结构简单，但其效果非常出色

在ImageNet 256×256上，RCG实现了3.56的FID和186.9的IS（Inception Score）得分。

相比之下，在它之前最厉害的无条件生成方法FID分数为7.04，IS得分为123.5。

對於RCG來說，它不僅在條件生成方面表現出色，而且在與該領域基準模型相比時，它的水平相當甚至超過

最後，在無分類器引導的情況下，RCG的成績還能進一步提升到3.31（FID）和253.4（IS）。

團隊表達了：

這些結果顯示，條件影像生成模型具有巨大的潛力，可能預示著這一領域的新時代即將來臨

團隊介紹

本文一共三位作者：

一作是MIT博士生黎天鴻，本科畢業於清華姚班 ，研究方向為跨模態整合感測技術。

他的個人主頁非常有趣，還專門放了一個食譜合集——研究和烹飪是他最熱衷的兩件事

另一位作者是MIT電機工程與電腦科學系（EECS）教授、MIT無線網路和行動運算中心主任Dina Katabi，她是今年斯隆獎的獲得者，並已當選美國國家科學院院士。

最後，通訊作者為何愷明，他將在明年正式回歸學界、離開Meta加入MIT電機工程和電腦科學系，與Dina Katabi成為同事。

請點擊以下連結查看論文：https://arxiv.org/abs/2312.03701

以上是何愷明與MIT合作：簡單框架實現無條件影像產生的最新突破的詳細內容。更多資訊請關注PHP中文網其他相關文章！