剛剛，Google發布基礎世界模型：11B參數，能產生可互動虛擬世界

一鍵生成可玩遊戲世界。

問世才兩個星期，谷歌的世界模型也來了，能力看起來更強大：它產生的虛擬世界「自主可控」。 剛剛，Google定義了生成式 AI 的全新範式 —— 生成式互動環境（Genie，Generative Interactive Environments）。 Genie 是一個 110 億參數的基礎世界模型，可以透過單張圖像提示產生可玩的互動式環境。

我們可以用它從未見過的圖像進行提示，然後與自己想像中的虛擬世界進行互動。

不管是合成影像、照片甚至手繪草圖，Genie 都可以從中產生無窮無盡的可玩世界。

Genie 由三個部分組成：一個潛在動作模型，用於推斷每對幀之間的潛在動作；一個視頻tokenizer，用於將原始視頻幀轉換為離散token；一個動態模型，用於在給定潛在動作和過去幀token 的情況下，預測影片的下一幀。

看到這項技術發布，很多人表示：Google又要來領導 AI 技術了。

谷歌也提出，Genie 學到的潛在動作可以轉移到真實的人類設計的環境中。在這個假設基礎上，Google針對機器人影片訓練了一個 Genie 模型，作為機器人領域潛在世界模型應用的概念驗證。

被顛覆的遊戲、設計、XR、機器人產業…

我們可以從四個維度來理解 Genie 的革命性意義。

首先，Genie 可以在沒有動作標籤時學習控制。

具體來說，Genie 借助大量公開的網路視訊資料集進行了訓練，沒有任何動作標籤資料。

這本來是一個挑戰，因為網路影片通常沒有關於正在執行哪個動作、應該控製圖像哪一部分的標籤，但 Genie 能夠專門從網路影片中學習細粒度的控制。

對於 Genie 而言，它不僅了解觀察到的哪些部分通常是可控的，而且還能推斷出在生成環境中一致的各種潛在動作。需要注意的是，相同的潛在動作如何在不同的 prompt 影像中產生相似的行為。

其次，Genie 可以培養下一代「創作者」（creator）。

只需要一張影像就可以創造一個全新的互動環境，這為產生和進入虛擬世界的各種新方法打開了大門。例如，我們可以使用最先進的文字生成圖像模型來產生起始幀，然後與 Genie 一起產生動態互動環境。

在如下動圖中，谷歌使用Imagen2 生成了圖像，再使用Genie 將它們變為現實：

Genie 能做到的不止如此，它還可以應用到草圖等人類設計相關的創作領域。

或者，應用在真實世界的圖像中：

再次，Google認為 Genie 是實現通用智能體的基石之作。過去的研究表明，遊戲環境可以成為開發 AI 智能體的有效測試平台，但常常受到可用遊戲數量的限制。

現在藉助 Genie，未來的 AI 智能體可以在新生成世界的無休止的 curriculum 中接受訓練。谷歌提出一個概念證明，即 Genie 學到的潛在動作可以轉移到真實的人類設計的環境中。

最後，Google表示，Genie 是一種通用方法，可以應用於多個領域，而不需要任何額外的領域知識。

儘管所用數據更多是 2D Platformer 遊戲遊戲和機器人視頻，但該方法具備通用性，適用於任何類型的領域，並可擴展到更大的互聯網數據集。

谷歌在 RT1 的無動作影片上訓練了一個較小的 2.5B 模型。與 Platformers 的情況一樣，具有相同潛在動作序列的軌跡通常會表現出相似的行為。

這表示 Genie 能夠學習一致的動作空間，這可能適合訓練機器人，打造通用化的具身智慧。

技術揭秘：論文《Genie: Generative Interactive Environments》已公佈

谷歌 DeepMind 已經放出了 Genie 論文。

• 論文地址：https://arxiv.org/pdf/2402.15391.pdf

• 專案首頁：https://sites.google.com/view/genie-20244 1

論文的共同一作多達6 人，其中包括華人學者石宇歌（Yuge (Jimmy) Shi）。她目前是Google DeepMind 研究科學家， 2023 年獲得牛津大學機器學習博士學位。

方法介紹

Genie 架構中的多個組件是基於 Vision Transformer (ViT) 建構而成。值得注意的是，由於 Transformer 的二次記憶體成本為影片領域帶來了挑戰，影片最多可以包含 ?(10^4 ) 個 token。因此，Google在所有模型元件中採用記憶體高效的 ST-transformer 架構（見圖 4），以此平衡模型容量與運算約束。

Genie 包含三個關鍵組件（如下圖所示）：

1) 潛在動作模型（Latent Action Model ，LAM），用於推理每對幀之間的潛在動作?；

2)視訊分詞器（Tokenizer），用於將原始視訊幀轉換為離散token ?；

3) 動態模型，給定潛在動作和過去幀的token，用來預測視訊的下一幀。

具體而言：

潛在動作模型：為了實現可控的視頻生成，谷歌將前一幀所採取的動作作為未來幀預測的條件。然而，此類動作標籤在網路的影片中可用的很少，並且獲取動作註釋的成本會很高。相反，Google以完全無監督的方式學習潛在動作（見圖 5）。

視訊分詞器：在先前研究的基礎上，Google將視訊壓縮為離散 token，以降低維度並實現更高品質的視訊生成（見圖 6）。在實現過程中，Google使用了 VQ-VAE，其影片的 ? 幀作為輸入，從而為每個幀生成離散表示：，其中? 是離散潛在空間大小。分詞器在整個影片序列上使用標準的 VQ-VQAE 進行訓練。

動態模型：是一個僅解碼器的 MaskGIT transformer（圖 7）。

Genie 的推理過程如下所示

實驗結果

到實驗來探討模型大小和批次大小的影響，實驗結果如下圖9 所示。

可以觀察到，模型大小增加，最終訓練損失會減少。這有力地表明 Genie 方法受益於擴展。同時，增加批次大小也會為模型效能帶來增益。

定性結果

谷歌展示了在 Platformers 資料集上訓練的 Genie 11B 參數模型和在 Robotics 資料集上訓練的較小模型的定性實驗結果。結果表明，Genie 模型可以產生跨不同領域的高品質、可控視訊。值得注意的是，Google僅使用分佈外（OOD）圖像 prompt 來定性評估其平台訓練模型，這表明 Genie 方法的穩健性和大規模資料訓練的價值。

智能體訓練。或許有一天，Genie 可以被用來作為訓練多任務智能體的基礎世界模型。在圖 14 中，作者展示了該模型已經可以用於在給定起始幀的全新 RL 環境中產生不同的軌跡。

作者在程式產生的 2D 平台遊戲環境 CoinRun 中進行評估，並與能夠存取專家操作作為上限的預言機行為克隆 (BC) 模型進行比較。

消融研究。選擇在設計潛在動作模型時，作者仔細考慮了要使用的輸入類型。雖然最終選擇使用原始圖像（像素），但作者在設計 Genie 時針對使用標記化圖像的替代方案（在圖 5 中用 z 替換 x）來評估這一選擇。這種替代方法稱為「token 輸入」模型（請參閱表 2）。

分詞器架構消融。作者比較了三種分詞器選擇的性能，包括 1)（僅空間）ViT、2）（時空）ST-ViViT 和 3）（時空）CViViT（表 3）。

以上是剛剛，Google發布基礎世界模型：11B參數，能產生可互動虛擬世界的詳細內容。更多資訊請關注PHP中文網其他相關文章！