搜尋
首頁科技週邊人工智慧AI從零開始學會玩《我的世界》,DeepMind AI通用化取得突破

通用智能需要解決多個領域的任務。人們認為強化學習演算法具有這種潛力,但它一直受到為新任務調整所需資源和知識的阻礙。在 DeepMind 的一項新研究中,研究人員展示了基於世界模型的通用可擴展的演算法 DreamerV3,它在具有固定超參數的廣泛領域中優於先前的方法。

DreamerV3 符合的領域包括連續和離散動作、視覺和低維輸入、2D 和 3D 世界、不同的資料量、獎勵頻率和獎勵等級。值得一提的是,DreamerV3 是第一個在沒有人類資料或主動教育的情況下從零開始在《我的世界》(Minecraft)中收集鑽石的演算法 。研究人員表示,這樣的通用演算法可以使強化學習廣泛應用,並有望擴展到硬決策問題。

鑽石是《我的世界》遊戲中最受歡迎的物品之一,它是遊戲中最稀有的物品之一,可被用來製作遊戲中絕大多數最強的工具、武器以及盔甲。因為只有在最深的岩層中才能找到鑽石,所以產量很低。

DreamerV3 是第一個在我的世界中收集鑽石的演算法,無需人工演示或手動製作課程。 該影片顯示了它收集的第一顆鑽石,發生在 30M 環境步數 / 17 天遊戲時間之內。

如果你對AI 玩我的世界沒有什麼概念,英偉達AI 科學家Jim Fan 表示,和AlphaGo 下圍棋比,我的世界任務數量是無限的,環境變化是無限的,知識也是有隱藏訊息的。

AI從零開始學會玩《我的世界》,DeepMind AI通用化取得突破

對人類來說,在我的世界裡探索和建構是有趣的事,圍棋則顯得有些複雜,對於AI 來說,情況剛好相反。 AlphaGo 在 6 年前擊敗了人類冠軍,但現在也沒有可以和我的世界人類高手媲美的演算法出現。

早在2019 年夏天,我的世界的開發公司就提出了「鑽石挑戰」,懸賞可以在遊戲裡找鑽石的AI 演算法,直到NeurIPS 2019 上,在提交的660 多件參賽作品中,沒有一個AI 能勝任這項任務。

但DreamerV3 的出現改變了這一現狀,鑽石是一項高度組合和長期的任務,需要復雜的探索和規劃,新演算法能在沒有任何人工數據輔助的情況下收集鑽石。或許效率還有很大改進空間,但 AI 智能體現在可以從頭開始學習收集鑽石這一事實本身,是一個重要的里程碑

DreamerV3 方法概述

論文《Mastering Diverse Domains through World Models》:

AI從零開始學會玩《我的世界》,DeepMind AI通用化取得突破

論文連結:https://arxiv.org/abs/2301.04104v1

DreamerV3 演算法由三個神經網路組成,分別是世界模型(world model)、critic 和actor。這三個神經網路在不共享梯度的情況下根據回放經驗同時訓練,下圖 3(a)展示了世界模型學習,圖(b)展示了 Actor Critic 學習。

AI從零開始學會玩《我的世界》,DeepMind AI通用化取得突破

為了取得跨域成功,這些元件需要適應不同的訊號幅度,並在它們的目標中穩健地平衡項。這是具有挑戰性的,因為不僅針對同一領域內的相似任務,而且還要使用固定超參數跨不同領域進行學習。

DeepMind 首先解釋了用於預測未知數量級的簡單變換,然後介紹了世界模型、critic、actor 以及它們的穩健學習目標。結果發現,結合 KL 平衡和自由位可以使世界模型無需調整學習,並且在不誇大大小回報(small return)的情況下,縮小大回報實現了固定的策略熵正則化器。

Symlog 預測

重建輸入以及預測獎勵和價值具有挑戰性,因為它們的規模可能會因領域而異。使用平方損失預測大目標會導致發散,而絕對損失和 Huber 損失會使學習停滯。另一方面,基於運行統計資料的歸一化目標將非平穩性引入最佳化。因此,DeepMind 提出將 symlog 預測作為解決這個難題的簡單方法。

為此,具有輸入 x 和參數 θ 的神經網路 f (x, θ) 學習預測其目標 y 的變換版本。為了讀出該網路的預測 y^,DeepMind 使用了逆變換,如下公式(1)所示。

AI從零開始學會玩《我的世界》,DeepMind AI通用化取得突破

從下圖 4 可以看到,使用對數(logarithm)作為變換無法預測具有負值的目標。

AI從零開始學會玩《我的世界》,DeepMind AI通用化取得突破

因此,DeepMind 從雙對稱對數族中選擇一個函數,命名為 symlog 並作為變換,同時將 symexp 函數作為逆函數。

AI從零開始學會玩《我的世界》,DeepMind AI通用化取得突破

symlog 函數壓縮大的正值和負值的大小。 DreamerV3 在解碼器、獎勵預測器和 critic 中使用 symlog 預測,也使用 symlog 函數壓縮編碼器的輸入。

世界模型學習

世界模型透過自編碼學習感官輸入的緊湊表示,並透過預測未來的表示和潛在行為的獎勵來實現規劃。

如上圖 3 所示,DeepMind 將世界模型實作為循環狀態空間模型 (RSSM)。首先,編碼器將感官輸入 x_t 映射到隨機表示 z_t,然後具有循環狀態 h_t 的序列模型在給定過去動作 a_t−1 的情況下預測這些表示的序列。 h_t 和 z_t 的串聯形成模型狀態,從中預測獎勵 r_t 和 episode 連續標誌 c_t ∈ {0, 1} 並重建輸入以確保資訊表示,具體如下公式(3)所示。

AI從零開始學會玩《我的世界》,DeepMind AI通用化取得突破

下圖 5 視覺化了 world world 的長期影片預測。編碼器和解碼器使用卷積神經網路 (CNN) 進行視覺輸入,使用多層感知器 (MLP) 進行低維輸入。動態、獎勵和持續預測器也是 MLPs,這些表示從 softmax 分佈的向量中取樣而來。 DeepMind 在取樣步驟中使用了直通梯度。

AI從零開始學會玩《我的世界》,DeepMind AI通用化取得突破

Actor Critic 學習

Actor Critic 神經網路完全從世界模型預測的抽象序列中學習行為。在環境互動期間,DeepMind 透過從 actor 網路中取樣來選擇動作,無需進行前瞻性規劃。

actor 和 critic 在模型狀態AI從零開始學會玩《我的世界》,DeepMind AI通用化取得突破下運行,進而可以從世界模型學得的馬可夫表示中獲益。 actor 的目標是在每個模型狀態的折扣因子 γ = 0.997 時最大化預期回報AI從零開始學會玩《我的世界》,DeepMind AI通用化取得突破。為了考慮超出預測範圍 T = 16 的獎勵,critic 學習預測當前 actor 行為下每個狀態的報酬。

AI從零開始學會玩《我的世界》,DeepMind AI通用化取得突破

從重播輸入的表示開始,動態預測器和actor 產生一系列預期的模型狀態s_1:T 、動作a_1:T 、獎勵r_1:T 和連續標誌c_1:T 。為了估計超出預測範圍的獎勵的回報,DeepMind 計算了自舉的 λ 回報,它整合了預期回報和價值。

AI從零開始學會玩《我的世界》,DeepMind AI通用化取得突破

#

實驗結果

DeepMind 進行了廣泛的實證研究,以評估DreamerV3 在固定超參數下跨不同領域(超過150 個任務)的通用性和可擴展性,並與已有文獻中SOTA 方法進行比較。此外還將 DreamerV3 應用於具有挑戰性的電玩遊戲《我的世界》。 

對於 DreamerV3,DeepMind 直接報告隨機訓練策略的效能,並避免使用確定性策略進行單獨評估運行,從而簡化了設定。所有的 DreamerV3 智能體均在一個 Nvidia V100 GPU 上進行訓練。下表 1 為基準概覽。

AI從零開始學會玩《我的世界》,DeepMind AI通用化取得突破

為了評估DreamerV3 的通用性,DeepMind 在七個領域進行了廣泛的實證評估,包括連續和離散動作、視覺和低維輸入、密集和稀疏獎勵、不同獎勵尺度、2D 和3D 世界以及程式生成。下圖 1 的結果發現,DreamerV3 在所有領域都實現了強大的效能,並在其中 4 個領域的表現優於所有先前的演算法,同時在所有基準測試中使用了固定超參數。

AI從零開始學會玩《我的世界》,DeepMind AI通用化取得突破

更多技術細節和實驗結果請參考原始論文。

以上是AI從零開始學會玩《我的世界》,DeepMind AI通用化取得突破的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
烹飪創新:人工智能如何改變食品服務烹飪創新:人工智能如何改變食品服務Apr 12, 2025 pm 12:09 PM

AI增強食物準備 在新生的使用中,AI系統越來越多地用於食品製備中。 AI驅動的機器人在廚房中用於自動化食物準備任務,例如翻轉漢堡,製作披薩或組裝SA

Python名稱空間和可變範圍的綜合指南Python名稱空間和可變範圍的綜合指南Apr 12, 2025 pm 12:00 PM

介紹 了解Python函數中變量的名稱空間,範圍和行為對於有效編寫和避免運行時錯誤或異常至關重要。在本文中,我們將研究各種ASP

視覺語言模型(VLMS)的綜合指南視覺語言模型(VLMS)的綜合指南Apr 12, 2025 am 11:58 AM

介紹 想像一下,穿過​​美術館,周圍是生動的繪畫和雕塑。現在,如果您可以向每一部分提出一個問題並獲得有意義的答案,該怎麼辦?您可能會問:“您在講什麼故事?

聯發科技與kompanio Ultra和Dimenty 9400增強優質陣容聯發科技與kompanio Ultra和Dimenty 9400增強優質陣容Apr 12, 2025 am 11:52 AM

繼續使用產品節奏,本月,Mediatek發表了一系列公告,包括新的Kompanio Ultra和Dimenty 9400。這些產品填補了Mediatek業務中更傳統的部分,其中包括智能手機的芯片

本週在AI:沃爾瑪在時尚趨勢之前設定了時尚趨勢本週在AI:沃爾瑪在時尚趨勢之前設定了時尚趨勢Apr 12, 2025 am 11:51 AM

#1 Google推出了Agent2Agent 故事:現在是星期一早上。作為AI驅動的招聘人員,您更聰明,而不是更努力。您在手機上登錄公司的儀表板。它告訴您三個關鍵角色已被採購,審查和計劃的FO

生成的AI遇到心理摩托車生成的AI遇到心理摩托車Apr 12, 2025 am 11:50 AM

我猜你一定是。 我們似乎都知道,心理障礙由各種chat不休,這些chat不休,這些chat不休,混合了各種心理術語,並且常常是難以理解的或完全荒謬的。您需要做的一切才能噴出fo

原型:科學家將紙變成塑料原型:科學家將紙變成塑料Apr 12, 2025 am 11:49 AM

根據本週發表的一項新研究,只有在2022年製造的塑料中,只有9.5%的塑料是由回收材料製成的。同時,塑料在垃圾填埋場和生態系統中繼續堆積。 但是有幫助。一支恩金團隊

AI分析師的崛起:為什麼這可能是AI革命中最重要的工作AI分析師的崛起:為什麼這可能是AI革命中最重要的工作Apr 12, 2025 am 11:41 AM

我最近與領先的企業分析平台Alteryx首席執行官安迪·麥克米倫(Andy Macmillan)的對話強調了這一在AI革命中的關鍵但不足的作用。正如Macmillan所解釋的那樣,原始業務數據與AI-Ready Informat之間的差距

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
3 週前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解鎖Myrise中的所有內容
4 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。

SAP NetWeaver Server Adapter for Eclipse

SAP NetWeaver Server Adapter for Eclipse

將Eclipse與SAP NetWeaver應用伺服器整合。

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

Dreamweaver Mac版

Dreamweaver Mac版

視覺化網頁開發工具

SublimeText3 Linux新版

SublimeText3 Linux新版

SublimeText3 Linux最新版