Meta數字人2代來了！告別VR頭顯，iPhone一掃就行

Meta的逼真數字人2.0再次進化，現在可以用iPhone生成了，只要拿出手機掃一掃！ 

早在2019年3月，Facebook就在活動上展現了第一代數位人形象（Codec Avatar 1.0）。第一代數位人是利用多重神經網絡，用 132 個攝影機的專用擷取裝置產生的。

  

#一旦生成，在VR頭戴裝置上的5個相機。每隻眼部提供兩個內部視角，臉部以下提供三個外部視角。 就像下面這樣。

 

從那時開始，Facebook一直在不斷改進這些虛擬形象的逼真度，例如只需麥克風和眼球追蹤技術，就可以獲得更逼真的形象。最後在2020年8月進化為Codec Avatar 2.0版。 2.0版比1.0版最大的進步在於，相機不再需要掃描追蹤人臉，而是只要追蹤眼球的運動就行了。

 

新的神經網路將VR頭顯的眼動追蹤資料與麥克風的音訊饋送相融合，推斷佩戴者可能的面部表情。 將聲音模型與眼動模型資料回饋至混合模型，再經過融合模型計算處理，由渲染器輸出Avatar形象。

  

#今年5月，團隊更進一步宣布，2.0版的Avatar徹底達成了「完全逼真”的效果。 「我想說的是，未來十年的一個重大挑戰是，我們是否可以實現與面對面互動無法區分的遠距Avatar互動。」該計畫負責人之一的 Sheikh 說。

  

#看看上面的對比，a為真人照片，e為最終渲染產生的虛擬人，看起來好像沒有怎麼吹牛？ 別急，上面這是實驗中的比對結果，實際上應用場景下，目前Meta虛擬人的形像是這樣的。

  

#即使是最右邊「最逼真」的形象，還是卡通形象，這離「完全逼真」怕是還有點遠，不過Meta說的是十年，看看演示中的形象，這個目標實現的希望還是不小的。 

而且，虛擬人技術的進步，也不僅僅體現在逼真度一個方向，大可不必沿著一條路一直走，Meta也在嘗試其他方向。 比如，摘掉VR頭顯？  

以前，產生一個單獨的Codec頭像需要帶一個名為「MUGSY」專門捕捉設備，上面有171個高解析度相機，就是上圖這個（密恐退散）。 

Meta現在說，不用帶這東西了，有個iPhone就行了！ 只要一台帶有正面深度感測器的智慧型手機（例如帶有FaceID功能的iPhone），直接掃一掃（確切地說，是好幾十掃），就能生成逼真的虛擬人頭像。 

#

先保持面無表情，掃描一次，然後做出各種不同的表情，最多支持65種不同表情。 

Meta稱，用手機完成表情掃描，平均大概3-4分鐘。 當然這少不了算力的支持，最終生成的逼真虛擬人頭像，在一台有四個高階GPU的機器上，大概要6個小時。 當然，如果這個技術用在產品上，這些運算會交給雲端GPU，就不需要使用者自己的算力資源。   

那麼，為什麼之前需要100來個相機完成的事，現在只需一台手機就可以做到了呢？ 秘訣就是一種叫做Hypernetwork的通用模式。 這是一種神經網絡，可以產生另一個神經網路的權值。在上面的例子中，就是產生特定人的Codec Avatar.

  

##研究者通過掃描255個不同的人臉來訓練這個模型，使用的是先進的捕捉裝置，很像MUGSY，但只有90個攝影機。 

雖然說別的研究人員已經展示過用智慧型手機掃描產生的人像了，而Meta表示，產生的結果是SOTA等級的。 

然而，現在的系統還是不能應付眼鏡和長髮。而且只能到頭，身體的其它部位還不行。 

當然了，Meta在達到這個保真度之前，還有很長的路要走。 現在Meta的人像都有種卡通風格。而那種逼真的感覺隨著時間的推移慢慢降低了。 現在這種形象可能更適合用Quest 2玩兒Horizo​​n Worlds的族群。

  

#然而，Codec Avatar最終可能只會是單獨的選項，而不是現在這種卡通風格的升級。 Meta的CEO祖克柏是這樣描述未來的：你可能會用一個充滿表現主義的人像玩兒平常的遊戲，而用一個更逼真的人像來參加工作會議什麼的。

今年4月，負責Codec Avatar團隊的Yaser Sheikh表示，「現在來預測Codec Avatar還有多久能投入使用是不太可能的。」 不過，他明確表示，他認為專案是有很大進步的。 #

以上是Meta數字人2代來了！告別VR頭顯，iPhone一掃就行的詳細內容。更多資訊請關注PHP中文網其他相關文章！