五官亂飛，張嘴、瞪眼、挑眉，AI都能模仿到位，影片詐騙要防不住了

如此強大的AI模仿能力，真的防不住，完全防不住。現在AI的發展已經達到這種程度了嗎？

你前腳讓自己的五官亂飛，後腳，一模一樣的表情就被復現出來，瞪眼、挑眉、噘嘴，不管多麼誇張的表情，都模仿的非常到位。

加大難度，讓眉毛挑的再高些，眼睛睜的再大些，甚至連嘴型都是歪的，虛擬人物頭像也能完美復現表情。

當你在左邊調整參數時，右邊的虛擬頭像也會相應地改變動作

給嘴巴、眼睛一個特寫，模仿的不能說完全相同，只能說表情一模一樣（最右邊）。

這項研究來自慕尼黑工業大學等機構，他們提出了GaussianAvatars，可用來創建在表情，姿態和視角（ viewpoint ）方面完全可控的逼真頭部虛擬（ head avatars）。

• #論文網址：https://arxiv.org/pdf/2312.02069.pdf
• 論文首頁：https://shenhanqian.github.io/gaussian-avatars

在電腦視覺和圖形學領域，創造出能夠動態展現人類虛擬頭部一直是個具有挑戰性的問題。特別是在表現極端面部表情和細節方面，例如皺紋和頭髮等細節的捕捉相當困難，生成的虛擬人物往往會出現視覺偽影的問題

在過去的一段時間裡，神經輻射場（NeRF）及其變種已經在從多視圖觀測中重建靜態場景方面取得了令人印象深刻的成果。隨後的研究擴展了這些方法，使得NeRF能夠用於人類客製化場景的動態場景建模。然而，這些方法的一個缺點是缺乏可控性，因此無法很好地適應新的姿態和表情

最近出現的「3D高斯噴灑」方法實現了比NeRF更高的渲染質量，可用於即時視圖合成。然而，此方法不支援重建輸出的動畫

本文提出了 GaussianAvatars，這是基於三維高斯 splats 的動態 3D 人頭表示方法。

具體而言，給定一個 FLAME（對整個頭部進行建模）網格 ，他們在每個三角形的中心初始化一個 3D 高斯。當 FLAME 網格動畫化時，每個高斯模型都會根據其父三角形進行平移、旋轉和縮放。然後，3D 高斯在網格頂部形成輻射場，補償網格未準確對齊或無法重現某些視覺元素的區域。

為了保持虛擬人物的高度真實感，本文採用了綁定繼承策略。同時，本文也研究如何在保持真實感和穩定性之間取得平衡，以實現虛擬人物的新穎表情和姿態動畫化。研究結果顯示，與現有研究相比，GaussianAvatars在新穎視圖渲染和駕駛視訊重現等方面表現出色

##方法簡介

如下圖2 所示，GaussianAvatars 的輸入是人頭的多視圖視訊記錄。對於每個時間步，GaussianAvatars 使用光度頭部追蹤器（head tracker）將 FLAME 參數與多視圖觀察和已知相機參數相匹配。

FLAME 網格的頂點位置各不相同，但拓樸結構相同，因此研究團隊可以在網格三角形和 3D 高斯splat之間建立一致的連結。利用可微分的圖塊光柵器（tile rasterizer）將splat渲染成影像。然後，透過真實影像監督，學習逼真的人體頭部頭像

為了獲得最佳質量，靜態場景需要透過一組自適應密度控制操作來緊湊和修剪高斯splat。為了實現這一點，研究團隊設計了一種綁定繼承策略，使新的高斯點與FLAME網格保持綁定，同時不破壞三角形和splat之間的連接

實驗結果

該研究使用新的視角合成技術來評估重建質量，並透過自我複現來評估動畫的保真度。下圖3顯示了不同方法之間的定性比較結果。在新的視角合成方面，所有的方法都能夠產生合理的渲染結果。但是，透過仔細檢查PointAvatar的結果，可以發現由於其固定的點大小，會出現點狀偽影。而採用3D高斯各向異性縮放技術的GaussianAvatars則能夠緩解這個問題

#我們可以從表1的數量比較中得到相似的結論。與其他方法相比，GaussianAvatars在新視圖合成方面表現出色，self-reenactment方面也很出色，在LPIPS方面感知差異明顯降低。需要注意的是，self-reenactment是基於FLAME網格追蹤的，可能無法完全對齊目標圖像

為了測試虛擬形象動畫在現實世界中的表現，研究進行了圖4的跨身分再現實驗。結果顯示，虛擬形象準確地再現了源演員的眨眼和嘴巴動作，呈現出活潑複雜的動態，如皺紋等

##為了驗證方法組件的有效性，研究也進行了消融實驗，結果如下圖。

#

以上是五官亂飛，張嘴、瞪眼、挑眉，AI都能模仿到位，影片詐騙要防不住了的詳細內容。更多資訊請關注PHP中文網其他相關文章！