照片也能時光旅行？ 「穿越時空的人臉」新模型化身AI時光機

目前，人工智慧和深度學習技術正成為文字-圖像生成、超解析度等應用的重要基礎。

現在，人們可以輸入圖像的高細節描述，從而獲得與給定文字相對應的逼真圖像。

也可以將一幅影像從低解析度轉為高解析度，為圖片產生一系列生動細節。

神經網路似乎有無窮的能力。那麼，這些方法是否能用於時光穿梭呢？

例如，你有沒有想過，如果你自己的照片是在五十年或一百年前拍攝的，會是什麼樣子？如果你最喜歡的男演員或女演員出生在一個與他們完全不同的時代，他們會是什麼樣子？

時光穿梭第一步：解決資料集難題

#鑑於最近StyleGAN在高品質人臉合成和編輯方面的成功，許多工作都集中在使用預先訓練好的StyleGAN模型進行人像編輯。

然而，現有的技術通常會處理定義明確的語意屬性。例如，新增或刪除一個微笑或修改圖片中人像的年齡。

這項工作背後的邏輯是保持這些構成一個人身分的屬性不變，同時，用這輛人工智慧的馬車送他們回到過去或去往未來。

在這種情況下，人們面對的主要問題是缺乏合適的資料集。眾所周知，即使有完美的神經網路模型，資料集仍然是每個人工智慧研究者的噩夢。

資料不平衡、不充分或不可用是深度學習領域常見的問題，會導致資料偏誤或結果不準確。

為了克服這個問題，康乃爾大學的華裔科學家Eric Ming Chen（左2）主導的研究團隊創建了FTT（穿越時光的人臉）資料集。

Chen與來自喬治亞大學的華人科學家Jin Sun等人共同發刊，詳細解釋了「穿越時光的人臉」資料集的運作原理。

該資料集中的圖片來自維基共享資源（Wikimedia Commons）。該平台擁有眾包和開放許可的五千萬張圖片。 FTT分析了26,247張19至21世紀的肖像，平均每十年大約有1,900張圖片。

GANs父子層次結構，化身AI「時光機」

這些變化是如何實現的呢？

研究團隊借助了StyleGAN（生成對抗網路）父子層次結構。特殊之處在於，他們沒有選擇訓練一個涵蓋所有年代的單一模型，而是為每十年的圖像集添加一個子模型，透過訓練模型集更好地綜合每個時期的資料分佈。

同時，為了保留被描述者的身分和姿勢，研究團隊採用一個父模型，將這些資訊映射到隱空間向量中。

首先，訓練一個StyleGAN模型集，每個年代各設定一個，使用對抗性損失和身份損失來訓練一張混合人臉圖。這張人臉圖是子模型的輸出，經過修改後，混合圖與父模型的顏色相似。

研究團隊提示，在此過程中，有必要避免由於ArcFace（一種流行的臉部辨識模型）中的特徵計算導致的身份損失的不一致性。由於ArcFace模型只在現代圖像上訓練，研究人員發現它在歷史圖像上的表現很差。

之後，每張真實影像被投射到十年流形上的一個向量w上（下圖中的1960）。在這個向量上，生成器G′t被訓練來將精細化細節轉移到所有的子模型上。最後，在輸入影像上套用一個遮罩，以鼓勵模型保留人像的臉部細節。

在微調全部子模型後，研究團隊發現，FTT的不同年代的子模型（下圖橙色）在髮型、妝容發生改變的同時，都成功捕捉到父模型中（​​下圖藍色）每張圖片的人像特徵。

這項全新的合成影像框架有兩大亮點：首先，它使人像穿越時光的願望成真；其次，在對人臉進行時光轉換時，該技術還能保留人像的大部分細節。

儘管它在資料集中還存在微小偏差（例如，在20世紀初的圖像中出現了幾個短髮的女性），導致輸出圖像的不一致，但與以前的工作相比，這個模型在真實性上有了很大改善。

「穿越時光的人臉」開啟了時光穿梭的第一步。如此高的準確度讓人不禁遐想：這次跨越時光的是人像，那麼下次呢？

參考資料：

https://www.marktechpost.com/2022/11/09/latest-artificial-intelligence-ai-research-proposes-a-method-to-transform -faces-through-time/

https://facesthroughtime.github.io/

以上是照片也能時光旅行？ 「穿越時空的人臉」新模型化身AI時光機的詳細內容。更多資訊請關注PHP中文網其他相關文章！