文字圖片編輯新範式，單一模型實現多文本引導圖像編輯

論文簡單概述

利用文字編輯圖像的相關研究非常火熱，最近許多研究都基於去噪擴散模型來提升效果而少有學者繼續關注GAN 的相關研究。本文基於經典的 StyleGAN 和 CLIP 並提出語義調製模組，從而對不同的文本僅需要單個模型就可以進行文本 - 圖像編輯。

本文首先利用已有的編碼器將需要編輯的圖像轉換到StyleGAN 的W^ 語意空間中的潛在編碼w，再透過提出的語意調變模組對該隱編碼進行自適應的調製。此語義調製模組包括語義對齊和語義注入模組，首先透過注意力機制對齊文字編碼和GAN 的隱編碼之間的語義，再將文字訊息注入到對齊後的隱編碼中，從而保證該隱編碼擁有文本資訊從而達到利用文字編輯圖像能力。

不同於經典的StyleCLIP 模型，我們的模型不需要對每個文字單獨訓練一個模型，一個模型就可以響應多個文字從而對圖像做有效的編輯，所以我們的模型成為FFCLIP-Free Form Text-Driven Image Manipulation。同時我們的模型在經典的教堂，人臉以及汽車資料集上都取得了非常好的效果。

• 論文網址：https://arxiv.org/pdf/2210.07883.pdf
• #Github 網址：https://github.com/KumapowerLIU/FFCLIP

背景與啟示

#最近，描述使用者意圖的自由文字提示已被用於編輯StyleGAN 潛在空間以進行影像編輯操作[1,2]。一句話（例如，‘Blue’）或短語（例如，‘Man aged 10’）作為輸入，這些方法透過調製 StyleGAN 潛在空間中的潛在編碼來相應地編輯所描述的圖像屬性。

精確的文字 - 影像編輯依賴 StyleGAN 的視覺語義空間與 CLIP 的文字語義空間之間的精確潛在映射。例如當文字提示是 “驚喜”，我們首先在視覺語義空間中識別其相關的語義子空間（即 “表情”，因為驚喜屬於表情這個屬性）。找到與文本相對應的語意子空間後，文本會告訴我們隱編碼的變化方向，從讓隱編碼從當前的表情變化到驚喜的表情。 TediGAN [1] 和 StyleCLIP [2] 等開創性研究憑經驗預先定義了哪個潛在視覺子空間對應於目標文字提示嵌入（即 TediGAN 中的特定屬性選擇和 StyleCLIP 中的分組映射）。這種經驗辨識限制了給定一個文字提示，他們必須訓練相應的編輯模型。 

不同的文字提示需要不同的模型來調製 StyleGAN 的潛在視覺子空間中的潛在程式碼。雖然 StyleCLIP 中的全域方向方法沒有採用這樣的過程，但參數調整和編輯方向是手動預先定義的。為此，我們有理由來探索如何透過顯性的文字自動的找到隱性的視覺語義子空間，從而達到單一模型就可以應對多個文字。

在這篇論文中，我們提出了 FFCLIP-Free Form CLIP，它可以針對不同的文字自動找到相對應視覺子空間。 FFCLIP 由幾個語意調變模組組成，這些語意調變模組把 StyleGAN 潛在空間 W^ 中的潛在編碼 w^ 和文字編碼 e 作為輸入。

語意調變模組由一個語意對齊模組和一個語意注入模組組成。語意對齊模組將文字編碼 e 作為 query，將潛在編碼 w 作為 key 和 Value。然後我們分別在 position 和 channel 維度上計算交叉注意力，從而得到兩個注意力圖。接著我們使用線性變換將當前的視覺空間轉換到與文字對應的子空間，其中線性變換參數（即平移和縮放參數）是基於這兩個注意力圖計算的。透過這種對齊方式，我們可以自動的為每個文字找到相應的視覺子空間。最後，語意注入模組 [3] 透過之後的另一個線性變換修改子空間中的潛在程式碼。

從 FFCLIP 的角度來看，[1, 2] 中子空間經驗選擇是我們在語意對齊模組中線性變換的特殊形式。他們的群組選擇操作類似於我們的縮放參數的二進位值，以指示 w 的每個位置維度的用法。另一方面，我們觀察到 W^ 空間的語義仍然存在糾纏的現象，經驗設計無法找到 StyleGAN 的潛在空間和 CLIP 的文本語義空間之間的精確映射。相反，我們的語義對齊模組中的縮放參數自適應地修改潛在程式碼 w 以映射不同的文字提示嵌入。然後透過我們的平移參數進一步改進對齊方式。我們在基準資料集上評估我們的方法，並將 FFCLIP 與最先進的方法進行比較。結果表明，FFCLIP 在傳達使用者意圖的同時能夠產生更合理的內容。

FFCLIP

圖 1 所展示的就是我們的整體框架。 FFCLIP 首先透過預先訓練好的GAN inversion 編碼器和文字編碼器得到圖像和文字的潛在編碼，其中圖像的潛在編碼則是先前提到的StyleGAN 視覺語意空間W^ 中的w, 而文字編碼則是e_t 。我們和 StyleCLIP 一樣採用 e4e GAN inversion 編碼器 [4] 和 CLIP 中的文字編碼器來分別得到對應的潛在編碼。接著我們將 e_t 和 w 作為調製模組的輸入並輸出得到 w 的偏移量∆w，最後將 ∆w 與原始的 w 相加並放入預訓練好的 StyleGAN 中得到相應的結果。

圖1：整體框架圖

下圖二就是我們的語意調變模組。在語意對齊模組中（Semantic  Alignment），我們可以清楚地看到我們將∆w 設為Key 和Value 並將e_t 設為Query 來計算兩個注意力圖，這兩個注意力圖的大小分別是18×1以及512×512。接著我們將18×1 的注意力圖當作線性變換中縮放係數S，我們計算該注意力圖的過程如下：

##同時我們將512×512 的注意力圖與Value 相乘以後再經過Pooling 操作得到顯性變換中的平移係數T。我們計算該注意力圖的過程如下：

擁有了平移和縮放係數後，我們就可以透過線性變換為當前文字e_t 找到相對應的視覺子空間，計算步驟如下：

#期中x_i 是我們第i 個語意調變模組的輸出結果。由於∆w 的大小是18×512，所以18×1 和512×512 的注意力圖分別是在∆w 的position 和channel 兩個維度上進行注意力圖的計算，這個操作類似於Dual Attention [5].

圖2：語意調變模組

我們透過以上的操作可以得到與文字對應的視覺子空間，緊接著我們採用類似AdaIN 的方式，將文字訊息注入到這個空間中，從而得到最後的結果，我們稱這個操作為語義注入模組（Semantic Injection）。整個模組的實作步驟如下：

#

最終我們的 FFCLIP 中總共堆疊了 4 個語意調變模組，並最終得到最後的偏移量∆w。

實驗結果

#圖3：視覺對比圖

如圖3 所示，我們與StyleCLIP [1]，TediGAN [2] 以及HairCLIP [3] 進行了視覺上的對比：可以看到FFCLIP 能夠更好的反應文本的語義，並且產生更真實的編輯圖像。同時相對應的數值對比結果如下表所示，我們的方法無論是在客觀數值或主觀數值上都能達到最好的效果。

表1：數值比較

同時我們的方法也展現出了非好的魯棒性，FFCLIP 在訓練中並未見過詞的組合而是用單個的單詞進行訓練，但是在測試中能夠很好的針對詞組的語義對圖像進行編輯，視覺效果如圖4 所示。

圖4：詞組編輯

更多的實驗結果和消融實驗請看原文。

總結

###我們在本文中提出了 FFCLIP，一種可以針對不同文字但只需要單一模型就能進行有效圖像編輯的新方法。本文動機是現有方法是根據已有的經驗來匹配當前文本和 GAN 的語義子空間，因此一個編輯模型只能處理一個文本提示。我們透過對齊和注入的語義調製來改進潛在映射。它有利於一個編輯模型來處理多個文字提示。多個資料集的實驗顯示我們的 FFCLIP 有效地產生語義相關和視覺逼真的結果。 ######

以上是文字圖片編輯新範式，單一模型實現多文本引導圖像編輯的詳細內容。更多資訊請關注PHP中文網其他相關文章！