不會PS沒關係，AI拼圖技巧已經能以假亂真

話說這兩年，「文字生成圖像的擴散模型」著實大火了一把，DALL·E 2和Imagen都是基於此開發出來的應用。

本文經AI新媒體量子位元（公眾號ID:QbitAI）授權轉載，轉載請聯絡來源。

這是一份看似平平無奇的日式便當。

但你敢信，其實每一格食物都是P上去的，而且原圖還是醬嬸兒的：

△直接摳圖貼上去，效果一眼假

背後操作者並不是什麼PS大佬，而是一隻AI，名字很直白：拼圖擴散（Collage Diffusion）。

隨便找幾張小圖拿給它，AI就能自己看懂圖片內容，再把各元素非常自然地拼成一張大圖——完全不存在一眼假。

其效果驚艷了不少網友。

甚至還有PS愛好者直呼：

這簡直是天賜之物…希望很快能在Automatic1111（ Stable Diffusion用戶常用的網路UI，也有整合在PS中的插件版）中看到它。

為什麼效果這麼自然？

實際上，此AI生成的「日式便當」還有好幾個生成版本——都很自然有木有。

#至於為啥還有多種版本？問就是因為使用者還能自訂，在整體不變得太離譜的前提下，他們可以微調各種細節。

除了“日式便當”，它還有不少出色的作品。

例如，這是拿給AI的素材，P圖痕跡明顯：

這是AI拼好的圖，反正我愣是沒看出什麼P圖痕跡：

話說這兩年，「文字生成影像的擴散模型」著實大火了一把，DALL·E 2和Imagen都是基於此開發出來的應用。這種擴散模型的優點，是生成圖片多樣化、品質較高。

不過，文字終究對於目標圖像，最多只能起到模糊的規範作用，所以用戶通常要花大量時間調整提示（prompt），還得搭配上額外的控制組件，才可以得到不錯的效果。

就拿前文展示的日式便當來說：

如果用戶只輸入“一個裝有米飯、毛豆、生薑和壽司的便當盒”，那就既沒描述哪種食物放到哪一格，也沒有說明每種食物的外觀。但如果非要講清楚的話，使用者恐怕得寫一篇小作文了…

有鑑於此，史丹佛團隊決定從別的角度出發。

他們決定參考傳統思路，透過拼圖來產生最終影像，並由此開發出了一種新的擴散模型。

有趣的是，說白了，這種模型也算是用經典技術「拼」出來的。

首先是分層：使用基於圖層的影像編輯UI，將來源影像分解成一個個RGBA圖層（R、G、B分別代表紅、綠、藍， A代表透明度），然後將這些圖層排列在畫布上，並將每個圖層和文字提示配對。

透過分層，可以修改影像中的各種元素。

到目前為止，分層已經是電腦圖形領域中成熟的技術，不過先前分層資訊一般是作為單張圖片輸出結果使用的。

而在這個新型「拼圖擴散模型」中，分層資訊成了後續操作的輸入。

除了分層，還搭配了現有的基於擴散的影像協調技術，提升影像視覺品質。

總而言之，演算法不僅限制了物件的某些屬性（如視覺特徵）的變化，同時允許屬性（方向、光照、透視、遮蔽）發生改變。

——從而平衡了還原度和自然度之間的關係，產生「神似」且毫無違和感的圖片。

操作過程也很easy，在互動編輯模式下，使用者在幾分鐘內就能創作一幅拼貼畫。

他們不僅可以自訂場景中的空間排列順序（就是把從別處扣出來的圖放到適當的位置）；還能調整生成影像的各個元件。用同樣的來源圖，可以得到不同的效果。

△最右邊列是這個AI的輸出結果

而在非互動模式下（即使用者不拼圖，直接把一堆小圖丟給AI），AI也能根據拿到的小圖，自動拼出一張效果自然的大圖。

研究團隊

最後，來說說背後的研究團隊，他們是史丹佛大學電腦科學系的一群師生。

論文一作，Vishnu Sarukkai現為史丹佛電腦科學系研究生，還是碩博連讀的那種。

他的主要研究方向為：電腦圖形學、電腦視覺和機器學習。

此外，論文的共同作者Linden Li，也是史丹佛計算機科學系研究生。

在校求學期間，他曾到英偉達實習4個月，與英偉達深度學習研究小組合作，參與訓練了增加100M 參數的視覺轉換器模型。

論文網址：https://arxiv.org/abs/2303.00262

以上是不會PS沒關係，AI拼圖技巧已經能以假亂真的詳細內容。更多資訊請關注PHP中文網其他相關文章！