ControlNet作者新作爆火：P照片換背景不求人，AI打光完美融入

ControlNet作者新作，玩兒得人直呼過癮，剛開源就攬星1.2k。

用於操縱影像照明效果的IC-Light，全名為lmposing Consistent Light。

玩法很簡單：

上傳意味著系統會自動分離人物等主體，並選擇光源位置，填上提示詞，就能毫無破綻地融入新環境了！

趕緊來個王家衛式的打光：

#不喜歡？

沒關係，換成窗外打進來的自然光，也就分分鐘的事。

目前，IC-Light提供兩類模型：文字條件重照明模型，還有背景條件模型。

兩種模型都需要以前景影像作為輸入。

鑑於之前Controlnet太好玩兒，這次IC-Light一出現就頗受關注，還有網友迅速做出了ComfyUI插件。

（疑惑，大家這麼拼，都不睡覺的嗎？？）

#不管是期待值還是用後體驗，網友給得都很高：

Nice！迫不及待要上手玩了嘻嘻嘻嘻。

誰能幫我把這張圖換個背景？

從遠古MCN到貼吧再到現在小紅書，各個時代，都不乏「誰能幫我換張背景」這種求助貼。

但熱心網友的幫助，往往是這樣子的：

就很離譜。

不過說實在話，這種需求不只存在於你我普通人之間，電商做商品海報，也常常有類似的需求。

有了IC-Light，好像一切都變得簡單起來。

上傳主體原圖+選擇光源位置+提示詞，完事兒。

來看效果：

這樣一張佛像原圖，加上提示詞“佛像、細緻的臉部、科幻RGB發光、賽博朋克”，再選擇“光從左側打來」。

就能得到一張嶄新的成品：

就算是日常場景也是適用的。

最後出的效果肉眼看還是比較自然：

#根據網友分享的測評，動漫場景也適用…

背後技術

如前所說，IC-Light現在提供兩類模型，兩個模型都需要以前景影像作為輸入。

一類是文字條件重照明模型。

簡單來說就是使用者可以透過輸入提示詞來搞定生成。

例如輸入「左側光線」「月光」等，模型會透過這些提示詞和初始潛變量，來產生符合要求和特徵的影像。

另一類是背景條件模型。

這種就更簡單了，不需要複雜的提示詞，模型結合背景提示訊息，對前景的物體進行不同風格的光照變化。

而背後的技術原理，是透過潛在空間的一致性，確保模型輸出在不同光源組合下具有一致性，從而可以穩定地合成各種光照效果。

具體如下：

在HDR空間中，所有照明的光線傳輸都彼此獨立，不同光源的外觀混合效果與多光源直接作用下的外觀在數學上（也就是理想狀態下）是一致的。

以上面這張圖的燈光階段為例，兩個來自「外觀混合」和「光源混合」的影像是一致的，（理想情況下，在HDR空間中數學上等效）。

因此，在訓練重新照明模型時，研究人員在潛在空間中使用多層感知機（MLP）讓不同光源的組合和傳輸具有一致性，並用來指導生成效果。

最終產生高度一致的重新光照效果。

由於模型使用了潛在擴散技術，因此可以在潛在空間內實現學習和重光照操作，從而在各種光照條件下產生高度一致的效果。

這些結果非常一致——儘管在訓練時，模型沒有直接使用法線圖數據，但可以將不同的重新光照合併為法線貼圖。

看下面這張圖，從左到右依序是輸入、模型輸出、重新照明、分割的陰影影像和合併的法線貼圖。

有興趣的朋友可以前往下面地址試玩兒喲～

GitHub直通車：https://github.com/ lllyasviel/IC-Light?tab=readme-ov-file。

以上是ControlNet作者新作爆火：P照片換背景不求人，AI打光完美融入的詳細內容。更多資訊請關注PHP中文網其他相關文章！