搜尋
首頁科技週邊人工智慧當「分割一切」遇上影像修補:無需精細標記,點選物件實現物件移除、內容填補、場景替換

4 月初,Meta 發布了史上首個圖像分割基礎模型--SAM(Segment Anything Model)[1]。作為分割模型,SAM 的能力強大,操作使用方式也十分友好,例如使用者簡單地點擊來選擇對應物體,物體就會立即被分割出來,且分割結果十分精準。截至 4 月 15 號,SAM 的 GitHub 倉庫的 Star 數高達 26k。

當「分割一切」遇上影像修補:無需精細標記,點選物件實現物件移除、內容填補、場景替換

如何利用如此強大的「分割一切」模型,並拓展到更有實際需求的應用情境至關重要。例如,當 SAM 遇到實用的影像修補(Image Inpainting)任務會碰撞出什麼樣的火花呢?

來自中國科學技術大學和東方理工高等研究院的研究團隊給出了令人驚豔的答案。基於 SAM,他們提出「修補一切」(Inpaint Anything,簡稱 IA)模型。有別於傳統圖像修補模型,IA 模型無需精細化操作生成掩碼,支援了一鍵點擊標記選定對象,IA 即可實現移除一切物體(Remove Anything)、填補一切內容( Fill Anything)、替換一切場景(Replace Anything),涵蓋了包括目標移除、目標填充、背景替換等在內的多種典型圖像修補應用場景。

當「分割一切」遇上影像修補:無需精細標記,點選物件實現物件移除、內容填補、場景替換

  • #論文連結:http://arxiv.org/abs/2304.06790
  • 程式碼庫連結:https://github.com/geekyutao/Inpaint-Anything
##方法介紹

儘管目前影像修補系統取得了重大進展,但它們在選擇遮罩圖和填補空洞方面仍然面臨困難。基於SAM,研究者首次嘗試無需掩碼(Mask-Free)圖像修復,並建構了「點擊再填充」(Clicking and Filling) 的圖像修補新範式,他們稱之為修補一切(Inpaint Anything)(IA)。 IA 背後的核心思想是結合不同模型的優勢,以建立一個強大且用戶友好的圖像修復系統

IA 有三個主要功能:(i) 移除一切(Remove Anything):使用者只需點擊一下想要移除的物體,IA 將無痕地移除該物體,實現高效「魔法消除」;(ii) 填補一切(Fill Anything):同時,用戶還可以進一步透過文字提示(Text Prompt)告訴IA 想要在物體內填充什麼,IA 隨即透過驅動已嵌入的AIGC (AI-Generated Content)模型(如Stable Diffusion [2])產生對應的內容填充物體,實現隨心所欲「內容創作」;(iii) 替換一切(Replace Anything):使用者也可以透過點擊選擇需要保留的物體對象,並用文字提示告訴IA 想要把物體的背景替換成什麼,即可將物體背景替換為指定內容,實現生動「環境轉換」。 IA 的整體架構如下圖所示:

當「分割一切」遇上影像修補:無需精細標記,點選物件實現物件移除、內容填補、場景替換

#Inpaint Anything(IA)示意圖。使用者可以透過點擊來選擇圖像中的任何物體。借助強大的視覺模型,如 SAM [1]、LaMa [3] 和 Stable Diffusion (SD) [3],IA 能夠平滑移除選定物體(即 Remove Anything)。進一步地,透過向 IA 輸入文字提示,使用者可以用任何想要的內容填充物體(即 Fill Anything)或任意替換物件的物體(即 Replace Anything)。

移除一切#

當「分割一切」遇上影像修補:無需精細標記,點選物件實現物件移除、內容填補、場景替換

移除一切(Remove Anything)示意圖

 「移除一切」步驟如下:

  • 第1 步:使用者點選想要移除的物件;
  • 第2 步驟:SAM將該物件分割出來;
  • 第3 步:影像修補模型(LaMa)填補該物件。

填補一切

當「分割一切」遇上影像修補:無需精細標記,點選物件實現物件移除、內容填補、場景替換

填補一切(Fill Anything)示意圖,圖中使用的文字提示:a teddy bear on a bench

「填補一切」步驟如下:

  • 第1 步:使用者點選想要移除的物件;
  • ##第2 步:SAM 將該物體分割出來;
  • 第3 步:使用者透過文字示意想要填滿的內容;
  • ##第4 步:基於文字提示的圖像修補模型(Stable Diffusion)根據使用者提供的文字對物件進行填充。
取代一切

#取代一切(Replace Anything)示意圖,圖中使用的文字提示: a man in office

「填滿一切」步驟如下:

    第1 步:使用者點擊想要移除的物件;
  • 第2 步:SAM 將該物件分割出來;
  • ##第3 步:使用者透過文字示意想要替換的背景;
  • 第4 步:基於文字提示的圖像修補模型(Stable Diffusion)根據使用者提供的文字對物件的背景進行替換。
  • 模型結果

研究者隨後在COCO 資料集[4]、LaMa 測試資料集[3] 和他們自己用手機拍攝的2K 高清圖像上對Inpaint Anything 進行測試。值得注意的是,

研究者的模型也支援2K 高清圖和任意長寬比,這使得IA 系統在各種整合環境和現有框架中都能夠實現高效的遷移應用

移除所有實驗結果

當「分割一切」遇上影像修補:無需精細標記,點選物件實現物件移除、內容填補、場景替換

當「分割一切」遇上影像修補:無需精細標記,點選物件實現物件移除、內容填補、場景替換

當「分割一切」遇上影像修補:無需精細標記,點選物件實現物件移除、內容填補、場景替換

當「分割一切」遇上影像修補:無需精細標記,點選物件實現物件移除、內容填補、場景替換

##填寫一切實驗結果

#文字提示:a camera lens in the hand

當「分割一切」遇上影像修補:無需精細標記,點選物件實現物件移除、內容填補、場景替換

文字提示:an aircraft carrier on the sea

當「分割一切」遇上影像修補:無需精細標記,點選物件實現物件移除、內容填補、場景替換

文字提示:a sports car on a road

當「分割一切」遇上影像修補:無需精細標記,點選物件實現物件移除、內容填補、場景替換

##文字提示:a Picasso painting on the wall

#取代一切實驗結果

當「分割一切」遇上影像修補:無需精細標記,點選物件實現物件移除、內容填補、場景替換

當「分割一切」遇上影像修補:無需精細標記,點選物件實現物件移除、內容填補、場景替換

當「分割一切」遇上影像修補:無需精細標記,點選物件實現物件移除、內容填補、場景替換

##文字提示:sit on the swing

當「分割一切」遇上影像修補:無需精細標記,點選物件實現物件移除、內容填補、場景替換

##文字提示:breakfast

#文字提示:a bus, on the center of a country road , summer

#文字提示:crossroad in the city

########總結# ########研究者建立這樣一個有趣的項目,來展示充分利用現有大型人工智慧模型所能獲得的強大能力,並揭示「可組合人工智慧」(Composable AI)的無限潛力。專案所提出的 Inpaint Anything (IA) 是一種多功能的圖像修補系統,融合了物體移除、內容填補、場景替換等功能(更多的功能正在路上敬請期待)。 ############IA 結合了SAM、影像修補模型(例如LaMa)和AIGC 模型(例如Stable Diffusion)等視覺基礎模型,實現了對使用者操作友好的無掩碼化影像修復,同時支援「點擊刪除,提示填滿」的等「傻瓜式」人性化操作。此外,IA 還可以處理具有任意長寬比和 2K 高清解析度的影像,且不受影像原始內容限制。 ############目前,######專案已經完全開源######。最後,歡迎大家分享並推廣 Inpaint Anything (IA) ,也期待看見更多基於 IA 所拓展的新項目。未來,研究者將進一步挖掘 Inpaint Anything (IA) 的潛力 以支援更多實用的新功能,如細粒度圖像摳圖、編輯等,並將其應用到更多現實應用中。 ######

以上是當「分割一切」遇上影像修補:無需精細標記,點選物件實現物件移除、內容填補、場景替換的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
如何使用Huggingface Smollm建立個人AI助手如何使用Huggingface Smollm建立個人AI助手Apr 18, 2025 am 11:52 AM

利用“設備” AI的力量:建立個人聊天機器人CLI 在最近的過去,個人AI助手的概念似乎是科幻小說。 想像一下科技愛好者亞歷克斯(Alex)夢見一個聰明的本地AI同伴 - 不依賴

通過斯坦福大學激動人心的新計劃,精神健康的AI專心分析通過斯坦福大學激動人心的新計劃,精神健康的AI專心分析Apr 18, 2025 am 11:49 AM

他們的首屆AI4MH發射於2025年4月15日舉行,著名的精神科醫生兼神經科學家湯姆·因斯爾(Tom Insel)博士曾擔任開幕式演講者。 Insel博士因其在心理健康研究和技術方面的傑出工作而聞名

2025年WNBA選秀課程進入聯盟成長並與在線騷擾作鬥爭2025年WNBA選秀課程進入聯盟成長並與在線騷擾作鬥爭Apr 18, 2025 am 11:44 AM

恩格伯特說:“我們要確保WNBA仍然是每個人,球員,粉絲和公司合作夥伴,感到安全,重視和授權的空間。” anno

Python內置數據結構的綜合指南 - 分析VidhyaPython內置數據結構的綜合指南 - 分析VidhyaApr 18, 2025 am 11:43 AM

介紹 Python擅長使用編程語言,尤其是在數據科學和生成AI中。 在處理大型數據集時,有效的數據操作(存儲,管理和訪問)至關重要。 我們以前涵蓋了數字和ST

與替代方案相比,Openai新型號的第一印象與替代方案相比,Openai新型號的第一印象Apr 18, 2025 am 11:41 AM

潛水之前,一個重要的警告:AI性能是非確定性的,並且特定於高度用法。簡而言之,您的里程可能會有所不同。不要將此文章(或任何其他)文章作為最後一句話 - 目的是在您自己的情況下測試這些模型

AI投資組合|如何為AI職業建立投資組合?AI投資組合|如何為AI職業建立投資組合?Apr 18, 2025 am 11:40 AM

建立杰出的AI/ML投資組合:初學者和專業人士指南 創建引人注目的投資組合對於確保在人工智能(AI)和機器學習(ML)中的角色至關重要。 本指南為建立投資組合提供了建議

代理AI對安全操作可能意味著什麼代理AI對安全操作可能意味著什麼Apr 18, 2025 am 11:36 AM

結果?倦怠,效率低下以及檢測和作用之間的差距擴大。這一切都不應該令任何從事網絡安全工作的人感到震驚。 不過,代理AI的承諾已成為一個潛在的轉折點。這個新課

Google與Openai:AI為學生打架Google與Openai:AI為學生打架Apr 18, 2025 am 11:31 AM

直接影響與長期夥伴關係? 兩週前,Openai提出了強大的短期優惠,在2025年5月底之前授予美國和加拿大大學生免費訪問Chatgpt Plus。此工具包括GPT-4O,A A A A A

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
1 個月前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
1 個月前By尊渡假赌尊渡假赌尊渡假赌
威爾R.E.P.O.有交叉遊戲嗎?
1 個月前By尊渡假赌尊渡假赌尊渡假赌

熱工具

PhpStorm Mac 版本

PhpStorm Mac 版本

最新(2018.2.1 )專業的PHP整合開發工具

SAP NetWeaver Server Adapter for Eclipse

SAP NetWeaver Server Adapter for Eclipse

將Eclipse與SAP NetWeaver應用伺服器整合。

SublimeText3 英文版

SublimeText3 英文版

推薦:為Win版本,支援程式碼提示!

Atom編輯器mac版下載

Atom編輯器mac版下載

最受歡迎的的開源編輯器

Dreamweaver Mac版

Dreamweaver Mac版

視覺化網頁開發工具