Meta「分割一切」超進化版來了！ IDEA領先國內頂尖團隊打造：偵測、分割、生成一切，狂攬2k星

Meta的「分割一切」模型横空出世后，已经让圈内人惊呼CV不存在了。

就在SAM发布后一天，国内团队在此基础上搞出了一个进化版本「Grounded-SAM」。

注：项目的logo是团队用Midjourney花了一个小时做的

Grounded-SAM把SAM和BLIP、Stable Diffusion集成在一起，将Meta「分割一切」超進化版來了！ IDEA領先國內頂尖團隊打造：偵測、分割、生成一切，狂攬2k星「分割」、「检测」和「生成」三种能力合一，成为最强Zero-Shot视觉应用。

网友纷纷表示，太卷了！

谷歌大脑的研究科学家、滑铁卢大学计算机科学助理教授Wenhu Chen表示「这也太快了」。

AI大佬沈向洋也向大家推荐了这一最新项目：

Grounded-Segment-Anything：自动检测、分割和生成任何有图像和文本输入的东西。边缘分割可以进一步改进。

截至目前，这个项目在GitHub上已经狂揽2k星。

检测一切，分割一切，生成一切

上周，SAM的发布让CV迎来了GPT-3时刻。甚至，Meta AI声称这是史上首个图像分割基础模型。

该模型可以在统一的框架prompt encoder内，指定一个点、一个边界框、一句话，直接一键分割出任何物体。

SAM具有广泛的通用性，即具有了零样本迁移的能力，足以涵盖各种用例，不需要额外训练，就可以开箱即用地用于新的图像领域，无论是水下照片，还是细胞显微镜。

由此可见，SAM可以说是强到发指。

而现在，国内研究者基于这个模型想到了新的点子，将强大的零样本目标检测器Grounding DINO与之结合，便能通过文本输入，检测和分割一切。

借助Grounding DINO强大的零样本检测能力，Grounded SAM可以通过文本描述就可以找到Meta「分割一切」超進化版來了！ IDEA領先國內頂尖團隊打造：偵測、分割、生成一切，狂攬2k星中的任意物体，然后通过SAM强大的分割能力，细粒度的分割出mas。

最后，还可以利用Stable Diffusion对分割出来的区域做可控的文图生成。

再Grounded-SAM具體實踐中，研究者將Segment-Anything與3個強大的零樣本模型相結合，構建了一個自動標註系統的流程，並展示出非常非常令人印象深刻的結果！

這個專案結合了以下模型：

· BLIP：強大的圖片標註模型

· Grounding DINO：最先進的零樣本偵測器

· Segment-Anything：強大的零樣本分割模型

· Stable-Diffusion：出色的生成模型

所有的模型都可以組合使用，也可以獨立使用。組建出強大的視覺工作流程模型。整個工作流程擁有了偵測一切，分割一切，產生一切的能力。

此系統的功能包括：

#BLIP Grounded-SAM=自動標註器

使用BLIP模型產生標題，擷取標籤，並使用Ground-SAM產生方塊與遮罩:

· 半自動標註系統：偵測輸入的文本，並提供精確的框標註和遮罩標註。

· 全自動標註系統：

首先使用BLIP模型為輸入影像產生可靠的標註，然後讓Grounding DINO偵測標註中的實體，接著使用SAM在其框提示上進行實例分割。

Stable Diffusion Grounded-SAM=資料工廠

#· 用作資料工廠產生新資料：可以使用擴散修復模型根據遮罩產生新資料。

Segment Anything HumanEditing

##在這個分支中，作者使用Segment Anything來編輯人的頭髮/臉部。

· SAM 頭髮編輯

#· SAM 時尚編輯

作者對Grounded-SAM模型提出了一些未來可能的研究方向：

自動產生影像以建立新的資料集；分割預訓練的更強大的基礎模型；與(Chat-)GPT模型的合作；一個完整的管道，用於自動標註影像（包括邊界框和遮罩），並產生新影像。

作者介紹

Grounded-SAM計畫其中的一位研究者是清華大學電腦系的三年級博士生劉世隆。

他最近在GitHub上介紹了自己和團隊一起做出的最新項目，並稱目前還在完善中。

現在，劉世隆是粵港澳大灣區數位經濟研究院（IDEA研究院），電腦視覺與機器人研究中心的實習生，由張磊教授指導，主要研究方向為目標偵測，多模態學習。

在此之前，他於2020年獲得了清華大學工業工程系的學士學位，並於2019年在曠視實習過一段時間。

個人主頁：http://www.lsl.zone/

順便提一句，劉世隆也是今年3月發表的目標偵測模型Grounding DINO的一作。

此外，他的4篇論文中了CVPR 2023，2篇論文被ICLR 2023接收，1篇論文被AAAI 2023接收。

#論文網址：https://arxiv.org/pdf/2303.05499.pdf

#而劉世隆提到的大佬－任天和，目前在IDEA研究院擔任電腦視覺演算法工程師，也由張磊教授指導，主要研究方向為目標偵測和多模態。

此外，計畫的合作者還有，中國科學院大學博士三年級學生黎昆昌，主要研究方向為視訊理解和多模態學習；IDEA研究院電腦視覺與機器人研究中心實習生曹赫，主要研究方向為生成模型；以及阿里雲資深演算法工程師陳佳禹。

#位天和、劉世隆 

##安裝運作 

專案需要安裝python 3.8以上版本，pytorch 1.7以上版本和torchvision 0.8以上版本。此外，作者強烈建議安裝支援CUDA的PyTorch和TorchVision。

安裝Segment Anything：

python -m pip install -e segment_anything

安裝GroundingDINO：

python -m pip install -e GroundingDINO

#安裝diffusers：

pip install --upgrade diffusers[torch]

安裝遮罩後處理、以COCO格式儲存遮罩、example notebook和以ONNX格式匯出模型所需的可選依賴。同時，專案也需要jupyter來運行example notebook。

pip install opencv-python pycocotools matplotlib onnxruntime onnx ipykernel

Grounding DINO示範

#下載groundingdino檢查點：

cd Grounded-Segment-Anything
wget https://github.com/IDEA-Research/GroundingDINO/releases/download/v0.1.0-alpha/groundingdino_swint_ogc.pth

#執行demo：

export CUDA_VISIBLE_DEVICES=0
python grounding_dino_demo.py 
--config GroundingDINO/groundingdino/config/GroundingDINO_SwinT_OGC.py 
--grounded_checkpoint groundingdino_swint_ogc.pth 
--input_image assets/demo1.jpg 
--output_dir "outputs" 
--box_threshold 0.3 
--text_threshold 0.25 
--text_prompt "bear" 
--device "cuda"

模型預測視覺化將保存在output_dir中，如下所示：

Grounded-Segment- Anything BLIP示範

自動產生偽標籤很簡單：

1. 使用BLIP（或其他標註模型）來產生一個標註。

2. 從標註中提取標籤，並使用ChatGPT來處理潛在的複雜句子。

3. 使用Grounded-Segment-Anything來產生方塊和遮罩。

export CUDA_VISIBLE_DEVICES=0
python automatic_label_demo.py 
--config GroundingDINO/groundingdino/config/GroundingDINO_SwinT_OGC.py 
--grounded_checkpoint groundingdino_swint_ogc.pth 
--sam_checkpoint sam_vit_h_4b8939.pth 
--input_image assets/demo3.jpg 
--output_dir "outputs" 
--openai_key your_openai_key 
--box_threshold 0.25 
--text_threshold 0.2 
--iou_threshold 0.5 
--device "cuda"

伪标签和模型预测可视化将保存在output_dir中，如下所示：

Grounded-Segment-Anything+Inpainting演示

CUDA_VISIBLE_DEVICES=0
python grounded_sam_inpainting_demo.py 
--config GroundingDINO/groundingdino/config/GroundingDINO_SwinT_OGC.py 
--grounded_checkpoint groundingdino_swint_ogc.pth 
--sam_checkpoint sam_vit_h_4b8939.pth 
--input_image assets/inpaint_demo.jpg 
--output_dir "outputs" 
--box_threshold 0.3 
--text_threshold 0.25 
--det_prompt "bench" 
--inpaint_prompt "A sofa, high quality, detailed" 
--device "cuda"

Grounded-Segment-Anything+Inpainting Gradio APP

python gradio_app.py

作者在此提供了可视化网页，可以更方便的尝试各种例子。

网友评论

对于这个项目logo，还有个深层的含义：

一只坐在地上的马赛克风格的熊。坐在地面上是因为ground有地面的含义，然后分割后的Meta「分割一切」超進化版來了！ IDEA領先國內頂尖團隊打造：偵測、分割、生成一切，狂攬2k星可以认为是一种马赛克风格，而且马塞克谐音mask，之所以用熊作为logo主体，是因为作者主要示例的Meta「分割一切」超進化版來了！ IDEA領先國內頂尖團隊打造：偵測、分割、生成一切，狂攬2k星是熊。

看到Grounded-SAM后，网友表示，知道要来，但没想到来的这么快。

项目作者任天和称，「我们用的Zero-Shot检测器是目前来说最好的。」

未来，还会有web demo上线。

最后，作者表示，这个项目未来还可以基于生成模型做更多的拓展应用，例如多领域精细化编辑、高质量可信的数据工厂的构建等等。欢迎各个领域的人多多参与。

以上是Meta「分割一切」超進化版來了！ IDEA領先國內頂尖團隊打造：偵測、分割、生成一切，狂攬2k星的詳細內容。更多資訊請關注PHP中文網其他相關文章！