중국 팀이 만든 범용 세분화 모델인 SEEM은 일회성 세분화를 새로운 차원으로 끌어올립니다.

이달 초 Meta는 "Segment Anything" AI 모델인 SAM(Segment Anything Model)을 출시했습니다. SAM은 이미지 분할을 위한 보편적인 기본 모델로 간주되며 객체에 대한 일반적인 개념을 학습하고 훈련 과정에서 접하지 못한 객체 및 이미지 유형을 포함하여 모든 이미지 또는 비디오의 모든 객체에 대한 마스크를 생성할 수 있습니다. 이 "제로 샘플 마이그레이션" 기능은 놀랍습니다. 일부에서는 CV 분야가 "GPT-3 순간"을 열었다고 말하기도 합니다.

최근 "Segment Everything Everywhere All at Once"라는 새로운 논문이 다시 한번 주목을 받았습니다. 본 논문에서는 위스콘신대학교 매디슨대학교, 마이크로소프트, 홍콩과기대학교의 몇몇 중국 연구진이 새로운 프롬프트 기반 상호작용 모델인 SEEM을 제안했습니다. SEEM은 이미지 또는 비디오의 모든 콘텐츠를 한 번에 분할하고 사용자가 제공한 다양한 모달 입력(텍스트, 이미지, 그래피티 등 포함)을 기반으로 개체 카테고리를 식별할 수 있습니다. 이 프로젝트는 오픈소스로 공개되었으며 모든 사람이 경험할 수 있도록 시험 주소가 제공됩니다.

문서 링크: https://arxiv.org/pdf/2304.06718.pdf

프로젝트 링크: https://github.com/UX-Decoder/Segment-Everything -Everywhere-All-At-Once

시험 주소: https://huggingface.co/spaces/xdecoder/SEEM

이 연구에서는 포괄적인 실험 효율성을 통해 다양한 세분화 작업에서 SEEM의 성능을 검증했습니다. 에. SEEM은 사용자 의도를 이해하는 능력은 없지만 통일된 표현 공간에서 다양한 유형의 프롬프트를 작성하는 방법을 학습하므로 강력한 일반화 능력을 보여줍니다. 또한 SEEM은 경량 프롬프트 디코더를 통해 여러 라운드의 상호 작용을 효율적으로 처리할 수 있습니다.

먼저 분할 효과를 살펴보겠습니다.

트랜스포머 사진의 "Optimus Prime" 세그먼트:

또한 개체 유형을 분할할 수 있습니다. 풍경 사진의 모든 건물을 분할하는 것처럼:

SEEM은 동영상에서 움직이는 물체도 쉽게 분할할 수 있습니다.

이 분할 효과는 매우 부드럽다고 할 수 있습니다. 본 연구에서 제안한 접근방식을 살펴보자.

방법 개요

이 연구의 목적은 다중 모드 프롬프트의 도움으로 이미지 분할을 위한 일반적인 인터페이스를 제안하는 것입니다. 이 목표를 달성하기 위해 그들은

1) 다양성을 포함하여 다양성, 구성성, 상호 작용성 및 의미 인식을 포함한 4가지 속성을 포함하는 새로운 체계를 제안했습니다. 이 연구에서는 점, 마스크, 텍스트, 감지 상자 및 다른 이미지의 참조 영역도 공간에서 동일한 공동 시각적 의미론으로 프롬프트됩니다.

2) 구성성은 시각적 프롬프트와 텍스트 프롬프트의 공동 시각적 의미 공간을 학습하여 추론을 위해 즉석에서 쿼리를 작성합니다. SEEM은 모든 입력 프롬프트 조합을 처리할 수 있습니다.

3) 상호작용성: 이 연구는 학습 가능한 기억 프롬프트와 마스크에 의한 교차 주의를 결합하여 대화 기록 정보의 유지를 소개합니다.

4) 의미 인식: 텍스트 인코더를 사용하여 텍스트 쿼리를 인코딩하고 레이블을 마스크하여 모든 출력 분할 결과에 대해 개방형 의미 체계를 제공합니다.

아키텍처 측면에서 SEEM은 간단한 Transformer 인코더-디코더 아키텍처를 따르고 추가 텍스트 인코더를 추가합니다. SEEM에서 디코딩 프로세스는 생성적 LLM과 유사하지만 다중 모드 입력과 다중 모드 출력이 있습니다. 모든 쿼리는 프롬프트로 디코더에 피드백되고 이미지 및 텍스트 인코더는 모든 유형의 쿼리를 인코딩하는 프롬프트 인코더로 사용됩니다.

구체적으로, 이 연구에서는 모든 쿼리(점, 상자, 마스크 등)를 시각적 프롬프트로 인코딩하고, 텍스트 인코더를 사용하여 텍스트 쿼리를 텍스트 프롬프트로 변환합니다. 정렬을 유지합니다. 다섯 가지 유형의 프롬프트를 모두 공동 시각적 의미 공간에 매핑할 수 있으며, 보이지 않는 사용자 프롬프트는 제로샷 적응을 통해 처리할 수 있습니다. 다양한 세분화 작업을 학습함으로써 모델은 다양한 프롬프트를 처리할 수 있는 능력을 갖췄습니다. 또한 다양한 유형의 프롬프트가 교차 주의를 통해 서로 도움을 줄 수 있습니다. 궁극적으로 SEEM 모델은 다양한 프롬프트를 사용하여 우수한 분할 결과를 얻을 수 있습니다.

SEEM은 강력한 일반화 기능 외에도 운영 효율성도 매우 높습니다. 연구원들은 프롬프트를 디코더에 대한 입력으로 사용했기 때문에 SEEM은 인간과 여러 라운드의 상호 작용을 통해 처음에 특징 추출기를 한 번만 실행하면 되었습니다. 각 반복마다 새로운 프롬프트를 사용하여 경량 디코더를 다시 실행하십시오. 따라서 모델을 배포할 때 서버에서는 매개변수가 많고 작업량이 많은 특징 추출기를 실행하는 반면, 사용자 컴퓨터에서는 상대적으로 가벼운 디코더만 실행하여 여러 원격 호출에서 네트워크 지연 문제를 완화할 수 있습니다.

위의 그림 3(b)에 표시된 것처럼 여러 라운드의 상호 작용에서 각 상호 작용에는 수동 루프와 모델 루프가 포함됩니다. 인공 루프에서 인간은 이전 반복의 마스크 출력을 수신하고 시각적 프롬프트를 통해 다음 디코딩 라운드에 대한 긍정적 또는 부정적 피드백을 제공합니다. 모델 루프 동안 모델은 향후 예측을 위한 메모리 프롬프트를 수신하고 업데이트합니다.

실험 결과

본 연구에서는 SEEM 모델과 SOTA Interactive Segmentation 모델을 실험적으로 비교하였으며, 그 결과는 아래 표 1과 같다.

SEEM은 일반 모델로서 RITM, SimpleClick 및 기타 모델과 동등한 성능을 달성하며 SAM의 성능에 매우 가깝습니다. 반면 SAM에서 훈련에 사용되는 분할 데이터는 50배입니다. 인 것 같다 .

기존 대화형 모델과 달리 SEEM은 고전적인 분할 작업뿐만 아니라 텍스트, 점, 낙서, 상자, 이미지 등 다양한 사용자 입력 유형을 지원하는 최초의 범용 인터페이스로, 강력한 조합 기능을 제공합니다. 아래 표 2에서 볼 수 있듯이 SEEM은 결합 가능한 프롬프트를 추가함으로써 cIoU, mIoU 및 기타 지표에서 세분화 성능을 크게 향상시켰습니다.

대화형 이미지 분할의 시각화 결과를 살펴보겠습니다. 사용자는 점을 그리거나 간단히 낙서하기만 하면 SEEM에서 매우 좋은 분할 결과를 얻을 수 있습니다

텍스트를 입력하고 SEEM에서 이미지 분할을 수행하도록 할 수도 있습니다

참조 이미지를 직접 입력하고 참조 영역을 지적하고, 다른 이미지를 분할하고, 참조 영역과 일치하는 개체를 찾을 수도 있습니다.

이 프로젝트는 이미 온라인에서 시도해 볼 수 있습니다. 독자 여러분, 가서 드셔보세요.

위 내용은 중국 팀이 만든 범용 세분화 모델인 SEEM은 일회성 세분화를 새로운 차원으로 끌어올립니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!