VPR 2024 만점 시험지! Meta는 EfficientSAM을 제안합니다: 모든 것을 빠르게 분할하세요!

EfficientSAM 이 작품은 CVPR 2024에 5/5/5 만점으로 포함되었습니다! 작가는 그 결과를 아래 사진과 같이 소셜 미디어에 공유했습니다.

르쿤 튜링상 수상자도 이 작품을 강력 추천했습니다!

최근 연구에서 Meta 연구진은 SAM을 사용한 새로운 개선된 방법인 SAMI(Masked Image Pre-training)를 제안했습니다. 이 접근 방식은 MAE 사전 훈련 기술과 SAM 모델을 결합하여 고품질 사전 훈련된 ViT 인코더를 달성합니다. SAMI를 통해 연구자들은 모델의 성능과 효율성을 개선하고 비전 작업을 위한 더 나은 솔루션을 제공하려고 노력합니다. 이 방법의 제안은 컴퓨터 비전 및 딥 러닝 분야를 더욱 탐구하고 개발할 수 있는 새로운 아이디어와 기회를 제공합니다. 다양한 사전 훈련 기술과 모델 구조를 결합함으로써 연구자들은 계속해서

• 문서 링크: https://arxiv.org/pdf/2312.00863
• 코드 : github.com/yformer/EfficientSAM
• 홈페이지: https://yformer.github.io/efficient-sam/

이 접근 방식은 SAM의 복잡성을 줄이면서 우수한 성능을 유지합니다. 특히, SAMI는 SAM 인코더 ViT-H를 활용하여 특징 임베딩을 생성하고 경량 인코더로 마스크 이미지 모델을 교육함으로써 이미지 패치 대신 SAM의 ViT-H에서 특징을 재구성하고 결과 범용 ViT 백본을 다음과 같은 다운스트림 작업에 사용할 수 있습니다. 이미지 분류, 객체 감지 및 분할 등 그런 다음 SAM 디코더를 사용하여 사전 훈련된 경량 인코더를 미세 조정하여 모든 분할 작업을 완료합니다.

이 방법의 효과를 검증하기 위해 연구원들은 마스크된 이미지에 대해 사전 훈련된 전이 학습 설정을 사용했습니다. 구체적으로 그들은 먼저 이미지 해상도가 224×224인 ImageNet 데이터 세트에서 재구성 손실을 사용하여 모델을 사전 훈련했습니다. 그런 다음 대상 작업의 지도 데이터를 사용하여 모델을 미세 조정합니다. 이러한 전이 학습 방법은 모델이 사전 훈련 단계를 통해 원본 데이터에서 특징을 추출하는 방법을 학습했기 때문에 모델이 빠르게 학습하고 새로운 작업에 대한 성능을 향상시키는 데 도움이 될 수 있습니다. 이 전이 학습 전략은 대규모 데이터 세트에서 학습한 지식을 효과적으로 활용하여 모델이 다양한 작업에 더 쉽게 적응할 수 있도록 하며,

ViT-Tiny는 SAMI 사전 학습을 통해 ImageNet-1K에서 학습할 수 있습니다/- 소형/기본 및 기타 모델을 사용하고 일반화 성능을 향상시킵니다. ViT-Small 모델의 경우 연구원들이 ImageNet-1K에서 100번 미세 조정한 후 Top-1 정확도가 82.7%에 도달했는데, 이는 다른 최첨단 이미지 사전 훈련 기준보다 우수합니다.

연구원들은 표적 탐지, 인스턴스 분할 및 의미론적 분할에 대해 사전 훈련된 모델을 미세 조정했습니다. 이러한 모든 작업에서 우리의 방법은 사전 훈련된 다른 기준보다 더 나은 결과를 달성하고 더 중요한 것은 작은 모델에서 상당한 이득을 달성한다는 것입니다.

논문 작성자인 Yunyang Xiong은 다음과 같이 말했습니다. 이 기사에서 제안한 EfficientSAM 매개변수는 20배 감소했지만 실행 시간은 20배 더 빠릅니다. 원래 SAM 모델과의 차이는 2% 포인트 이내입니다. , 이는 MobileSAM/FastSAM보다 훨씬 낫습니다.

데모에서 사진 속 동물을 클릭하면 EfficientSAM이 개체를 빠르게 분할할 수 있습니다.

EfficientSAM은 사진 속의 사람도 정확하게 식별할 수 있습니다.

평가판 주소: https://ab348ea7942fe2af48.gradio.live/

Method

EfficientSAM에는 두 단계가 포함됩니다. 1) ImageNet에서 SAMI 사전 교육(1부) 2) SA- 1B 미세 조정 SAM(하단).

EfficientSAM은 주로 다음 구성 요소를 포함합니다.

교차 주의 디코더: SAM 기능의 감독 하에 이 문서에서는 마스크 토큰만 디코더에 의해 재구성되어야 하고 인코더의 출력은 재구성 과정에서 앵커 역할을 하여 재구성될 수 있습니다. Cross-Attention 디코더에서 쿼리는 마스크된 토큰에서 나오고, 키와 값은 인코더의 마스크되지 않은 특징과 마스크된 특징에서 파생됩니다. 본 논문에서는 교차 어텐션 디코더의 마스크된 토큰의 출력 기능과 MAE 출력 임베딩을 위한 인코더의 마스크되지 않은 토큰의 출력 기능을 병합합니다. 그러면 이러한 결합된 기능은 최종 MAE 출력에서 ​​입력 이미지 토큰의 원래 위치로 재정렬됩니다.

선형 프로젝션 헤드. 그런 다음 인코더와 교차 주의 디코더를 통해 얻은 이미지 출력을 작은 프로젝트 헤드에 공급하여 SAM 이미지 인코더의 기능을 정렬했습니다. 단순화를 위해 이 문서에서는 선형 프로젝션 헤드만 사용하여 SAM 이미지 인코더와 MAE 출력 간의 특징 치수 불일치를 해결합니다.

재건축 손실. 각 교육 반복에서 SAMI에는 SAM 이미지 인코더의 순방향 특징 추출과 MAE의 순방향 및 역전파 프로세스가 포함됩니다. SAM 이미지 인코더와 MAE 선형 프로젝션 헤드의 출력을 비교하여 재구성 손실을 계산합니다.

사전 훈련 후 인코더는 다양한 시각적 작업에 대한 특징 표현을 추출할 수 있으며 디코더도 삭제됩니다. 특히, 모든 분할 작업에 대한 효율적인 SAM 모델을 구축하기 위해 본 논문에서는 EfficientSAM의 이미지 인코더와 SAM의 기본 마스크 디코더로 SAMI 사전 훈련된 경량 인코더(예: ViT-Tiny 및 ViT-Small)를 채택합니다. , 그림 2(하단)에 표시된 대로. 이 문서에서는 SA-1B 데이터세트에서 EfficientSAM 모델을 미세 조정하여 모든 작업을 세분화합니다.

실험

이미지 분류. 이미지 분류 작업에 대한 이 방법의 효율성을 평가하기 위해 연구원들은 SAMI 아이디어를 ViT 모델에 적용하고 ImageNet-1K에서 성능을 비교했습니다.

표 1에서 볼 수 있듯이 SAMI는 MAE, iBOT, CAE 및 BEiT와 같은 사전 훈련 방법과 DeiT 및 SSTA와 같은 증류 방법과 비교됩니다.

SAMI-B의 top1 정확도는 84.8%에 달하며 이는 사전 훈련된 기준선인 MAE, DMAE, iBOT, CAE 및 BEiT보다 높습니다. SAMI는 또한 DeiT 및 SSTA와 같은 증류 방법에 비해 큰 개선을 보여줍니다. ViT-Tiny 및 ViT-Small과 같은 경량 모델의 ​​경우 SAMI 결과는 DeiT, SSTA, DMAE 및 MAE에 비해 상당한 이점을 보여줍니다.

객체 감지 및 인스턴스 분할. 또한 이 백서는 SAMI 사전 훈련된 ViT 백본을 다운스트림 객체 감지 및 인스턴스 분할 작업으로 확장하고 이를 COCO 데이터세트에 사전 훈련된 기준선과 비교합니다. 표 2에서 볼 수 있듯이 SAMI는 지속적으로 다른 기준의 성능을 능가합니다.

이러한 실험 결과는 SAMI에서 제공하는 사전 훈련된 감지기 백본이 객체 감지 및 인스턴스 분할 작업에 매우 효과적이라는 것을 보여줍니다.

의미론적 분할. 본 논문에서는 사전 훈련된 백본을 의미론적 분할 작업으로 확장하여 효율성을 평가합니다. 결과는 표 3에 나와 있습니다. SAMI 사전 훈련된 백본을 사용하는 Mask2former는 MAE 사전 훈련된 백본을 사용하는 것보다 ImageNet-1K에서 더 나은 mIoU를 달성합니다. 이러한 실험 결과는 본 논문에서 제안한 기술이 다양한 다운스트림 작업에 잘 일반화될 수 있음을 검증합니다.

표 4에서는 EfficientSAM을 SAM, MobileSAM 및 SAM-MAE-Ti와 비교합니다. COCO에서는 EfficientSAM-Ti가 MobileSAM보다 성능이 뛰어납니다. EfficientSAM-Ti에는 SAMI 사전 훈련된 가중치가 있으며 MAE 사전 훈련된 가중치보다 성능도 더 좋습니다.

또한 EfficientSAM-S는 COCO 상자의 SAM보다 1.5mIoU 낮고 LVIS 상자의 SAM보다 3.5mIoU 낮으며 매개변수는 20배 더 적습니다. 본 논문에서는 또한 EfficientSAM이 MobileSAM 및 SAM-MAE-Ti에 비해 다중 클릭에서도 좋은 성능을 보임을 확인했습니다.

표 5는 제로샷 인스턴스 분할의 AP, APS, APM 및 APL을 보여줍니다. 연구진은 EfficientSAM을 MobileSAM 및 FastSAM과 비교한 결과 FastSAM과 비교하여 EfficientSAM-S가 COCO에서 6.5개 이상의 AP, LVIS에서 7.8개 이상의 AP를 획득한 것을 확인할 수 있습니다. EffidientSAM-Ti의 경우 COCO에 4.1 AP, LVIS에 5.3 AP가 있는 반면, MobileSAM에는 COCO에 3.6 AP, LVIS에 5.5 AP가 있어 FastSAM보다 훨씬 뛰어납니다.

또한 EfficientSAM은 FastSAM보다 훨씬 가볍고,efficientSAM-Ti의 매개변수는 9.8M이고 FastSAM의 매개변수는 68M입니다.

그림 3, 4, 5는 독자가 EfficientSAM의 인스턴스 분할 기능을 보충적으로 이해할 수 있도록 몇 가지 정성적 결과를 제공합니다.

자세한 연구 내용은 원문을 참고해주세요.

위 내용은 VPR 2024 만점 시험지! Meta는 EfficientSAM을 제안합니다: 모든 것을 빠르게 분할하세요!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!