"모든 것을 나누기"가 이미지 복구를 충족하는 경우: 미세한 표시가 필요 없으며 개체를 클릭하여 개체 제거, 콘텐츠 채우기 및 장면 교체를 수행합니다.

4월 초, Meta는 역사상 최초의 기본 이미지 분할 모델인 SAM(Segment Anything Model)[1]을 출시했습니다. 분할 모델로서 SAM은 강력한 기능을 갖추고 있으며 매우 사용자 친화적입니다. 예를 들어 사용자가 해당 개체를 클릭하기만 하면 개체가 즉시 분할되며 분할 결과가 매우 정확합니다. 4월 15일 현재 SAM의 GitHub 저장소의 별 개수는 26,000개입니다.

이러한 강력한 "모든 분할" 모델을 잘 활용하고 보다 실용적인 요구 사항이 있는 애플리케이션 시나리오로 확장하는 방법이 중요합니다. 예를 들어, SAM이 실용적인 이미지 인페인팅(Image Inpainting) 작업을 충족하면 어떤 종류의 불꽃이 나타날까요?

중국 과학 기술 대학과 동부 과학 기술 연구소의 연구팀이 놀라운 답변을 내놓았습니다. SAM을 기반으로 그들은 "Inpaint Anything"(IA) 모델을 제안했습니다. 기존 이미지 복구 모델과 달리 IA 모델은 마스크를 생성하는 데 세부적인 작업이 필요하지 않으며 한 번의 클릭으로 선택한 개체 표시를 지원합니다. 타겟 제거, 타겟 채우기, 배경 교체 등 다양한 일반적인 이미지 복구 애플리케이션 시나리오를 다룹니다. ㅋㅋㅋ 방법 소개

현재 이미지 인페인팅 시스템은 상당한 발전을 이루었지만 여전히 마스크 이미지 선택 및 구멍 채우기에 어려움을 겪고 있습니다. SAM을 기반으로

연구원들은 처음으로 마스크 없는 이미지 복구를 시도했고

• , 모든 것을 패치하는(Inpaint Anything)(IA) "클릭 및 채우기" 이미지 복구의 새로운 패러다임을 구축했습니다.
IA의 핵심 아이디어는 다양한 모델의 장점을 결합하여 강력하고 사용자 친화적인 이미지 복구 시스템을 구축하는 것입니다
• .

IA에는 세 가지 주요 기능이 있습니다. (i) 무엇이든 제거: 사용자는 제거하려는 개체를 클릭하기만 하면 IA는 흔적을 남기지 않고 개체를 제거하여 효율적인 "마법 제거"를 달성합니다. 무엇이든 채우기: 동시에 사용자는 텍스트 프롬프트(텍스트 프롬프트)를 통해 개체에 채우고 싶은 내용을 IA에 추가로 알릴 수 있으며, IA는 내장된 AIGC(AI 생성 콘텐츠) 모델(예: Stable Diffusion)을 구동합니다. [2]) 원하는 대로 "컨텐츠 생성"을 달성하기 위해 해당 컨텐츠로 채워진 객체를 생성합니다. (iii) 무엇이든 바꾸기: 사용자는 유지해야 하는 객체를 클릭하여 선택하고 텍스트 프롬프트를 사용하여 원하는 것을 IA에 알릴 수도 있습니다. 개체의 배경을 지정된 내용으로 대체하여 생생한 "환경 변화"를 얻을 수 있습니다. IA의 전체 프레임워크는 아래 그림에 나와 있습니다.

Inpaint Anything(IA) 다이어그램. 사용자는 이미지에 있는 개체를 클릭하여 선택할 수 있습니다. SAM [1], LaMa [3] 및 Stable Diffusion(SD) [3]과 같은 강력한 비전 모델을 활용하여 IA는 선택한 객체를 원활하게 제거할 수 있습니다(예: Remove Anything). 또한 IA에 텍스트 프롬프트를 입력함으로써 사용자는 객체를 원하는 내용으로 채우거나(예: 무엇이든 채우기) 객체의 객체를 임의로 대체(예: 무엇이든 대체)할 수 있습니다. 모든 항목 제거

무엇이든 제거의 개략도

"모든 항목 제거" 단계는 다음과 같습니다.

• 1단계: 사용자가 제거하려는 개체를 클릭합니다.
2단계: SAM이 객체를 분할합니다.
3단계: 이미지 인페인팅 모델(LaMa)이 객체를 채웁니다.

Fill Anything

Fill Anything 다이어그램, 그림에 사용된 텍스트 프롬프트: 벤치 위의 테디 베어

"모든 것을 채우세요" 단계

1단계: 사용자가 제거하려는 개체를 클릭합니다.
2단계: SAM이 개체를 분할합니다.
사용자는 텍스트를 통해 자신의 생각을 표현합니다.
4단계: 텍스트 프롬프트 기반 이미지 인페인팅 모델(Stable Diffusion)은 사용자가 제공한 텍스트를 기반으로 개체를 채웁니다. athe 다이어그램을 어디에나 놓고, 그림에 사용 된 텍스트 프롬프트 : Office의 남자 "모든 것을 채우는"단계는 다음과 같습니다. 1: 사용자가 제거하려는 개체를 클릭합니다.
2단계: SAM이 개체를 분할합니다.

3단계: 사용자가 텍스트를 통해 교체하려는 배경을 나타냅니다. : 텍스트 프롬프트 기반의 이미지 인페인팅 모델(Stable Diffusion)은 사용자가 제공한 텍스트를 기반으로 객체의 배경을 대체합니다.

모델 결과 그런 다음 연구원들은 COCO 데이터세트[4], LaMa 테스트 데이터세트[3] 및 휴대폰으로 촬영한 자체 2K HD 이미지에서 Inpaint Anything을 테스트했습니다. 연구원의 모델은 2K 고화질 이미지와 모든 화면비를 지원하므로 다양한 통합 환경과 기존 프레임워크에서 IA 시스템의 효율적인 마이그레이션 애플리케이션을 가능하게 한다는 점은 주목할 가치가 있습니다.

모든 실험 결과 제거

모든 실험 결과 채우기

텍스트 프롬프트: 손에 카메라 렌즈

텍스트 프롬프트: 바다 위의 항공모함

텍스트 프롬프트: 벽에 걸린 피카소 그림

모든 실험 결과 바꾸기

텍스트 프롬프트: 그네에 앉아

텍스트 프롬프트: 아침식사

텍스트 프롬프트: 버스, 시골길 중앙, 여름

텍스트 프롬프트: crossroad in the city

Summary

연구원들이 이런 방식으로 설립했습니다. 기존 대규모 인공지능 모델을 활용하는 힘을 보여주고 "컴포저블 AI"의 무한한 잠재력을 드러내는 흥미로운 프로젝트입니다. . 프로젝트에서 제안한 Inpaint Anything(IA)은 객체 제거, 콘텐츠 채우기, 장면 교체 및 기타 기능을 통합한 다기능 이미지 복구 시스템입니다(더 많은 기능이 제공될 예정이므로 계속 지켜봐 주시기 바랍니다). IA는 SAM, 이미지 복구 모델(예: LaMa) 및 AIGC 모델(예: Stable Diffusion)과 같은 기본 시각적 모델을 결합하여 사용자 친화적인 마스크 없는 이미지 복구를 구현하는 동시에 "삭제하려면 클릭, 채우기 확인" 및 다른 "바보 스타일" 인간화 작업. 또한 IA는 이미지의 원본 내용에 관계없이 임의의 종횡비와 2K HD 해상도로 이미지를 처리할 수 있습니다.

현재

프로젝트는 완전히 오픈 소스입니다. 마지막으로, 누구나 Inpaint Anything(IA)을 공유하고 홍보할 수 있으며, IA를 기반으로 하는 더 많은 새로운 프로젝트를 볼 수 있기를 기대합니다. 앞으로 연구원들은 세밀한 이미지 컷아웃, 편집 등과 같은 보다 실용적인 새로운 기능을 지원하고 이를 더 많은 실제 애플리케이션에 적용할 수 있는 Inpaint Anything(IA)의 잠재력을 더욱 탐구할 것입니다.

위 내용은 "모든 것을 나누기"가 이미지 복구를 충족하는 경우: 미세한 표시가 필요 없으며 개체를 클릭하여 개체 제거, 콘텐츠 채우기 및 장면 교체를 수행합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!