ControlNet 저자의 새로운 작품: AI 페인팅을 레이어로 나눌 수 있습니다! 이 프로젝트는 오픈 소스 없이 별 660개를 획득했습니다.

"결코 단순한 컷아웃이 아닙니다."

ControlNet 작성자 최신 연구는 큰 주목을 받았습니다. -

Stable Diffusion을 사용하여 단일 또는 다중 생성을 직접 생성할 수 있습니다. 투명 레이어 (PNG) !

예:

침실에서 머리를 헝클어진 여성.
침실에 헝클어진 머리를 가진 여자

AI가 프롬프트에 맞는 완전한 이미지를 생성했을 뿐만 아니라 배경과 캐릭터까지 분리할 수 있다는 것을 알 수 있습니다.

그리고 캐릭터 PNG 이미지를 확대해서 자세히 보면 머리카락 가닥이 또렷하게 나와있습니다.

또 다른 예를 살펴보세요.

시골에서 테이블 위에서 장작을 태우는 모습입니다.
시골에서 테이블 위에 장작을 태우고 있습니다.

마찬가지로 "불타는 성냥"의 PNG를 확대하면 불꽃 주변의 검은 연기까지 분리할 수 있습니다.

이것은 ControlNet의 저자 제안된 새로운 방법인 LayerDiffusion을 사용하면 사전 훈련된 대규모 잠재 확산 모델이 투명한 이미지를 생성할 수 있습니다.

LayerDiffusion은 이미지 잘라내기만큼 간단하지 않으며 초점은 세대에 있다는 점을 다시 강조할 가치가 있습니다.

네티즌들이 말했듯이:

이것은 현재 애니메이션 및 비디오 제작의 핵심 프로세스 중 하나입니다. 이 단계를 통과할 수 있다면 SD 일관성은 더 이상 문제가 되지 않는다고 할 수 있다.

일부 네티즌들은 이 작업이 어렵지 않고 그냥 '그나저나 알파채널만 추가하면 된다'고 생각했지만, 그를 놀라게 한 점은

결과가 나올 때까지 너무 오랜 시간이 걸렸다는 것입니다. 밖으로.

그럼 LayerDiffusion은 어떻게 구현되나요?

PNG, 이제 생성 루트를 시작합니다

LayerDiffusion의 핵심은 잠재 투명도(잠재 투명도)라는 방법입니다.

간단히 말하면 사전 훈련된 잠재 확산 모델(예: Stable Diffusion)의 잠재 분포를 파괴하지 않고 모델에 투명성을 추가할 수 있습니다.

구체적인 구현 측면에서 이는 잠상에 세심하게 설계된 작은 섭동 (오프셋) 을 추가하는 것으로 이해될 수 있습니다. 이 섭동은 RGB 채널과 함께 완전한 잠상을 구성하는 추가 채널로 인코딩됩니다.

투명성의 인코딩 및 디코딩을 달성하기 위해 저자는 두 개의 독립적인 신경망 모델을 훈련했습니다. 하나는 잠재 투명성 인코더(잠재 투명성 인코더)이고 다른 하나는 잠재 투명성 디코더(잠재 투명성 인코더)입니다. 투명도 디코더).

인코더는 원본 이미지의 RGB 채널과 알파 채널을 입력으로 받아 투명도 정보를 잠재 공간의 오프셋으로 변환합니다.

디코더는 조정된 잠상과 재구성된 RGB 이미지를 수신하고 잠재 공간에서 투명도 정보를 추출하여 원본 투명 이미지를 재구성합니다.

추가된 잠재적 투명성이 사전 훈련된 모델의 기본 분포를 파괴하지 않도록 하기 위해 저자는 "무해성" (무해함) 측정항목을 제안합니다.

이 측정항목은 사전 훈련된 원본 모델의 디코더에 의해 조정된 잠상의 디코딩 결과를 원본 이미지와 비교하여 잠재 투명도의 영향을 평가합니다.

훈련 과정에서 저자는 재구성 손실 (재구성 손실) , 신원 손실(신원 손실) 및 판별자 손실 (판별기 손실)을 결합한 관절 손실 함수 (관절 손실 함수) 도 사용합니다. ).

그들의 역할은 다음과 같습니다:

• 재구성 손실: 디코딩된 이미지가 원본 이미지와 최대한 유사하도록 하는 데 사용됩니다.
• 신원 손실: 조정된 잠상이 사전에 의해 올바르게 디코딩될 수 있는지 확인하는 데 사용됩니다. 훈련된 디코더 ;
• 판별기 손실: 생성된 이미지의 사실성을 향상시키는 데 사용됩니다.

이 접근 방식을 사용하면 모든 잠재 확산 모델을 조정된 잠재 공간에 맞게 미세 조정하기만 하면 투명 이미지 생성기로 변환할 수 있습니다.

잠재 투명도의 개념을 확장하여 여러 투명 레이어를 생성할 수도 있고 다른 조건부 제어 시스템과 결합하여 전경/배경 조건 생성, 결합 레이어 생성, 레이어 구조 제어와 같은 보다 복잡한 이미지 생성 작업을 달성할 수도 있습니다. 내용 등

저자가 LayerDiffusion의 기능을 풍부하게 하기 위해 ControlNet을 소개하는 방법도 보여준다는 점은 언급할 가치가 있습니다.

전통적인 매트의 차이점

LayerDiffusion과 기존의 매트의 차이점은 다음과 같습니다. 다음 사항으로 요약됩니다.

기본 생성 vs. 사후 처리

LayerDiffusion은 생성 프로세스 중에 투명도 정보를 직접 고려하고 인코딩하는 기본 투명 이미지 생성 방법입니다. 이는 모델이 이미지를 생성하는 동안 알파 채널 을 생성하여 투명한 이미지를 생성한다는 것을 의미합니다.

기존 컷아웃 방법에는 일반적으로 먼저 이미지를 생성하거나 얻은 다음 이미지 편집 기술(예: 크로마 키, 가장자리 감지, 사용자 지정 마스크 등)

을 통해 전경과 배경을 분리하는 작업이 포함됩니다. 이 접근 방식에는 투명성을 처리하기 위한 추가 단계가 필요한 경우가 많으며 복잡한 배경이나 가장자리에서 부자연스러운 전환이 발생할 수 있습니다.

잠재 공간 작업과 픽셀 공간 작업

LayerDiffusion은 모델이 더 복잡한 이미지 특징을 학습하고 생성할 수 있는 중간 표현인 잠재 공간(잠재 공간)에서 작동합니다. 잠재 공간에서 투명도를 인코딩함으로써 모델은 픽셀 수준에서 복잡한 계산을 할 필요 없이 생성 중에 투명도를 자연스럽게 처리할 수 있습니다.

기존 컷아웃 기술은 일반적으로 픽셀 공간에서 수행되며, 여기에는 색상 교체, 가장자리 스무딩 등과 같은 원본 이미지의 직접 편집이 포함될 수 있습니다. 이러한 방법은 반투명 효과(불, 연기 등) 또는 복잡한 가장자리를 처리하는 데 어려움을 겪을 수 있습니다.

데이터 세트 및 교육

LayerDiffusion은 투명한 이미지 쌍이 포함된 대규모 데이터 세트를 교육용으로 사용하므로 모델이 고품질 투명 이미지를 생성하는 데 필요한 복잡한 분포를 학습할 수 있습니다.

기존의 매트링 방법은 더 작은 데이터 세트나 특정 훈련 세트에 의존할 수 있으므로 다양한 시나리오를 처리하는 능력이 제한될 수 있습니다.

유연성 및 제어

LayerDiffusion은 사용자가 텍스트 프롬프트를 통해 이미지 생성을 안내할 수 있고 여러 레이어를 생성할 수 있으므로 더 큰 유연성과 제어 기능을 제공하며, 레이어를 혼합하고 결합하여 복잡한 장면을 만들 수 있습니다.

기존 컷아웃 방법은 특히 복잡한 이미지 내용과 투명도를 처리할 때 제어가 더 제한적일 수 있습니다.

품질 비교

사용자 연구에 따르면 LayerDiffusion으로 생성된 투명 이미지는 대부분의 경우 사용자가 선호하는 것으로 나타났습니다.

(97%) 이는 생성된 투명 콘텐츠가 상업용 투명 자산과 시각적으로 유사하며 더 나은 가능성이 있음을 나타냅니다. .

기존 컷아웃 방법은 특히 까다로운 투명도와 가장자리를 처리할 때 동일한 품질을 달성하지 못할 수 있습니다.

전체적으로 LayerDiffusion은 투명한 이미지를 생성하고 처리하는 보다 발전되고 유연한 방법을 제공합니다.

생성 과정에서 직접적으로 투명성을 인코딩하여 기존 컷아웃 방식으로는 달성하기 어려운 고품질의 결과를 생성할 수 있습니다.

저자 소개

방금 언급했듯이 이 연구의 저자 중 한 명은 유명한 ControlNet의 발명가인

Zhang Lumin입니다.

그는 쑤저우 대학을 졸업하고 신입생 때 AI 회화 관련 논문을 발표했습니다.

장루민은 현재 스탠포드 대학에서 박사과정을 공부하고 있지만, 구글 학술검색에 등록조차 하지 않은 매우 소심하다고 할 수 있습니다.

현재 LayerDiffusion은 GitHub의 오픈 소스가 아니지만 그럼에도 불구하고 모든 사람의 관심을 멈출 수 없으며 이미 별 660개를 얻었습니다.

역시 장루민은 네티즌들에게 '시간관리 달인'이라는 조롱을 받기도 합니다. LayerDiffusion에 관심이 있는 친구들은 미리 표시해두시면 됩니다.

위 내용은 ControlNet 저자의 새로운 작품: AI 페인팅을 레이어로 나눌 수 있습니다! 이 프로젝트는 오픈 소스 없이 별 660개를 획득했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!