ControlNet의 새 작품 작성자가 인기를 끌고 있습니다. 도움을 요청하지 않고도 P 사진을 배경으로 변경할 수 있으며 AI 조명이 완벽하게 통합되어 있습니다.

ControlNet 작가의 신작으로, 오픈 소스 이후 별 1200개를 받을 정도로 플레이가 너무 재미있습니다.

IC-Light는 이미지 조명 효과를 조작하는 데 사용되며, 전체 이름은 일관된 조명을 의미합니다.

게임 플레이는 매우 간단합니다.

업로드는 시스템이 자동으로 캐릭터와 다른 피사체를 분리하고, 광원 위치를 선택하고, 프롬프트 단어를 입력하며, 아무런 결함 없이 새로운 환경에 통합될 수 있음을 의미합니다!

어서 왕가와이 스타일 조명을 해보세요:

마음에 들지 않으세요?

상관없습니다. 창문에서 들어오는 자연광으로 전환하는 데 1분밖에 걸리지 않습니다.

현재 IC-Light는 텍스트 조건부 재조명 모델과 배경 조건부 모델의 두 가지 모델을 제공합니다.

두 모델 모두 입력으로 전경 이미지가 필요합니다.

예전에는 Controlnet이 너무 재미있었기 때문에 이번에 IC-Light가 등장했을 때 많은 관심을 받았고 일부 네티즌들은 빠르게 ComfyUI 플러그인을 만들었습니다.

(의심, 다들 너무 열심히 일하고 잠도 안자고??)

기대든 사용 후의 경험이든 네티즌들은 매우 높게 평가합니다:

멋져요! 빨리 시작해서 플레이하고 싶네요 헤헤헤헤.

이 사진의 배경을 바꾸는 데 누가 도움을 줄 수 있나요?

고대 MCN부터 티에바, 그리고 현재의 샤오홍슈까지, 모든 시대에 "배경 변경을 도와줄 수 있는 사람이 있나요?"와 같은 도움말 게시물이 부족하지 않습니다.

하지만 열정적인 네티즌들의 도움은 종종 다음과 같습니다:

은 터무니없습니다.

그런데 솔직히 이런 수요는 저나 여러분 같은 평범한 사람들에게만 있는 게 아니고, 전자상거래 회사에서도 제품 포스터를 만들 때 비슷한 요구를 하는 경우가 많습니다.

IC-Light를 사용하면 모든 것이 더 쉬워진 것 같습니다.

원본 메인 이미지 업로드 + 광원 위치 선택 + 프롬프트 단어를 선택하면 완료됩니다.

효과를 살펴보겠습니다.

불상의 원본 이미지에 "불상, 상세한 얼굴, 공상과학 RGB 글로우, 사이버펑크"라는 프롬프트 단어를 추가한 다음 "왼쪽에서 오는 빛"을 선택합니다.

완제품이 새로워집니다.

데일리 장면에도 적합합니다.

최종 효과는 육안으로 볼 때 더 자연스러워 보입니다.

네티즌들이 공유한 평가에 따르면 애니메이션 장면에도 적합하다고 합니다...

뒤에 있는 기술

앞서 언급했듯이 , IC-Light는 이제 두 가지 유형의 모델을 제공하며 두 모델 모두 입력으로 전경 이미지가 필요합니다.

한 가지 유형은 텍스트 조건부 재조명 모델입니다.

간단히 말하면 사용자는 프롬프트 단어를 입력하여 생성을 완료할 수 있습니다.

예를 들어 "왼쪽 빛", "달빛" 등을 입력하면 모델은 이러한 프롬프트 단어와 초기 잠재 변수를 사용하여 요구 사항과 특성을 충족하는 이미지를 생성합니다.

다른 유형은 배경 조건 모델입니다.

이것은 훨씬 더 간단하며 복잡한 프롬프트 단어가 필요하지 않습니다. 모델은 배경 프롬프트 정보를 결합하여 전경 개체의 조명을 다양한 스타일로 변경합니다.

잠재공간의 일관성을 통해 다양한 광원 조합에서 모델 출력이 일관되게 유지되도록 하여 다양한 조명 효과를 안정적으로 합성할 수 있도록 하는 것이 그 뒤에 있는 기술적 원리입니다.

자세한 내용은 다음과 같습니다.

HDR 공간에서 모든 조명의 빛 투과는 서로 독립적입니다. 다양한 광원의 외관 혼합 효과는 수학적으로 (즉, 이상적인 상태에서) 여러 광원의 직접적인 작용에 따른 외관과 일치합니다. .

위 사진의 조명 단계를 예로 들면 "외관 혼합"과 "광원 혼합"의 두 이미지가 일관됩니다. (이상적으로는 HDR 공간에서 수학적으로 동일함) .

따라서 연구원들은 재조명 모델을 훈련할 때 잠재 공간에서 다층 퍼셉트론(MLP)을 사용하여 서로 다른 광원의 조합과 전송을 일관되게 만들고 생성된 효과를 안내하는 데 사용했습니다.

그 결과 매우 일관된 재조명 효과가 나타납니다.

모델은 잠재 확산 기술을 사용하기 때문에 잠재 공간 내에서 학습 및 재조명 작업을 구현할 수 있어 다양한 조명 조건에서 매우 일관된 효과를 얻을 수 있습니다.

이러한 결과는 매우 일관됩니다. 모델이 훈련 시 노멀 맵 데이터를 직접 사용하지 않더라도 다양한 조명을 노멀 맵에 병합할 수 있습니다.

아래 그림을 보세요. 왼쪽에서 오른쪽으로 입력, 모델 출력, 재조명, 그림자 이미지 분할 및 병합된 노멀 맵이 있습니다.

관심 있는 친구들은 아래 주소로 가서 시험해 볼 수 있습니다~

GitHub 직행열차: https://github.com/lllyasviel/IC-Light?tab=readme-ov-file.

위 내용은 ControlNet의 새 작품 작성자가 인기를 끌고 있습니다. 도움을 요청하지 않고도 P 사진을 배경으로 변경할 수 있으며 AI 조명이 완벽하게 통합되어 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!