ControlNet의 저자가 또 다른 히트를 쳤습니다! 이틀 만에 14,000개의 별을 획득하여 그림에서 그림을 생성하는 전체 과정

역시 Tusheng 영상이지만 PaintsUndo는 다른 경로를 택했습니다.

ControlNet 작성자 Lvmin Zhang이 다시 작업에 복귀했습니다! 이번에는 회화 분야를 목표로 삼고 있습니다.

새 프로젝트 PaintsUndo는 출시 직후 14,000개의 별(여전히 상승세)을 받았습니다.

프로젝트 주소: https://github.com/lllyasviel/Paints-UNDO

이 프로젝트를 통해 사용자는 정적 이미지를 입력하고 PaintsUndo는 자동으로 전체 페인팅 과정의 비디오를 생성하는 데 도움을 줍니다. from the line 초안부터 완성품까지 따라가는 흔적이 있습니다.

그리는 과정에서 선의 변화가 놀랍습니다. 최종 영상 결과는 원본 이미지와 매우 유사합니다.

전체 페인팅 과정을 살펴보겠습니다. PaintsUndo는 먼저 간단한 선을 사용하여 캐릭터 본체의 윤곽을 잡은 다음 배경을 그리고 색상을 적용한 다음 마지막으로 원본 이미지와 유사하도록 미세 조정합니다.

PaintsUndo는 단일 이미지 스타일로 제한되지 않으며 다양한 유형의 이미지에 대해 해당 페인팅 프로세스 비디오도 생성합니다.

후드를 쓴 코기는 부드럽게 먼 곳을 바라보고 있습니다.

사용자는 단일 이미지를 입력하고 여러 개의 동영상을 출력할 수도 있습니다.

그러나 PaintsUndo에도 다음과 같은 단점이 있습니다. 복잡한 구성으로 이루어져 있으며 저자는 프로젝트가 아직 다듬어지고 있다고 말합니다.

PaintsUndo가 강력한 이유는 이미지를 입력으로 사용하고 이미지의 드로잉 시퀀스를 출력하는 일련의 모델에서 지원되기 때문입니다. 이 모델은 스케치, 잉크 입력, 음영 처리, 음영 처리, 변형, 왼쪽 및 오른쪽 뒤집기, 색상 곡선 조정, 레이어 가시성 변경, 그리기 과정 중 전반적인 아이디어 변경 등을 포함하되 이에 국한되지 않는 다양한 인간 행동을 재현합니다. .

로컬 배포 프로세스는 매우 간단하며 몇 줄의 코드로 완료할 수 있습니다.

git clone https://github.com/lllyasviel/Paints-UNDO.gitcd Paints-UNDOconda create -n paints_undo python=3.10conda activate paints_undopip install xformerspip install -r requirements.txtpython gradio_app.py

모델 소개

프로젝트 작성자는 추론 테스트를 위해 Nvidia 4090 및 3090TI에서 24GB VRAM을 사용했습니다. 저자는 극단적인 최적화(무게 오프로딩 및 주의 슬라이싱 포함)를 통해 이론적 최소 VRAM 요구 사항이 약 10~12.5GB라고 추정합니다. PaintsUndo는 설정에 따라 약 5~10분 내에 이미지를 처리할 것으로 예상하며 일반적으로 320x512, 512x320, 384x448 또는 448x384 해상도의 25초 비디오를 생성합니다.

현재 프로젝트에서는 단일 프레임 모델인 Paints_undo_single_frame과 다중 프레임 모델인 Paints_undo_multi_frame의 두 가지 모델을 출시했습니다.

단일 프레임 모델은 SD1.5의 수정된 아키텍처를 사용하여 이미지와 작업 단계를 입력으로 사용하고 이미지를 출력합니다. 예술 작품을 만드는 데 일반적으로 1000개의 수동 작업이 필요하다고 가정하면(예: 한 스트로크는 하나의 작업) 작업 단계 크기는 0-999 사이의 정수입니다. 숫자 0은 최종 완성된 작품이고 숫자 999는 순백색 캔버스에 칠해진 첫 번째 획입니다.

멀티 프레임 모델은 VideoCrafter 시리즈 모델을 기반으로 하지만 원본 Crafter의 lvdm을 사용하지 않으며 모든 학습/추론 코드가 처음부터 완전히 구현됩니다. 프로젝트 작성자는 신경망의 토폴로지를 많이 수정했으며 광범위한 훈련을 거친 후 신경망은 원래 Crafter와 매우 다르게 동작합니다.

다중 프레임 모델의 전체 아키텍처는 3D-UNet, VAE, CLIP, CLIP-Vision 및 Image Projection의 5가지 구성 요소를 포함하여 Crafter와 유사합니다.

멀티 프레임 모델은 두 개의 이미지를 입력으로 사용하고 두 개의 입력 이미지 사이에 16개의 중간 프레임을 출력합니다. 다중 프레임 모델은 단일 프레임 모델보다 더 일관된 결과를 제공하지만 훨씬 느리고 "창의성"이 떨어지며 16개 프레임으로 제한됩니다.

PaintsUndo는 기본적으로 단일 프레임과 다중 프레임 모델을 함께 사용합니다. 첫째, 단일 프레임 모델을 사용하여 약 5-7회 추론하여 5-7개의 "키 프레임"을 얻은 다음 다중 프레임 모델을 사용하여 이러한 키 프레임을 "보간"하고 마지막으로 비교적 긴 영상이 생성됩니다.

^{참조링크: https://lllyasviel.github.io/pages/paints_undo/}

위 내용은 ControlNet의 저자가 또 다른 히트를 쳤습니다! 이틀 만에 14,000개의 별을 획득하여 그림에서 그림을 생성하는 전체 과정의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!