생성 속도는 SDXL보다 두 배 빠르며 9GB GPU에서도 실행될 수 있어 가격 대비 성능 비율이 향상되었습니다.

하드웨어 요구 사항은 점점 낮아지고 있으며, 생성 속도는 점점 빨라지고 있습니다.

안정성 AI는 텍스트-이미지 변환의 선구자로서 트렌드를 선도할 뿐만 아니라 모델 품질에서도 지속적으로 새로운 혁신을 이루고 있습니다. 이번에는 코스트 퍼포먼스의 획기적인 발전을 이루었습니다.

불과 며칠 전 Stability AI는 또 다른 새로운 움직임을 보였습니다. Stable Cascade의 연구 미리보기 버전이 출시되었습니다. 이 텍스트-이미지 모델은 하드웨어 장벽을 더욱 제거하는 데 중점을 두고 품질, 유연성, 미세 조정 및 효율성에 대한 새로운 벤치마크를 설정하는 3단계 접근 방식을 도입하여 혁신을 이루었습니다. 또한 Stability AI는 훈련 및 추론 코드를 출시하여 모델과 출력을 추가로 사용자 정의할 수 있습니다. 모델은 디퓨저 라이브러리에서 추론할 수 있습니다. 이 모델은 비상업적 라이센스에 따라 출시되므로 비상업적 사용만 허용됩니다.

• 원본 링크: https://stability.ai/news/introducing-stable-cascade

• 코드 주소: https://github.com/Stability-AI/StableCascade

• Experience 주소: https://huggingface.co/spaces/multimodalart/stable-cascade

항상 그렇듯이 간단한 조작으로 대상 이미지를 생성할 수 있습니다. 이미지에 대한 텍스트 설명을 입력하기만 하면 됩니다.

                                  출처: https://twitter.com/multimodalart/status/1757391981074903446

Stable Cascade는 매우 빠르게 생성됩니다. X 플랫폼 사용자 @GozukaraFurkan은 약 9GB의 GPU 메모리만 필요하며 속도는 여전히 잘 유지될 수 있다고 게시했습니다.

                                                                   . 짧은 단어/문장 생성 정확도가 상대적으로 높으며, 긴 문장도 일정 확률로 완성할 수 있습니다(영어만 해당). 텍스트와 이미지의 통합도 매우 좋습니다. ㅋㅋㅋ >                 

사용자 @AIWarper는 다양한 아티스트 스타일 테스트를 시도했습니다.

프롬프트: Elm Street의 악몽. 아티스트 스타일 참조는 다음과 같습니다: 왼쪽 위 신카이 마코토, 왼쪽 아래 토머 하누카, 오른쪽 위 라파엘 키르히너, 오른쪽 아래 야마모토 다카토.

그러나 캐릭터의 얼굴을 생성해 보면 캐릭터의 피부 디테일이 별로 좋지 않은 것을 볼 수 있으며, "10레벨 피부 갈기" 같은 느낌을 줍니다. ㅋㅋㅋ                     

Stable Cascade는 Stable Diffusion 모델 시리즈와 다릅니다. 이는 A, B, C 단계로 구성된 파이프라인의 세 가지 모델을 기반으로 합니다. 이 아키텍처는 이미지의 계층적 압축을 수행하고 고도로 압축된 잠재 공간을 활용하여 뛰어난 출력을 달성할 수 있습니다. 이 부분들은 어떻게 서로 맞물리나요?

잠재 이미지 생성기 단계(C단계)는 사용자 입력을 컴팩트한 24x24 잠재 표현으로 변환한 다음 이미지 압축을 위해 잠재 디코더 단계(A 및 B단계)로 전달합니다. 이는 VAE 작업과 유사합니다. 안정적인 확산이 가능하지만 더 높은 압축률을 달성할 수 있습니다.

텍스트 조건 생성(단계 C)을 디코딩에서 고해상도 픽셀 공간(단계 A 및 B)으로 분리함으로써 훈련과 유사하게 ControlNets 및 LoRA를 포함하여 단계 C에서 추가 훈련 또는 미세 조정을 완료할 수 있습니다. 동일한 크기의 Stable Diffusion 모델로 비용을 1/16로 줄일 수 있습니다. 단계 A와 B는 추가 제어를 위해 선택적으로 미세 조정할 수 있지만 이는 안정 확산 모델에서 VAE를 미세 조정하는 것과 유사합니다. 대부분의 경우 그렇게 하면 얻을 수 있는 이점은 미미합니다. 따라서 대부분의 목적에 대해 Stability AI는 공식적으로 C 단계만 교육하고 A 단계와 B 단계의 원래 상태를 사용할 것을 권장합니다.

Phase C와 B는 Phase C의 경우 1B 및 3.6B 매개변수 모델, Phase B의 경우 700M 및 1.5B 매개변수 모델의 두 가지 모델을 출시합니다. Stage C에는 3.6B 매개변수가 있는 모델이 가장 높은 품질의 출력을 제공하므로 권장됩니다. 그러나 최소 하드웨어 요구 사항을 원하는 경우 1B 매개변수 버전을 사용할 수 있습니다. Stage B의 경우 두 릴리스 모두 좋은 결과를 얻었지만 1.5B 매개변수 버전은 재구성 세부 사항 측면에서 더 나은 성능을 발휘합니다. Stable Cascade의 모듈식 접근 방식 덕분에 추론을 위한 예상 VRAM 요구 사항을 약 20GB로 유지할 수 있습니다. 이는 더 작은 변형을 사용하여 더욱 줄일 수 있으며, 이로 인해 최종 출력 품질도 저하될 수 있다는 주의가 필요합니다.

비교

평가에서는 Stable Cascade가 비교한 거의 모든 모델에 비해 빠른 정렬과 미적 품질 측면에서 가장 좋은 성능을 보였습니다. 아래 그림은 부분 프롬프트와 미적 프롬프트를 혼합하여 인간이 평가한 결과를 보여줍니다.

^{Stable Cascade(30 추론 단계) vs. Playground v2(50 추론 단계), SDXL(50 추론 단계) , SDXL Turbo(1 추론 단계) 및 Würstchen V2(30 추론 단계)를 비교합니다.}

^{Stable Cascade, SDXL, Playground V2 및 SDXL Turbo} Stable Cascade의 효율성에 대한 초점은 아키텍처와 더 높은 압축 가능성. 가장 큰 모델이 Stable Diffusion XL보다 1.4B 더 많은 매개변수를 갖고 있음에도 불구하고 추론 시간은 여전히 ​​더 빠릅니다.

추가된 기능

Stable Cascade는 표준 텍스트-이미지 생성 외에도 이미지 변형 및 이미지-이미지 생성도 생성할 수 있습니다.

이미지 변형은 CLIP을 사용하여 주어진 이미지에서 이미지 임베딩을 추출한 다음 이를 모델에 반환합니다. 아래 이미지는 샘플 출력입니다. 왼쪽의 이미지는 원본 이미지를 보여주고, 오른쪽의 4개 이미지는 생성된 변형입니다.

주어진 이미지에 노이즈를 추가한 다음 시작점으로 이미지를 생성하는 방식으로 이미지를 이미지로 변환합니다. 아래는 왼쪽 이미지에 노이즈를 추가한 다음 거기에서 노이즈를 생성하는 예입니다.

훈련, 미세 조정, ControlNet 및 LoRA용 코드

Stable Cascade 출시와 함께 Stability AI는 훈련, 미세 조정, ControlNet 및 LoRA용 모든 코드를 공개하여 추가 실험에 대한 요구 사항을 줄입니다. 이 아키텍처로. 다음은 모델과 함께 출시될 일부 ControlNet입니다.

패치/확대: 이미지를 입력하고 텍스트 프롬프트와 일치하도록 마스크를 추가합니다. 그런 다음 모델은 제공된 텍스트 힌트를 기반으로 이미지의 마스크된 부분을 채웁니다.

Canny Edge: 모델에 입력된 기존 이미지의 가장자리를 기반으로 새로운 이미지를 생성합니다. Stability AI 테스트에 따르면 스케치 크기를 조정할 수도 있습니다.型 型 상단은 입력 모델의 스케치, 하단은 출력 결과

2x 초해상도: 이미지의 해상도를 측면 길이의 2배로 늘리는 것(예: 1024 x 1024 이미지를 2048 x 2048 출력으로 변환)은 단계 C에서 생성된 잠재 표현에도 사용할 수 있습니다.

이 가격 대비 가치가 마음에 드시나요?

위 내용은 생성 속도는 SDXL보다 두 배 빠르며 9GB GPU에서도 실행될 수 있어 가격 대비 성능 비율이 향상되었습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!