生成速度は SDXL の 2 倍で、9GB GPU での実行も可能で、価格性能比を向上させるために Stable Cascade が登場しました。

ハードウェア要件はますます低くなり、生成速度はますます高速になっています。

テキストから画像へのパイオニアとして、Stability AI はトレンドをリードするだけでなく、モデルの品質において新たな進歩を遂げ続けています。今回、画期的なコストパフォーマンスを実現しました。

つい数日前、Stability AI は別の新しい動きを行いました。Stable Cascade のリサーチ プレビュー バージョンがリリースされました。このテキストから画像へのモデルは、ハードウェアの障壁をさらに取り除くことに重点を置き、品質、柔軟性、微調整、効率性の新しいベンチマークを設定する 3 段階のアプローチを導入することで革新をもたらします。 さらに、Stability AI は、モデルとその出力をさらにカスタマイズできるトレーニング コードと推論コードをリリースします。モデルはディフューザー ライブラリで推論に使用できます。このモデルは非営利ライセンスに基づいてリリースされており、非営利使用のみが許可されています。

#元のリンク: https://stability.ai/news/introducing-stable-cascade
コードアドレス: https://github.com/Stability-AI/StableCascade
エクスペリエンスアドレス: https://huggingface.co/spaces/multimodalart/stable-cascade
いつものように、画像の説明文を入力するだけの簡単な操作でターゲット画像を生成できます。

出典: https://twitter.com/multimodalart/status/1757391981074903446

安定カスケードは生成が非常に速い。 X プラットフォーム ユーザー @GozukaraFurkan は、必要な GPU メモリは約 9GB だけであり、速度も十分に維持できると投稿しました。

出典: https://twitter.com/skirano/status/1757479638324883753

^{ネット民生成プロセスを確認したところ、新モデルでは構成や細部が大幅に改善されており、短い単語・フレーズの生成精度が比較的高く、長い文章も一定の確率で完成できるなど、テキスト生成が大きく進歩していることがわかりました（英語のみ) テキストと画像の統合も非常に優れています。}

画像出典: https://twitter.com/ZHOZHO672070/status/1757779330443215065

#ユーザー @AIWarper は、いくつかの異なるアーティスト スタイル テストを試しました。

プロンプト: エルム街の悪夢。アーティストスタイルの参照は次のとおりです。左上に新海誠、左下にトメル・ハヌカ、右上にラファエル・キルヒナー、右下に山本タカト。

しかし、キャラクターの顔を生成すると、キャラクターの肌のディテールがあまり良くなく、「10 レベルの肌研磨」のように感じられることがわかります。

出典: https://twitter.com/vitor_dlucca/status/1757511080287355093

##技術的詳細

安定カスケードは、ステージ A、B、および C の 3 つの異なるモデルで構成されるパイプライン上に構築されているという点で、安定拡散モデル ファミリとは異なります。このアーキテクチャは、画像の階層圧縮を実行し、高度に圧縮された潜在スペースを利用して優れた出力を実現できます。これらの部品はどのように組み合わされるのでしょうか?

潜在イメージ生成ステージ (ステージ C) は、ユーザー入力をコンパクトな 24x24 の潜在表現に変換し、その後、安定拡散作業における VAE と同様に、画像を圧縮するために潜在デコーダー ステージ (ステージ A および B) に渡されます。ただし、より高い圧縮が可能になります。

テキスト条件生成 (ステージ C) をデコードから高解像度ピクセル空間 (ステージ A および B) に切り離すことで、ControlNet や LoRA などの追加のトレーニングや微調整をステージ C で完了できます。同様のサイズの安定拡散モデルをトレーニングする場合の 16 分の 1 に削減できます。ステージ A と B は、追加の制御のためにオプションで微調整できますが、これは安定拡散モデルの VAE の微調整に似ています。ほとんどの場合、そうすることによるメリットは最小限です。したがって、ほとんどの目的において、Stability AI はフェーズ C のみをトレーニングし、フェーズ A と B の元の状態を使用することを公式に推奨します。

フェーズ C と B では、2 つの異なるモデルがリリースされます。フェーズ C では 1B および 3.6B パラメータ モデル、フェーズ B では 700M および 1.5B パラメータ モデルです。このモデルは最高品質の出力を備えているため、ステージ C には 3.6B パラメータのモデルをお勧めします。ただし、ハードウェア要件を最小限に抑えたい場合は、1B パラメータ バージョンをご利用いただけます。ステージ B では、両方のリリースで良好な結果が得られますが、再構成の詳細に関しては 1.5B パラメータ バージョンの方が優れたパフォーマンスを示します。 Stable Cascade のモジュール型アプローチのおかげで、推論に予想される VRAM 要件を約 20 GB に抑えることができます。これは、より小さいバリアントを使用することでさらに削減できますが、最終的な出力品質も低下する可能性があることに注意してください。

比較

評価では、比較したほぼすべてのモデルと比較して、Stable Cascade が迅速な位置合わせと美的品質の点で最高のパフォーマンスを示しました。以下の図は、部分的プロンプトと美的プロンプトを組み合わせて使用​​した人間による評価の結果を示しています。 Playground v2 (50 推論ステップ)、SDXL (50 推論ステップ)、SDXL Turbo (1 推論ステップ)、および Würstchen v2 (30 推論ステップ) の比較

Stable Cascade、SDXL、Playground V2、SDXL Turbo の違いと、より高い圧縮可能スペースが実証されています。最大のモデルには Stable Diffusion XL よりも 1.4 億多くのパラメータがありますが、推論時間は依然として高速です。

追加機能

標準的なテキストから画像への生成に加えて、Stable Cascade は画像のバリエーションや画像から画像への生成も生成できます。 ^{画像バリアントは、CLIP を使用して指定された画像から画像埋め込みを抽出し、モデルに返します。下の画像はサンプル出力です。左側の画像は元の画像を示し、その右側の 4 つは生成されたバリアントです。}

#Image to image では、指定された画像にノイズを追加し、それを開始点として使用するだけで画像が生成されます。以下は、左側の画像にノイズを追加し、そこからノイズを生成する例です。

トレーニング、微調整、ControlNet、LoRA 用のコード

Stable Cascade のリリースに伴い、Stability AI もリリースされますトレーニング用に、ControlNet と LoRA のすべてのコードを微調整して、このアーキテクチャをさらに実験するための要件を削減しました。このモデルとともにリリースされる ControlNet の一部を次に示します。

パッチ/展開: 画像を入力し、テキスト プロンプトと一致するマスクを追加します。モデルは、提供されたテキスト ヒントに基づいて、画像のマスクされた部分を塗りつぶします。

#Canny Edge: モデルに入力された既存の画像のエッジに基づいて新しい画像を生成します。 Stability AI のテストによると、スケッチを拡大縮小することもできます。

# これは入力モデルのスケッチ、下が出力結果です

##

2x 超解像度: 画像の解像度をその辺の長さの 2 倍にアップスケーリングする (例: 1024 x 1024 の画像を 2048 x 2048 の出力に変換する) ことは、ステージ C で生成される潜在表現にも使用できます。

この価格とパフォーマンスの比率は気に入っていますか?

以上が生成速度は SDXL の 2 倍で、9GB GPU での実行も可能で、価格性能比を向上させるために Stable Cascade が登場しました。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。