今年大人気のAIペイントの遊び方

1. はじめに

2022 年は間違いなく AIGC 元年と言えます。Google の検索トレンドから判断すると、2022 年には AI 絵画および AI 生成アートの検索ボリュームが急増すると予想されます。

今年 AI ペイントが爆発的に普及した非常に重要な理由は、安定拡散のオープンソースです。これは、安定拡散モデルとも切り離せないものです。近年の拡散モデルの急速な発展と、OPENAI がすでに開発したテキスト言語モデル GPT-3 を組み合わせることで、テキストから画像への生成プロセスが容易になりました。

2. GAN (Generative Adversarial Network) のボトルネック

2014 年の誕生から 2018 年の StyleGAN まで、GAN は画像生成の分野で大きな進歩を遂げてきました。自然界の捕食者と被食者が競争して一緒に進化するのと同じように、GAN の原理は単純に 2 つのニューラル ネットワークを使用することです: 1 つはジェネレーターとして、もう 1 つは識別子として。ジェネレーターは、識別子が判断するための異なる画像を生成します。そうでないにせよ、2 つはモデルをトレーニングするために互いに競い合います。

GAN (Generative Adversarial Network) は継続的な開発を通じて良好な成果を上げてきましたが、常に克服が難しい問題がいくつかあります。それは多様性の欠如です。生成された結果には、モード崩壊 (最適なモードを見つけた後にジェネレーターが進行を停止する)、および高いトレーニング難易度が含まれます。これらの困難により、AI 生成アートが実用的な製品を生み出すことが困難になっています。

3. 拡散モデルのブレークスルー

長年の GAN ボトルネック期間を経て、科学者たちはモデルをトレーニングするための非常に魔法のような拡散モデル手法を考案しました。元の画像はマルコフ連鎖を使用して、継続的にこれにノイズ ポイントを追加し、最終的にランダム ノイズ画像になります。その後、トレーニング ニューラル ネットワークでこのプロセスを逆にして、ランダム ノイズ画像を徐々に元の画像に復元します。このようにして、ニューラル ネットワークはできると言われます。画像を最初から生成する機能。テキストから画像を生成するには、説明テキストを処理して元の画像にノイズとして追加することで、ニューラル ネットワークがテキストから画像を生成できるようになります。

#Diffusion Model を使用すると、モデルのトレーニングが容易になり、大量の画像が必要になるだけで、生成される画像の品質も向上します。非常に高いレベルに到達し、多種多様な結果を生み出すため、新世代の AI は信じられないほどの「想像力」を持つことができます。

もちろん技術の進歩はありますが、NVIDIAが1月末に発売したStyleGAN-Tのバージョンアップ版は驚くべき進歩を遂げており、同じ計算環境下でのStable Diffusionよりも画像生成に時間がかかります。所要時間は 3 秒ですが、StyleGAN-T はわずか 0.1 秒です。また、低解像度画像では StyleGAN-T が拡散モデルよりも優れていますが、高解像度画像の生成では依然として拡散モデルが優勢です。 StyleGAN-T は Stable Diffusion ほど広く使用されていないため、この記事では Stable Diffusion の紹介に焦点を当てます。

4. Stable Diffusion

今年の初め、AI ペイント サークルは Disco Diffusion、DALL-E2、Midjouney の時代を経験しましたが、Stable Diffusion がオープンするまではそうではありませんでした。一定期間に入ったという情報源. ほこりが落ち着いた. 最も強力な AI ペイント モデルとして、Stable Diffusion は AI コミュニティでカーニバルを引き起こしました. 基本的に、新しいモデルと新しいオープンソース ライブラリが毎日生まれています。特に Auto1111 の WebUI 版がリリースされてからは、クラウドでもローカルでも Stable Diffusion の使用が非常に簡単になり、コミュニティの継続的な発展により、Dreambooth や deforum などの優れたプロジェクトが数多く誕生しました。安定版 Diffusion WEBUI版のプラグインが追加され、モデルの微調整やアニメーションの生成などの機能がワンストップで完了します。

5. AI ペイントのゲームプレイと機能の紹介

以下は、Stable を使用して現在利用できるゲームプレイと機能の紹介です。 Diffusion

##text2img テキストの説明を通じて画像を生成し、テキストの説明を通じてアーティスト スタイルとアート タイプを指定できます。以下はアーティストのグレッグ・ルトコウスキーのスタイルの例です。 花柄のシャツを着た美しい少女が右手にあごを当てて写真を撮っている、グレッグ・ルトコウスキー作img2imgDreamBooth ベースの使用 SD モデルは、微調整された大規模モデルトレーニング後、モデルは上記の text2img img2img およびその他の機能を使用できますNovelAIimg2img##花柄のシャツを着た美しい女の子がポーズをとっている顎を右手に当てている写真については 同じスタイルの一連の画像を使用して、微調整された大規模なモデルをトレーニングします。これを使用して、統一されたスタイルの画像を生成できます。 この一連の画像は、Dewu Digital Collection ME.X でのトレーニングを通じて微調整されたスタイル モデルを使用して生成されています。 ## ＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃レオナルド・ディカプリオ＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃ ＃＃＃＃＃＃＃ #

6. 現在の主なアプリケーションの紹介

安定拡散機能の紹介 (以下の写真は SD1 を使用して出力したものです) .5モデル）
	#はじめに	入力	出力
生成写真とテキストの説明による写真	#花柄のシャツを着て、右手にあごを当てて写真を撮る美しい少女、グレッグ・ルトコウスキー作		#inpainting img2imgを元に、マスクを設定することでマスク内の領域のみを描画しますこれは通常、キーワードを変更して画面を微調整するために使用されます。
花柄のシャツを着た美しい少女が、右手にあごを乗せて優しく微笑んで写真を撮っている、グレッグ・ルトコウスキー作
text2img 現在、最も効果的な 2 次元アニメーション スタイル モデルは、ダンブール Web サイトの公開画像をデータセットとして NAI によってトレーニングされていますが、ダンブール自体の著作権の問題により、NovelAI は常にこのモデルは商用サービスから漏洩したものであるため、注意して使用する必要があります。	花柄のシャツを着た美しい女の子が右手にあごを当てて写真を撮っています		NovelAI
img2img には NovelAI のモデルを使用します。現在、さまざまなコミュニティで非常に人気のある Yijian AI ペイントもこの機能を使用しています。しかし、Yiyi 氏は免責事項の中で、アニメーション モデルは収集したデータセットに基づいてトレーニングされたと述べました。 ##*右側の例のテキスト説明は、画像コンテンツと AI 推論に基づいています。アーティストのスタイルはランダムです		AI ペイント	## ＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃ ＃＃＃主題ユーザーの写真に基づいてトレーニングされたモデル	ユーザーが提供した数枚の写真に基づいて被写体のモデルをトレーニングします。このモデルを使用して、説明に基づいて被写体を含む任意の写真を生成できます。	この写真セットは、同僚の 20 枚の写真を使用して、安定拡散 1.5 モデルに基づく 2000 ステップアウト モデルをトレーニングし、いくつかの様式化されたプロンプト出力を備えています。 プロンプト例 (図 1): アリスポイズンのポートレート、非常に詳細な VFX ポートレート、アンリアル エンジン、グレッグ ルトコウスキー、ロイシュ、ラドス、カスパール デビッド フリードリッヒ、新海誠、ロイス ヴァン バールレ、イリヤクブシノフ、ロスドローズ、エレジェント、トム バグショー、アルフォンス ミュシャ、グローバル イルミネーション、詳細かつ複雑な環境 *alicepoizon は、このモデルをトレーニングするときにこのキャラクターに付けられた名前です	##スタイルモデルは以下に基づいてトレーニングされました同じタイプのスタイル
	花柄のシャツを着た美しい女の子		# ＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃ライオネル・メッシ＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃ ＃＃＃＃
		スカーレット・ヨハンソン

##サンプル##Meitu、Douyin、6pen、イタリア語 AI ペイントJian およびその他の企業が提供するサービス # 以前の Dreambooth 安定拡散サービスを提供、1 回あたり約 18 ～ 25 元、15 ～ 20 人のユーザーの写真をアップロードし、約カスタマイズされた芸術的な写真 20 枚。

	##はじめに
は、より便利な AI ペイント体験を提供し、さまざまなスタイルでカスタマイズされた多数の大型モデルを使用できます。		midjouney と DallE 2
2 つの商用 AI ペイント サービス。 Midjouney は高度な製品化を実現した独自のモデルを備えており、DallE 2 は有料の API サービスを提供し、より高品質な生成エフェクトを備えています。		Lensa、Manjing などはパーソナル モデル トレーニング サービスを提供します
		AI オープンソース コミュニティ Huggface	https://www.php.cn/link/81d7118d88d5570189ace943bd14f142 現在主流の AI オープンソース コミュニティは、github に似ており、には、ユーザー独自の微調整された (微調整された) 安定した拡散ベースのモデルが多数あり、ダウンロードして自分のサーバーまたはローカル コンピューターに展開できます。 たとえば、右側の pix2pix モデルは、GPT3 と組み合わせた安定拡散モデルであり、自然言語記述を通じて上記の修復機能を完了できます。

7. 安定した拡散 WEBUI サービスを自分で構築する

7.1 クラウド バージョン

ここでは、AutoDL が提供するクラウド コンピューティング能力を使用して構築されていますが、他のプラットフォームを使用することもできます。 Google Colab や Baidu Feipiao など。

まず AutoDL にアカウントを登録し、A5000/RTX3090 グラフィックス カードを備えたクラウド ホストをレンタルします。 https://www.autodl.com/market/list

• このホスト上にイメージを作成します。イメージについては、www.codewithgpu.com でパッケージ化されたアルゴリズム イメージを選択できます。ここでは例として画像 https://www.codewithgpu.com/i/AUTOMATIC1111/stable-diffusion-webui/Stable-Diffusion-for-NovelAI を選択して作成します。

作成後、電源をオンにして JupterLab を起動し、

次のコマンドを使用して開始します。システム ディスク領域が不足している場合は、stable-diffusion-webui/ フォルダーをデータ ディスクに移動し、autodl-tmp を再起動することもできます。起動エラーが発生した場合は、マシンの場所に応じて学術リソースのアクセラレーションを構成できます。

cd stable-diffusion-webui/
rm -rf outputs && ln -s /root/autodl-tmp outputs
python launch.py --disable-safe-unpickle --port=6006 --deepdanbooru

6.2 本地版本

優れたグラフィックス カードを搭載したコンピューターをお持ちの場合は、それをローカルに展開できます。ここでは、Windows バージョンの構築について説明します:

最初にPython 3.10.6 をインストールし、環境変数を Path に追加する必要があります。

• git をインストールします。
• Stable Diffusion WEBUI プロジェクト コードをローカルにクローンします。
• モデル ファイルを models/ に配置します。 Stable-Diffusion ディレクトリ、関連モデルは https://www.php.cn/link/81d7118d88d5570189ace943bd14f142
• からダウンロードでき、webui-user.bat を実行し、ローカル コンピューターの IP とポート 7860 を介してサービスにアクセスします。 。
• 8. 概要

この記事では、AI ペイントに関するいくつかの関連情報を紹介します。興味のある友人は、自分でサービスを導入して、DreamBooth や最新の Lora の微調整の使い方を学ぶこともできます。大きなモデル。 AIGCの人気が高まる2023年には、私たちの仕事や生活はAIによって大きく変わると思います。少し前のChatGPTの登場は私たちに大きな衝撃を与えましたが、インターネットに参入した当初の情報検索能力と同じように、AIを使って仕事を支援することも今後は非常に重要な能力となるでしょう。

9.参考資料

原因から論争まで、AIジェネレーティブアート元年のAIを語ろう

• https://sspai .com/post/76277

ニューラル ネットワーク学習ノート 6 - 生成 AI ペインティングの背後にある GAN と拡散についての予備的な理解

• https://blog.csdn.net / qq_45848817/article/details/127808815

拡散モデルの仕組み: ゼロからの数学

• https://theaiSummer.com/diffusion-models/

GAN 構造の概要

• https://developers.google.com/machine-learning/gan/gan_struction

Midjourney への完全初心者ガイド – AI アートへの魔法の入門

• https://www.entrogames.com/2022/08/absolute-beginners-guide-to-midjourney-magical-introduction-to-ai-art/

ウイルス性 AI アバター アプリ Lensa が私の同意なしに私の服を脱がせた

• # https://www.technologyreview.com/2022/12/12/1064751/the-viral -ai-avatar-app-lensa- undressed-me-without-my-consent/

instruct-pix2pix

• https://www.php.cn/link/81d7118d88d5570189ace943bd14f142timbrooks/instruct-pix2pix

以上が今年大人気のAIペイントの遊び方の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。