検索
ホームページテクノロジー周辺機器AI従来の GAN は変更後に解釈することができ、コンボリューション カーネルの解釈可能性と生成された画像の信頼性を保証します。

従来の GAN は変更後に解釈することができ、コンボリューション カーネルの解釈可能性と生成された画像の信頼性を保証します。

  • #論文アドレス: https://www.aaai.org/AAAI22Papers/AAAI-7931.LiC.pdf
  • ##著者単位: 計算技術研究所、中国科学院、上海交通大学、志江研究所
研究背景と研究課題

Generative Adversarialネットワーク (GAN) は高解像度画像の生成に大きな成功を収めており、その解釈可能性に関する研究も近年広く注目を集めています。

この分野では、GAN に分離表現を学習させる方法が依然として大きな課題です。 GAN のいわゆる分離表現は、表現の各部分が生成された画像の特定の側面にのみ影響を与えることを意味します。 GAN の分離表現に関するこれまでの研究は、さまざまな観点に焦点を当てていました。

たとえば、以下の図 1 では、方法 1 は画像の構造とスタイルを分離しています。方法 2 では、画像内のローカル オブジェクトの特徴を学習します。方法 3 では、顔画像の年齢属性や性別属性など、画像内の属性の分離された特徴を学習します。しかし、これらの研究では、さまざまな視覚概念 (目、鼻、口などの顔の部分など) を GAN で明確かつ象徴的に表現することができませんでした。

従来の GAN は変更後に解釈することができ、コンボリューション カーネルの解釈可能性と生成された画像の信頼性を保証します。

#図 1: 他の GAN 分離表現方法との視覚的比較

この目的のために、研究者は従来の GAN を解釈可能な GAN

に変更するための 一般的な方法を提案しました。ジェネレーターの中間層は、分離されたローカルの視覚概念を学習できます。具体的には、以下の図 2 に示すように、従来の GAN と比較して、解釈可能な GAN の中間層の各コンボリューション カーネルは、異なる画像を生成するときに常に特定の視覚的概念を表し、異なるコンボリューション カーネルは異なるビジョンを表します。

従来の GAN は変更後に解釈することができ、コンボリューション カーネルの解釈可能性と生成された画像の信頼性を保証します。

図 2: 解釈可能な GAN と従来の GAN エンコーディング表現の視覚的比較 モデリング手法

解釈可能な GAN の学習は、次の 2 つの目標を満たさなければなりません:

畳み込みカーネルの解釈可能性および 生成された画像の信頼性

畳み込みカーネルの解釈可能性: 研究者は、中間層の畳み込みカーネルが視覚的概念に手動で注釈を付けることなく、意味のある視覚的概念を自動的に学習できることを望んでいます。具体的には、各コンボリューションカーネルは、異なる画像を生成するときに、同じ視覚概念に対応する画像領域を安定して生成する必要があります。異なる畳み込みカーネルは、異なる視覚概念に対応する画像領域を生成する必要があります;
  • 生成された画像の信頼性: 解釈可能な GAN ジェネレーターは依然として現実的な画像を生成できます。
  • ターゲット層でのコンボリューション カーネルの解釈可能性を確保するために、研究者らは、複数のコンボリューション カーネルが特定の視覚的概念に対応する同様の領域を生成する場合、このビジュアルコンセプトを共同で表現します。

したがって、コンボリューション カーネルのセットを使用して特定の視覚的概念を共同で表現し、異なるコンボリューション カーネルのセットを使用してそれぞれ異なる視覚的概念を表現します。

生成された画像の信頼性を同時に保証するために、研究者らは、従来の GAN を解釈可能な GAN に変更するために次の損失関数を設計しました。

  • #従来の GAN の損失 #: この損失は、生成されたイメージの信頼性を保証するために使用されます。
  • 畳み込みカーネルの除算損失: ジェネレーターが与えられた場合、この損失は、同じグループ内の畳み込みカーネルが生成するように畳み込みカーネルを分割する方法を見つけるために使用されます。同様の画像領域。具体的には、混合ガウス モデル (GMM) を使用して、各グループの畳み込みカーネルの特徴マップが同様の神経活性化を持つことを保証するために畳み込みカーネルがどのように分割されるかを学習します。 ##エネルギー モデルの信頼性の損失: ターゲット層カーネルがどのように分割されているかを考慮すると、同じグループ内の各カーネルに同じ視覚的コンセプトを生成させると、生成される画像の品質が低下する可能性があります。生成された画像の信頼性をさらに保証するために、エネルギー モデルを使用してターゲット レイヤーの特徴マップの信頼性確率を出力し、最尤推定を使用してエネルギー モデルのパラメーターを学習します。
  • ##コンボリューション カーネルの解釈可能性の損失: ターゲット層のコンボリューション カーネル分割方法を考慮すると、この損失は、コンボリューション カーネルの解釈可能性をさらに向上させるために使用されます。具体的には、この損失により、同じグループ内の各コンボリューション カーネルは同じ画像領域を一意に生成しますが、異なるグループのコンボリューション カーネルは異なる画像領域を生成します。
  • 実験結果
  • 実験では、研究者らは解釈可能な GAN を定性的および定量的に評価しました。
定性分析では、各コンボリューション カーネルの特徴マップを視覚化し、さまざまな画像に対するコンボリューション カーネルのパフォーマンスを評価しました。表現されたビジュアルコンセプト。以下の図 3 に示すように、解釈可能な GAN では、各コンボリューション カーネルは、異なる画像を生成するときに常に同じ視覚概念に対応する画像領域を生成しますが、異なる畳み込みカーネルは、異なる視覚概念に対応する画像領域を生成します。

#図 3: 解釈可能な GAN での機能マップの視覚化

実験では、以下の図 4(a) に示すように、コンボリューション カーネルの各グループのグループ中心とコンボリューション カーネル間の受容野の差も比較されました。図 4(b) は、解釈可能な GAN におけるさまざまな視覚概念に対応するコンボリューション カーネルの数の割合を示しています。図 4(c) は、分割するために選択されたコンボリューション カーネル グループの数が異なる場合、グループが増えるほど、解釈可能な GAN によって学習される視覚的概念がより詳細になることを示しています。 従来の GAN は変更後に解釈することができ、コンボリューション カーネルの解釈可能性と生成された画像の信頼性を保証します。

#図 4: 解釈可能な GAN の定性的評価

##解釈可能な GAN

は、生成された画像上の特定の視覚概念の変更もサポートします従来の GAN は変更後に解釈することができ、コンボリューション カーネルの解釈可能性と生成された画像の信頼性を保証します。

。たとえば、画像間の特定の視覚概念の相互作用は、解釈可能なレイヤーで対応する特徴マップを交換することによって実現できます。つまり、ローカル/グローバルの顔の交換が完了します。

下の図 5 は、画像のペア間で口、髪、鼻を交換した結果を示しています。最後の列は、変更されたイメージと元のイメージの違いを示します。この結果は、研究者の方法が、他の無関係な領域を変更せずに、局所的な視覚概念のみを変更したことを示しています。

#図 5: 特定の視覚的概念を交換して画像を生成する

さらに、以下の図 6 は、顔全体を交換する場合の

メソッドの効果も示しています。 従来の GAN は変更後に解釈することができ、コンボリューション カーネルの解釈可能性と生成された画像の信頼性を保証します。

図 6: 生成された画像の顔全体を交換する

定量分析について、研究者らは顔検証実験を使用して、顔交換結果の精度を評価しました。具体的には、顔画像のペアが与えられると、元の画像の顔がソース画像の顔に置き換えられて、変更された画像が生成されます。次に、変更された画像の顔とソース画像の顔が同じアイデンティティを持つかどうかをテストします。

以下の表 1 は、さまざまな方法による顔認証結果の精度を示しています##。アイデンティティの保持の点で、他の顔交換方法よりも優れています。

従来の GAN は変更後に解釈することができ、コンボリューション カーネルの解釈可能性と生成された画像の信頼性を保証します。

#表 1: 顔交換識別の精度評価

さらに、特定の視覚概念を変更する方法の局所性も実験で評価されます。具体的には、研究者らは、RGB 空間における元の画像と変更後の画像の間の平均二乗誤差 (MSE) を計算し、特定の視覚概念の領域外 MSE と領域内 MSE の比を実験として使用しました。地域性評価の指標です。

結果は以下の表 2 に示されています。研究者の修正方法は局所性が優れています、つまり領域です。修正されたビジュアルコンセプト以外の画像の変更は少なくなりました。

従来の GAN は変更後に解釈することができ、コンボリューション カーネルの解釈可能性と生成された画像の信頼性を保証します。

#表 2: 変更されたビジュアル コンセプトの局所性評価 #その他の実験結果については、論文を参照してください。

概要

この研究では、視覚的な概念に手動で注釈を付けることなく、従来の GAN を解釈可能な GAN に変更できる一般的な方法を提案します。解釈可能な GAN では、ジェネレーターの中間層の各コンボリューション カーネルは、異なる画像を生成するときに同じ視覚的コンセプトを安定して生成できます。

実験では、解釈可能な GAN を使用すると、生成された画像の特定の視覚的概念を変更することもできることが示され、GAN で生成された画像の制御可能な編集方法に新しい視点が提供されます。

以上が従来の GAN は変更後に解釈することができ、コンボリューション カーネルの解釈可能性と生成された画像の信頼性を保証します。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事は51CTO.COMで複製されています。侵害がある場合は、admin@php.cn までご連絡ください。
革新を調理する:人工知能がフードサービスを変革する方法革新を調理する:人工知能がフードサービスを変革する方法Apr 12, 2025 pm 12:09 PM

食品の準備を強化するAI まだ初期の使用中ですが、AIシステムは食品の準備にますます使用されています。 AI駆動型のロボットは、ハンバーガーの製造、SAの組み立てなど、食品の準備タスクを自動化するためにキッチンで使用されています

Pythonネームスペースと可変スコープに関する包括的なガイドPythonネームスペースと可変スコープに関する包括的なガイドApr 12, 2025 pm 12:00 PM

導入 Python関数における変数の名前空間、スコープ、および動作を理解することは、効率的に記述し、ランタイムエラーや例外を回避するために重要です。この記事では、さまざまなASPを掘り下げます

ビジョン言語モデル(VLM)の包括的なガイドビジョン言語モデル(VLM)の包括的なガイドApr 12, 2025 am 11:58 AM

導入 鮮やかな絵画や彫刻に囲まれたアートギャラリーを歩くことを想像してください。さて、各ピースに質問をして意味のある答えを得ることができたらどうでしょうか?あなたは尋ねるかもしれません、「あなたはどんな話を言っていますか?

MediaTekは、Kompanio UltraとDimenity 9400でプレミアムラインナップをブーストしますMediaTekは、Kompanio UltraとDimenity 9400でプレミアムラインナップをブーストしますApr 12, 2025 am 11:52 AM

製品のケイデンスを継続して、今月MediaTekは、新しいKompanio UltraやDimenity 9400を含む一連の発表を行いました。これらの製品は、スマートフォン用のチップを含むMediaTekのビジネスのより伝統的な部分を埋めます

今週のAIで:Walmartがファッションのトレンドを設定する前に設定します今週のAIで:Walmartがファッションのトレンドを設定する前に設定しますApr 12, 2025 am 11:51 AM

#1 GoogleはAgent2Agentを起動しました 物語:月曜日の朝です。 AI駆動のリクルーターとして、あなたはより賢く、難しくありません。携帯電話の会社のダッシュボードにログインします。それはあなたに3つの重要な役割が調達され、吟味され、予定されていることを伝えます

生成AIは精神障害に会います生成AIは精神障害に会いますApr 12, 2025 am 11:50 AM

私はあなたがそうであるに違いないと思います。 私たちは皆、精神障害がさまざまな心理学の用語を混ぜ合わせ、しばしば理解できないか完全に無意味であることが多い、さまざまなおしゃべりで構成されていることを知っているようです。 FOを吐き出すために必要なことはすべてです

プロトタイプ:科学者は紙をプラスチックに変えますプロトタイプ:科学者は紙をプラスチックに変えますApr 12, 2025 am 11:49 AM

今週公開された新しい研究によると、2022年に製造されたプラスチックの9.5%のみがリサイクル材料から作られていました。一方、プラスチックは埋め立て地や生態系に積み上げられ続けています。 しかし、助けが近づいています。エンジンのチーム

AIアナリストの台頭:これがAI革命で最も重要な仕事になる理由AIアナリストの台頭:これがAI革命で最も重要な仕事になる理由Apr 12, 2025 am 11:41 AM

主要なエンタープライズ分析プラットフォームAlteryxのCEOであるAndy Macmillanとの私の最近の会話は、AI革命におけるこの重要でありながら過小評価されている役割を強調しました。 MacMillanが説明するように、生のビジネスデータとAI-Ready情報のギャップ

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

AtomエディタMac版ダウンロード

AtomエディタMac版ダウンロード

最も人気のあるオープンソースエディター

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

強力な PHP 統合開発環境

DVWA

DVWA

Damn Vulnerable Web App (DVWA) は、非常に脆弱な PHP/MySQL Web アプリケーションです。その主な目的は、セキュリティ専門家が法的環境でスキルとツールをテストするのに役立ち、Web 開発者が Web アプリケーションを保護するプロセスをより深く理解できるようにし、教師/生徒が教室環境で Web アプリケーションを教え/学習できるようにすることです。安全。 DVWA の目標は、シンプルでわかりやすいインターフェイスを通じて、さまざまな難易度で最も一般的な Web 脆弱性のいくつかを実践することです。このソフトウェアは、

WebStorm Mac版

WebStorm Mac版

便利なJavaScript開発ツール

Safe Exam Browser

Safe Exam Browser

Safe Exam Browser は、オンライン試験を安全に受験するための安全なブラウザ環境です。このソフトウェアは、あらゆるコンピュータを安全なワークステーションに変えます。あらゆるユーティリティへのアクセスを制御し、学生が無許可のリソースを使用するのを防ぎます。