中国科学院深セン先進技術研究所: 解釈可能な推奨事項を実現する新しい知識強化グラフ ニューラル ネットワーク

近年、ビッグデータとディープラーニングに基づく人工知能は、優れた計算能力と学習能力を実証しています。ただし、深層学習モデルには深く入れ子になった非線形構造が含まれることが多く、そのような決定に至った特定の要因を特定することが困難であり、意思決定における解釈可能性と透明性が欠けています。

同時に、説明可能な推奨事項は、推奨システムの透明性、説明可能性、信頼性を向上させるだけでなく、ユーザーの満足度も向上させるため、説明可能な推奨タスクはより多くの注目を集めています。研究者からのさらなる注目[1]。

ディープラーニング手法と言語処理技術の発展に伴い、パーソナライズされた推奨事項を提供する際、多くの手法では自然言語生成テクノロジを使用して自然テキストの説明を生成しています[2-3]。ただし、データが少ないため、高品質のテキスト説明を生成することが難しく、可読性も低くなります。

さらに、ナレッジ グラフにはより多くの事実や関連性を含めることができるため、一部の研究者は推奨事項にナレッジ グラフを使用し、グラフ推論パスを通じて推奨事項の解釈可能性を高めています [4-5]。ただし、グラフ パス ベースの方法では、データ セット内の事前定義されたパスや複数の種類の関連付けなど、いくつかの前提条件や定義が必要ですが、同時に、ナレッジ グラフに冗長なエンティティが含まれる可能性があり、均質な推奨結果が得られます。

紙のリンク: https://ieeexplore.ieee.org/abstract/document/9681226

この目的のために、著者が提案 解釈可能な推奨を実現するために、新しい知識強化グラフ ニューラル ネットワーク (KEGNN) が提案されています。

KEGNN は、外部ナレッジ ベースのセマンティック知識を使用して、ユーザー、製品、およびユーザーと製品のインタラクションの 3 つの側面から知識を学習し、セマンティックの埋め込みを強化します。

ユーザーと製品の相互作用の観点から、ユーザー行動グラフが構築され、知識強化セマンティック埋め込みを使用してユーザー行動グラフが初期化されます。

次に、グラフニューラルネットワークに基づくユーザー行動学習および推論モデルを提案します.このモデルは、ユーザーの嗜好情報を転送し、ユーザー行動グラフ上でマルチホップ推論を実行して、ユーザーを包括的に理解します行動。

最後に、階層型協調フィルタリング レイヤーが推奨予測用に設計されており、コピー メカニズムが GRU ジェネレーターと組み合わされて、高品質で人間が読めるセマンティック説明を生成します。著者らは、3 つの現実世界のデータセットに対して広範な実験を実施しました。実験結果は、KGNN が既存の方法よりも優れていることを示しています。

方法

著者は、解釈可能性を実現するために知識強化グラフ ニューラル ネットワークを提案しました。提案された方法のアーキテクチャを図 1 に示します。見せる。

これには主に、知識強化意味表現学習、グラフ ニューラル ネットワークに基づくユーザー行動学習と推論、階層型協調フィルタリング、テキスト説明生成の 4 つのモジュールが含まれています。

モジュール 1: ユーザー、製品、およびユーザーと製品のインタラクションの意味論的表現を学習するために、作成者はユーザーと製品のレビュー文書を時系列順にプールして 3 つのタイプを形成しましたそれぞれユーザー、アイテム、ユーザーとアイテムの相互作用として表されるテキスト ドキュメント。

3 つの文書に対してさらに知識強化意味表現学習を実行した図 2 に知識強化意味表現学習モジュールの構造を示します。

まず、コンテキスト表現部分では、単語レベルの埋め込み表現と意味論的なコンテキスト表現が最初に学習され、BiLSTM を使用して単語レベルの埋め込みの最上位層をグローバルにキャプチャして取得されます。階層的な意味論的表現。第二に、知識認識において、著者は知識ベースを使用して意味表現学習を強化します。

さらに、作成者は、ワンホットを使用してユーザー/アイテムのエンコーディングを表現し、完全接続レイヤー マッピングを使用して、スパースのワンホット表現を固有の表現として高密度の表現に変換します。ユーザー/アイテムの表現 最後に、マルチヘッド アテンションを使用して知識認識表現とユーザー/アイテムの固有表現をさらに融合し、知識が強化されたユーザー/アイテム/ユーザーとアイテムのインタラクション表現を出力します。

モジュール 2: ユーザーの好みを完全に理解するために、著者はグラフ ニューラル ネットワークに基づくユーザー行動の学習および推論モジュールを設計しました。これには、図に示すように、ユーザー行動グラフの構築、情報配布層、およびマルチホップ推論の 3 つのステップが含まれます。図 3 。

まず、ユーザーと製品の相互作用関係から、作成者はユーザー行動グラフを構築し、知識強化されたセマンティック表現を使用してユーザー行動グラフのノード表現とエッジ表現を初期化します。 。

第二に、著者は、グラフ ニューラル ネットワークのアーキテクチャに基づいて、GNN 情報伝播層に基づいて情報伝播と情報融合を設計し、一次隣接ネットワーク (エゴ ネットワーク) をキャプチャしました。 ) ユーザーの行動の間。

最後に、再帰的アプローチを使用して、マルチホップ推論を使用してグラフ構造の高次の接続情報をモデル化します。

モジュール 3: 著者は、図 4 に示すように、ニューラル協調フィルタリング フレームワークに基づいて階層型ニューラル協調フィルタリング アルゴリズムを設計します( a)、ユーザーと製品のインタラクション予測を実現するために、主に 3 つのニューラル協調フィルタリング層が含まれています。

最初のニューラル コラボレーション層は全結合層であり、ユーザー行動グラフの学習と推論で得られたユーザー表現と製品表現が入力として結合され、最初の層が出力されます。ユーザーと製品の相互作用。式 1 で表されます:

(式 1)

2 番目の層では、関係を設計しました。 -aware ニューラル ネットワーク層。ユーザーと項目の関係表現と最初の層の出力を融合します。

アダマール積 (式 2 など) と全結合層非線形融合 (式 3 など) という 2 つの融合手法を使用して、関係を意識したユーザーと製品の相互作用をそれぞれ出力します。表現と高レベルのインタラクティブ表現:

(式 2)

(式 3)

3 番目の層は、式 4 に示すように、関係を認識したユーザーとアイテムのインタラクション表現と高レベルのインタラクション表現を入力として使用して、評価予測を実現します。

#(式 4)

モジュール 4: 生成モデルとコピー メカニズム (生成モードとコピー モード) を組み合わせて、作成者は高品質のテキストを生成する新しいテキスト説明生成モジュールを設計します。 -人間が読める高品質のテキスト 説明を読みます。

図 4 の右側は、このモジュールの詳細を示しています。説明ジェネレータにはリカレントニューラルネットワークGRUを採用し、さらにユーザーのオリジナルコメントから情報を抽出するコピー機構を導入し、生成モードとコピーモードの2つのモードを組み合わせて直感的なテキスト説明（単語列）を生成します。ユーザーにとって読みやすく理解しやすいものとなっています。

実験

データセットの選択

この記事では、Amazon5 コアの 3 つのデータセットを使用します。電子機器、家庭用キッチン、音楽機器などです。評価範囲は [0,5] です。すべてのデータセットについて、著者は各データセット内のユーザーとアイテムの相互作用の 80% をトレーニング セットとしてランダムに選択し、ユーザーとアイテムの相互作用の 10% をテスト セットとして選択し、ユーザーとアイテムの相互作用の残りの 10% を考慮しました。検証セットとして。

評価予測パフォーマンス

方法の比較では、著者は KEGNN を CTR、PMF、NARRE、NRT、GCMC、LightGCN、および RippleNet と比較します。 (図に示すように、各メソッドの RMSE と MAE を計算します)。

結果から、すべてのデータセットについて、著者の手法 KEGNN が MAE と RMSE の両方で比較したすべての手法よりも優れていることがわかります。

#生成品質の説明

結果から、著者の方法の方が優れていることがわかります。精度と F1 インデックスのパフォーマンス 最高のパフォーマンスを持っていますが、再現率は CTR や NARRE ほど良くありません。品質評価の結果は、作成者によって生成されたテキストの説明が、処理動作に関連するグラウンドトゥルースのレビューに似ており、処理動作の背後にある暗黙のユーザーの意図を明らかにすることを示しています。著者らは、その後の事例分析で解釈可能性をさらに調査します。

#事例分析

著者は、生成された説明の解釈可能性を実証するために、いくつかの事例を選択します。ケースはすべてテスト セットから取得されます。したがって、実際のテキストは説明生成プロセス中に隠されます。3 つのデータ セットの典型的なケースを上の表に示します。地面はユーザーから寄せられた実際のコメントを表します。

ケーススタディから、著者の手法により、評価されたアイテムに対するユーザーの選択と購入理由を説明する説明が生成されることがわかります。説明可能な概​​念と側面は太字の斜体で強調表示されており、ユーザーの行動の根本的な意図を示し、推奨される結果の説明可能性を示しています。

#結論

本稿では、外部知識を利用する知識強化グラフ ニューラル ネットワーク (KEGNN) に基づく解釈可能な推奨手法を提案します。ライブラリ内の知識は、ユーザー、製品、ユーザーと製品のインタラクションという 3 つの側面での表現学習を強化するために使用されます。

著者は、ユーザー行動グラフを構築し、ユーザー行動を包括的に理解するために、グラフ ニューラル ネットワークに基づいたユーザー行動学習および推論モジュールを設計しました。

最後に、GRU ジェネレーターとコピー メカニズムを組み合わせてセマンティック テキストの説明を生成し、階層型ニューラル協調フィルタリングを使用して正確な推奨事項を実現します。詳細は用紙詳細をご確認ください。

以上が中国科学院深セン先進技術研究所: 解釈可能な推奨事項を実現する新しい知識強化グラフ ニューラル ネットワークの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。