中科院深圳先進院：全新知識增強圖神經網路實現可解釋性推薦

近年來，以大數據和深度學習為基礎的人工智慧展示了卓越的運算能力和學習能力。但深度學習模型通常包含深度嵌套的非線性結構，很難確定具體哪些因素使它做出這樣的決定，缺乏決策的可解釋性和透明度。

同時，由於可解釋的建議不僅提高了推薦系統的透明度、可解釋性和可信度，而且還提高了用戶滿意度，可解釋性推薦任務受到越來越多研究人員的關注[1]。

而隨著深度學習方法和語言處理技術的發展，在提供個人化推薦時，許多方法利用自然語言生成技術產生自然文本解釋[2-3]。但由於資料稀疏性，難以產生高品質的文字解釋，可讀性差。

另外，因為知識圖可以包含更多的事實和聯繫，一些研究人員利用知識圖進行推薦，並透過圖推理路徑增強推薦的可解釋性[4-5 ]。但基於圖路徑的方法需要一些前提條件或定義，例如預先定義路徑或資料集存在多種類型的關聯，同時知識圖譜可能包含冗餘實體，從而導致同質化推薦結果。

論文連結：https://ieeexplore.ieee.org/abstract/document/9681226

為此，作者提出了一種新的知識增強圖神經網路（KEGNN）實現可解釋性推薦。

KEGNN利用外部知識庫中的語意知識，從使用者、商品和使用者-商品互動三個面向學習知識增強語意嵌入。

從使用者-商品互動的角度出發，建構使用者行為圖，並利用知識增強的語意嵌入對使用者行為圖進行初始化。

接著提出基於圖神經網路的使用者行為學習和推理模型，該模型透過傳遞使用者的偏好訊息，對使用者行為圖進行多跳推理，從而全面理解使用者行為。

最後設計了層次化協同過濾層進行推薦預測，並將拷貝機制與GRU的生成器結合，產生高品質、人類可讀的語意解釋。作者已經在三個真實數據集上進行了廣泛的實驗。實驗結果表明，KGNN優於現有方法。

方法

作者提出了知識增強的圖神經網路實作可解釋性，所提出的方法的體系結構如圖1所示。

它主要包括四個模組：知識增強語義表示學習、基於圖形神經網路的使用者行為學習與推理、層次化協同過濾和文本解釋生成。

模組1：為了學習使用者、商品和使用者-商品互動的語義表示學習，作者依照時間順序池化聚集了使用者和商品評論文檔，形成三種類型的文本文檔，分別表示為使用者、商品和使用者-商品互動。

對三種文件進行了進一步的知識增強語意表示學習，圖2給出了知識增強語意表示學習模組的結構。

首先，上下文表示部分中先學習詞級嵌入表示和語意上下文表示，利用BiLSTM對詞級嵌入的頂層進行全域化捕捉，得到層次化語意表示。其次在知識感知中作者利用知識庫來增強語意表徵學習。

此外，作者用one-hot代表用戶/商品編碼，採用全連接層映射將稀疏的one-hot表示轉換為密集表示作為用戶/商品的固有表示，最後，採用多頭注意力進一步融合知識感知表示和使用者/商品的固有表示輸出知識增強的使用者/商品/使用者-商品互動表示。

模組2：為了全面了解使用者偏好，作者設計了一個基於圖神經網路的使用者行為學習和推理模組，包括使用者行為圖建構、資訊傳播層和多跳推理三個步驟，如圖3所示。

首先，從使用者-商品互動關係，作者建構使用者行為圖，並且利用知識增強的語意表示初始化使用者行為圖的節點表示和邊表示。

其次，基於圖神經網路的架構，作者設計了基於GNN資訊傳播層捕捉使用者行為間的一階鄰接網路(ego-network)的資訊傳播及資訊融合。

最後，採用遞歸方式利用多跳（multi-hop）推理對圖結構的高階連接資訊進行建模。

模組3：作者基於神經協同過濾框架設計層次化神經協同過濾演算法，如圖4（a）所示，主要包括三層神經協同過濾層實現使用者-商品交互作用預測。

在第一個神經協同層是全連接層，用戶行為圖學習和推理中獲得的用戶表示商品表示拼接起來作為輸入，輸出第一層用戶-商品交互表示，如公式1:

（公式1）

#在第二層，我們設計了一個關係感知神經網絡層，融合用戶-商品關係表示和第一層的輸出。

採用兩種融合方式，分別為阿達瑪乘積（如公式2）和全連接層非線性融合（如公式3），分別輸出關係感知的使用者-商品交互表示和高層次互動表示：

（公式2）

#（公式3）

##第三層採用關係感知使用者-商品互動表示和高層次互動表示作為輸入，實現評分預測，如公式4所示：

（公式4）

模組4：結合生成模型和拷貝機制（生成模式和拷貝模式），作者設計一個新穎的文本解釋生成模組，生成高品質的人類可讀解釋。

圖4的右側部分示範了此模組的詳細資訊。應用循環神經網路GRU作為解釋生成器；另外引入拷貝機制從用戶原有評論中抽取信息，結合兩種模式（生成模式和拷貝模式）生成直觀文本解釋(詞序列)，易於用戶閱讀理解。

實驗

###資料集選擇#############本文使用Amazon5 core的三個資料集，分別是電子、家庭-廚房以及音樂-設備。評級範圍為[0,5]。對於所有資料集，作者隨機選擇每個資料集中80%的使用者-商品互動作為訓練集，10%的使用者-商品互動作為測試集，剩餘的10%的使用者-商品互動被視為驗證集。 ############評分預測效能############方法比較中，作者將KEGNN與CTR、PMF、NARRE、NRT、GCMC、LightGCN、RippleNet進行對比（計算各方法的RMSE和MAE），如圖所示。 ###

從結果可以看出，對於所有資料集，作者的方法KEGNN在MAE和RMSE上都優於所有比較方法。

解釋生成品質

#從結果可以看出，作者方法在精確度和F1指標上有著最好的表現，但是召回率不如CTR或NARRE。品質評估結果表明，作者產生的文本解釋類似於與處理行為相關的基本事實評論，並揭示了處理行為背後的隱含使用者意圖。作者也在接下來在案例分析中對可解釋性進行了進一步調查。

案例分析

#作者選擇一些案例來展示生成解釋的可解釋性，所選案例皆來自測試集，因此，在解釋生成過程中隱藏了真實文本，三個資料集的典型案例例如上表格所示，Ground表示使用者給予的真實評論。

從案例研究中，我們可以看到作者的方法產生的解釋說明了使用者對評級商品的選擇和購買原因。可解釋的概念和麵向以粗體斜體突出顯示，表示使用者行為的潛在意圖，並展示推薦結果的可解釋性。

結論

本文提出了一種基於知識增強圖神經網路（KEGNN）的可解釋推薦方法，該方法利用外部知識庫中的語意知識來增強使用者、商品和使用者-商品互動三方面的表示學習。

作者建構了一個使用者行為圖，並設計了一個基於圖神經網路的使用者行為學習和推理模組，用於全面理解使用者行為。

最後，利用GRU生成器和拷貝機制結合生成語意文本解釋，利用層次化神經協同過濾實現精準推薦。詳細內容請參考論文細節。

以上是中科院深圳先進院：全新知識增強圖神經網路實現可解釋性推薦的詳細內容。更多資訊請關注PHP中文網其他相關文章！