Shenzhen Institute of Advanced Technology, Chinesische Akademie der Wissenschaften: Neues wissensgestütztes graphisches neuronales Netzwerk zur Erzielung interpretierbarer Empfehlungen

In den letzten Jahren hat künstliche Intelligenz auf Basis von Big Data und Deep Learning hervorragende Rechenleistung und Lernfähigkeiten bewiesen. Allerdings enthalten Deep-Learning-Modelle oft tief verschachtelte nichtlineare Strukturen, was es schwierig macht, die spezifischen Faktoren zu bestimmen, die zu einer solchen Entscheidung geführt haben, und es mangelt an Interpretierbarkeit und Transparenz bei der Entscheidungsfindung.

Da erklärbare Empfehlungen gleichzeitig nicht nur die Transparenz, Erklärbarkeit und Glaubwürdigkeit des Empfehlungssystems verbessern, sondern auch die Benutzerzufriedenheit verbessern, erregt die Aufgabe erklärbarer Empfehlungen immer mehr Aufmerksamkeit bei Forschern. Folgen[1]

Mit der Entwicklung von Deep-Learning-Methoden und Sprachverarbeitungstechnologien nutzen viele Methoden bei der Bereitstellung personalisierter Empfehlungen die Technologie zur Erzeugung natürlicher Sprache, um natürliche Texterklärungen zu generieren [2-3]. Aufgrund der spärlichen Datenlage ist es jedoch schwierig, qualitativ hochwertige Texterklärungen zu erstellen, und die Lesbarkeit ist schlecht.

Da Wissensgraphen außerdem mehr Fakten und Zusammenhänge enthalten können, nutzen einige Forscher Wissensgraphen für Empfehlungen und verbessern die Interpretierbarkeit von Empfehlungen durch Graph-Argumentationspfade [4–5]. Graphpfadbasierte Methoden erfordern jedoch einige Voraussetzungen oder Definitionen, wie zum Beispiel vordefinierte Pfade oder das Vorhandensein mehrerer Arten von Assoziationen im Datensatz. Gleichzeitig kann der Wissensgraph redundante Entitäten enthalten, was zu homogenen Empfehlungsergebnissen führt .

Papierlink: https://ieeexplore.ieee.org/abstract/document/9681226

Zu diesem Zweck schlägt der Autor ein neues wissensgestütztes graphisches neuronales Netzwerk (KEGNN) vor, um interpretierbare Empfehlungen zu erhalten.

KEGNN nutzt das semantische Wissen in der externen Wissensdatenbank, um Wissen aus drei Aspekten von Benutzern, Produkten und Benutzer-Produkt-Interaktion zu erlernen und so die semantische Einbettung zu verbessern.

Konstruieren Sie das Benutzerverhaltensdiagramm aus der Perspektive der Benutzer-Produkt-Interaktion und initialisieren Sie das Benutzerverhaltensdiagramm mithilfe einer wissensbasierten semantischen Einbettung.

Dann wird ein Modell zum Lernen und Denken des Benutzerverhaltens vorgeschlagen, das auf einem grafischen neuronalen Netzwerk basiert. Dieses Modell überträgt Benutzerpräferenzinformationen und führt Multi-Hop-Schlussfolgerungen für Benutzerverhaltensdiagramme durch, um das Benutzerverhalten umfassend zu verstehen.

Abschließend wird eine hierarchische kollaborative Filterschicht für die Empfehlungsvorhersage entwickelt und der Kopiermechanismus wird mit dem GRU-Generator kombiniert, um hochwertige, für Menschen lesbare semantische Erklärungen zu generieren. Die Autoren haben umfangreiche Experimente mit drei realen Datensätzen durchgeführt. Experimentelle Ergebnisse zeigen, dass KGNN bestehende Methoden übertrifft.

Methode

Der Autor schlägt ein wissensgestütztes graphisches neuronales Netzwerk vor, um Interpretierbarkeit zu erreichen. Die Architektur der vorgeschlagenen Methode ist in Abbildung 1 dargestellt.

Es umfasst hauptsächlich vier Module: wissensgestütztes semantisches Repräsentationslernen, Benutzerverhaltenslernen und Argumentation basierend auf graphischen neuronalen Netzen, hierarchische kollaborative Filterung und Texterklärungsgenerierung.

Modul 1: Um das Lernen der semantischen Darstellung von Benutzern, Produkten und Benutzer-Produkt-Interaktionen zu erlernen, hat der Autor Benutzer- und Produktbewertungsdokumente in chronologischer Reihenfolge zusammengefasst, um drei Arten von Textdokumenten zu bilden, die als Benutzerelemente dargestellt werden und Benutzer-Element-Interaktionen.

Weiteres wissensgestütztes semantisches Repräsentationslernen wurde an den drei Dokumenten durchgeführt. Abbildung 2 zeigt die Struktur des wissensgestützten semantischen Repräsentationslernmoduls.

Zuerst werden im Kontextdarstellungsteil zunächst die Einbettungsdarstellung auf Wortebene und die semantische Kontextdarstellung erlernt, und BiLSTM wird verwendet, um die oberste Ebene der Einbettung auf Wortebene global zu erfassen und eine hierarchische semantische Darstellung zu erhalten. Zweitens nutzt der Autor bei der Wissenswahrnehmung die Wissensbasis, um das Lernen der semantischen Darstellung zu verbessern.

Darüber hinaus verwendet der Autor One-Hot zur Darstellung der Benutzer-/Elementkodierung, verwendet eine vollständig verbundene Layer-Zuordnung, um eine spärliche One-Hot-Darstellung in eine dichte Darstellung als inhärente Darstellung von Benutzer/Element umzuwandeln, und verwendet schließlich Multi- Kopfaufmerksamkeit zur weiteren Verschmelzung von Wissen. Die Wahrnehmungsdarstellung und die intrinsische Darstellung des Benutzers/Elements geben eine wissenserweiterte Darstellung der Benutzer/Element/Benutzer-Element-Interaktion aus.

Modul 2: Um Benutzerpräferenzen umfassend zu verstehen, hat der Autor ein Modul zum Lernen und Denken des Benutzerverhaltens basierend auf einem neuronalen Graphennetzwerk entwickelt, das drei Schritte umfasst: Aufbau des Benutzerverhaltensdiagramms, Informationsverbreitungsschicht und Multi-Hop-Argumentation, wie in Abbildung dargestellt 3.

Zuerst erstellt der Autor aus der Benutzer-Element-Interaktionsbeziehung ein Benutzerverhaltensdiagramm und verwendet eine wissensgestützte semantische Darstellung, um die Knotendarstellung und Kantendarstellung des Benutzerverhaltensdiagramms zu initialisieren.

Zweitens entwarf der Autor basierend auf der Architektur des graphischen neuronalen Netzwerks die Informationsverbreitung und Informationsfusion basierend auf der GNN-Informationsverbreitungsschicht, um das Adjazenznetzwerk erster Ordnung (Ego-Netzwerk) zwischen Benutzerverhalten zu erfassen.

Abschließend wird ein rekursiver Ansatz verwendet, um die Verbindungsinformationen höherer Ordnung der Diagrammstruktur mithilfe von Multi-Hop-Argumentation zu modellieren.

Modul 3: Der Autor entwirft einen hierarchischen neuronalen kollaborativen Filteralgorithmus basierend auf dem neuronalen kollaborativen Filterrahmen, wie in Abbildung 4 (a) dargestellt, der hauptsächlich drei Schichten neuronaler kollaborativer Filterschichten umfasst, um Benutzer zu erreichen -Item-Interaktionsvorhersage.

Die erste Ebene der neuronalen Zusammenarbeit ist eine vollständig verbundene Ebene. Die beim Lernen und Denken des Benutzerverhaltensdiagramms erhaltenen Benutzerdarstellungen und Produktdarstellungen werden als Eingabe zusammengefügt, und die erste Ebene der Benutzer-Produkt-Interaktionsdarstellung wird ausgegeben. wie in Formel 1 gezeigt:

(Formel 1)

In der zweiten Schicht entwerfen wir eine beziehungsbewusste neuronale Netzwerkschicht, die die Benutzer-Element-Beziehungsdarstellung und die Ausgabe der ersten Schicht zusammenführt.

Verwendet zwei Fusionsmethoden, nämlich das Hadamard-Produkt (wie Formel 2) und die nichtlineare Fusion der vollständig verbundenen Schicht (wie Formel 3), um eine beziehungsbewusste Benutzer-Produkt-Interaktionsdarstellung bzw. eine Interaktionsdarstellung auf hoher Ebene auszugeben:

(Formel 2) 4:

(Formel 4)

Modul 4: Durch die Kombination des Generierungsmodells und des Kopiermechanismus (Generierungsmodus und Kopiermodus) entwirft der Autor ein neuartiges Modul zur Generierung von Texterklärungen, um qualitativ hochwertige, für Menschen lesbare Texte zu generieren Erklärungen.

Der rechte Teil von Abbildung 4 zeigt die Details dieses Moduls. Als Erklärungsgenerator wird das wiederkehrende neuronale Netzwerk GRU verwendet. Außerdem wird ein Kopiermechanismus eingeführt, um Informationen aus den Originalkommentaren der Benutzer zu extrahieren. Außerdem werden zwei Modi (Generierungsmodus und Kopiermodus) kombiniert, um intuitive Texterklärungen (Wortsequenzen) zu generieren sind für Benutzer leicht zu lesen und zu verstehen.

Experiment

Datensatzauswahl

Dieser Artikel verwendet drei Datensätze des Amazon5-Kerns, nämlich Elektronik, Heimküche und Musikgeräte. Der Bewertungsbereich beträgt [0,5]. Für alle Datensätze wählten die Autoren zufällig 80 % der Benutzer-Element-Interaktionen in jedem Datensatz als Trainingssatz, 10 % der Benutzer-Element-Interaktionen als Testsatz und die restlichen 10 % der Benutzer-Element-Interaktionen aus wurden als Validierungssatz angesehen.

Score-Vorhersageleistung

Im Methodenvergleich verglich der Autor KEGNN mit CTR, PMF, NARRE, NRT, GCMC, LightGCN und RippleNet (wobei der RMSE und MAE jeder Methode berechnet wurde), wie in der Abbildung gezeigt Figur.

Wie aus den Ergebnissen hervorgeht, übertrifft die Methode des Autors KEGNN alle verglichenen Methoden sowohl in MAE als auch in RMSE für alle Datensätze.

Erklärung der Generierungsqualität

Wie aus den Ergebnissen ersichtlich ist, weist die Methode des Autors die beste Leistung in Bezug auf Präzision und F1-Index auf, die Rückrufrate ist jedoch nicht so gut wie CTR oder NARRE. Die Ergebnisse der Qualitätsbewertung zeigen, dass die von den Autoren generierten Texterklärungen bodengestützten Überprüfungen in Bezug auf Verarbeitungsverhalten ähneln und die impliziten Benutzerabsichten hinter Verarbeitungsverhalten offenbaren. In einer anschließenden Fallanalyse untersuchen die Autoren die Interpretierbarkeit weiter.

Fallanalyse

Der Autor wählt einige Fälle aus, um die Interpretierbarkeit der generierten Erklärungen zu zeigen. Daher wird der tatsächliche Text während des Erklärungsgenerierungsprozesses ausgeblendet Drei Datensätze Ein typischer Fall ist in der obigen Tabelle dargestellt. Ground stellt reale Kommentare dar, die von Benutzern abgegeben wurden.

Anhand der Fallstudie können wir erkennen, dass die Methode des Autors Erklärungen generiert, die die Auswahl und Kaufgründe des Benutzers für bewertete Artikel erläutern. Erklärbare Konzepte und Aspekte werden in Fett- und Kursivschrift hervorgehoben, um die zugrunde liegende Absicht des Benutzerverhaltens anzuzeigen und die Erklärbarkeit der empfohlenen Ergebnisse zu demonstrieren.

Fazit

Dieses Papier schlägt eine interpretierbare Empfehlungsmethode vor, die auf einem wissensbasierten graphischen neuronalen Netzwerk (KEGNN) basiert und semantisches Wissen in externen Wissensdatenbanken nutzt, um das Lernen von Benutzern, Elementen und Benutzer-Element-Interaktionen zu verbessern .

Der Autor erstellte ein Benutzerverhaltensdiagramm und entwarf ein Lern- und Argumentationsmodul für Benutzerverhalten, das auf einem graphischen neuronalen Netzwerk basiert, um das Benutzerverhalten umfassend zu verstehen.

Abschließend werden der GRU-Generator und der Kopiermechanismus kombiniert, um semantische Texterklärungen zu generieren, und hierarchische neuronale kollaborative Filterung wird verwendet, um genaue Empfehlungen zu erhalten. Einzelheiten entnehmen Sie bitte den Papierdetails.

Das obige ist der detaillierte Inhalt vonShenzhen Institute of Advanced Technology, Chinesische Akademie der Wissenschaften: Neues wissensgestütztes graphisches neuronales Netzwerk zur Erzielung interpretierbarer Empfehlungen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!