중국과학원 심천첨단기술연구소: 해석 가능한 권장 사항을 달성하기 위한 새로운 지식 강화 그래프 신경망

최근에는 빅데이터와 딥러닝을 기반으로 한 인공지능이 뛰어난 컴퓨팅 파워와 학습 능력을 보여주고 있습니다. 그러나 딥 러닝 모델에는 깊이 중첩된 비선형 구조가 포함되어 있는 경우가 많아 그러한 결정을 내린 특정 요인을 파악하기 어렵고 의사 결정의 해석성과 투명성이 부족합니다.

동시에 설명 가능한 추천은 추천 시스템의 투명성, 설명 가능성, 신뢰성을 향상시킬 뿐만 아니라 사용자 만족도도 향상시키기 때문에 연구자들로부터 점점 더 많은 관심을 받고 있습니다. .

딥러닝 방법과 언어처리 기술의 발달로 개인화된 추천을 제공할 때 자연어 생성 기술을 활용하여 자연스러운 텍스트 설명을 생성하는 방법이 많아지고 있습니다[2-3]. 그러나 데이터 희소성으로 인해 고품질의 텍스트 설명을 생성하기 어렵고 가독성이 좋지 않습니다.

또한, 지식 그래프는 더 많은 사실과 연관성을 담을 수 있기 때문에 일부 연구자들은 지식 그래프를 추천에 활용하고 그래프 추론 경로를 통해 추천의 해석성을 향상시킵니다[4-5]. 그러나 그래프 경로 기반 방법에는 미리 정의된 경로 또는 데이터 세트의 여러 유형의 연관과 같은 몇 가지 전제 조건이나 정의가 필요합니다. 동시에 지식 그래프에는 중복 엔터티가 포함되어 동질적인 추천 결과가 나올 수 있습니다.

논문 링크: https://ieeexplore.ieee.org/abstract/document/9681226

이를 위해 저자는 해석 가능한 추천을 달성하기 위한 새로운 지식 강화 그래프 신경망(KEGNN)을 제안합니다.

KEGNN은 외부 지식 기반의 의미 지식을 사용하여 사용자, 제품 및 사용자-제품 상호 작용의 세 가지 측면에서 지식을 학습하여 의미 임베딩을 향상시킵니다.

사용자-제품 상호 작용 관점에서 사용자 행동 그래프를 구성하고, 지식 강화 시맨틱 임베딩을 사용하여 사용자 행동 그래프를 초기화합니다.

다음으로 그래프 신경망 기반의 사용자 행동 학습 및 추론 모델을 제안합니다. 이 모델은 사용자 선호도 정보를 전달하고 사용자 행동 그래프에 대해 다중 홉 추론을 수행하여 사용자 행동을 종합적으로 이해합니다.

마지막으로 추천 예측을 위해 계층적 협업 필터링 레이어가 설계되었으며 복사 메커니즘은 GRU 생성기와 결합되어 사람이 읽을 수 있는 고품질 의미론적 설명을 생성합니다. 저자는 세 가지 실제 데이터 세트에 대해 광범위한 실험을 수행했습니다. 실험 결과는 KGNN이 기존 방법보다 우수한 것으로 나타났습니다.

Method

저자는 해석성을 달성하기 위해 지식 강화 그래프 신경망을 제안합니다. 제안된 방법의 아키텍처는 그림 1에 나와 있습니다.

이에는 주로 지식 강화 의미 표현 학습, 그래프 신경망 기반 사용자 행동 학습 및 추론, 계층적 협업 필터링 및 텍스트 설명 생성의 네 가지 모듈이 포함됩니다.

모듈 1: 사용자, 제품 및 사용자-제품 상호 작용의 의미적 표현 학습을 학습하기 위해 저자는 사용자 및 제품 리뷰 문서를 시간순으로 풀링하여 사용자, 항목으로 표시되는 세 가지 유형의 텍스트 문서를 구성했습니다. 및 사용자 항목 상호 작용.

세 가지 문서에 대해 추가 지식 강화 의미 표현 학습이 수행되었습니다. 그림 2는 지식 강화 의미 표현 학습 모듈의 구조를 보여줍니다.

먼저 문맥 표현 부분에서는 단어 수준 임베딩 표현과 의미 문맥 표현을 먼저 학습하고 BiLSTM을 사용하여 단어 수준 임베딩의 최상위 계층을 전역적으로 캡처하여 계층적 의미 표현을 얻습니다. 둘째, 지식 인식에서는 저자는 지식베이스를 활용하여 의미표상학습을 강화한다.

또한 저자는 원-핫을 사용하여 사용자/항목 인코딩을 표현하고, 완전 연결 레이어 매핑을 사용하여 희소 원-핫 표현을 사용자/항목의 고유한 표현인 조밀한 표현으로 변환하고, 마지막으로 다중 연결 레이어 매핑을 사용합니다. 지식을 더욱 융합하기 위한 머리 주의 사용자/항목의 지각적 표현과 내재적 표현은 사용자/항목/사용자-항목 상호 작용의 지식 강화 표현을 출력합니다.

모듈 2: 사용자 선호도를 종합적으로 이해하기 위해 저자는 그림과 같이 사용자 행동 그래프 구성, 정보 전파 계층 및 다중 홉 추론의 세 단계를 포함하는 그래프 신경망 기반 사용자 행동 학습 및 추론 모듈을 설계했습니다. 삼.

먼저 사용자-항목 상호작용 관계에서 저자는 사용자 행동 그래프를 구성하고, 지식 강화 의미 표현을 사용하여 사용자 행동 그래프의 노드 표현과 에지 표현을 초기화합니다.

두 번째로, 저자는 그래프 신경망의 아키텍처를 기반으로 사용자 행동 간 1차 인접 네트워크(ego-network)를 포착하기 위해 GNN 정보 전파 계층을 기반으로 정보 전파 및 정보 융합을 설계했습니다.

마지막으로 다중 홉 추론을 사용하여 그래프 구조의 고차 연결 정보를 모델링하기 위해 재귀적 접근 방식을 사용합니다.

모듈 3: 저자는 그림 4(a)에 표시된 것처럼 신경 협업 필터링 프레임워크를 기반으로 계층적 신경 협업 필터링 알고리즘을 설계합니다. -아이템 상호작용 예측.

첫 번째 신경 협업 레이어는 완전 연결 레이어로, 사용자 행동 그래프 학습 및 추론을 통해 얻은 사용자 표현과 제품 표현이 서로 접합되어 입력되고, 사용자-제품 상호 작용 표현의 첫 번째 레이어가 출력됩니다. 공식 1에 표시된 대로:

(공식 1)

두 번째 레이어에서는 사용자 항목 관계 표현과 첫 번째 레이어의 출력을 융합하는 관계 인식 신경망 레이어를 설계합니다.

두 가지 융합 방법, 즉 Hadamard 곱(예: 공식 2)과 완전히 연결된 레이어 비선형 융합(예: 공식 3)을 사용하여 각각 관계 인식 사용자 제품 상호 작용 표현과 상위 수준 상호 작용 표현을 출력합니다.

(Formula 2)

(Formula 3)

세 번째 레이어는 관계 인식 사용자 항목 상호 작용 표현과 상위 수준 상호 작용 표현을 입력으로 사용하여 평점 예측을 달성합니다. 공식에 표시된 대로 4:

(공식 4)

모듈 4: 생성 모델과 복사 메커니즘(생성 모드 및 복사 모드)을 결합하여 저자는 사람이 읽을 수 있는 고품질의 텍스트 설명 생성 모듈을 설계합니다. 설명.

그림 4의 오른쪽 부분은 이 모듈의 세부 정보를 보여줍니다. 순환 신경망 GRU는 설명 생성기로 사용되며 사용자의 원래 댓글에서 정보를 추출하기 위해 복사 메커니즘도 도입되었으며 두 가지 모드(생성 모드 및 복사 모드)가 결합되어 직관적인 텍스트 설명(단어 시퀀스)이 생성됩니다. 사용자가 읽고 이해하기 쉽습니다.

실험

데이터 세트 선택

이 기사에서는 Amazon5 코어의 세 가지 데이터 세트, 즉 전자 제품, 가정용 주방 및 음악 장비를 사용합니다. 등급 범위는 [0,5]입니다. 모든 데이터 세트에 대해 저자는 각 데이터 세트의 사용자-항목 상호 작용 중 80%를 훈련 세트로, 사용자-항목 상호 작용의 10%를 테스트 세트로, 나머지 10%를 사용자-항목 상호 작용으로 무작위로 선택했습니다. 검증 세트로 간주되었습니다.

점수 예측 성능

방법 비교에서 저자는 KEGNN을 CTR, PMF, NARRE, NRT, GCMC, LightGCN 및 RippleNet(각 방법의 RMSE 및 MAE 계산)과 비교했습니다. 그림.

결과에서 볼 수 있듯이 저자의 방법 KEGNN은 모든 데이터 세트에 대해 MAE 및 RMSE 모두에서 비교된 모든 방법보다 성능이 뛰어납니다.

세대 품질에 대한 설명

결과에서 알 수 있듯이 저자의 방법은 정밀도와 F1 지수에서 가장 좋은 성능을 보이지만 CTR이나 NARRE만큼 재현율이 좋지 않습니다. 품질 평가 결과는 작성자가 생성한 텍스트 설명이 처리 동작과 관련된 실측 리뷰와 유사하며 처리 동작 뒤에 숨겨진 사용자 의도를 드러낸다는 것을 보여줍니다. 저자는 또한 후속 사례 분석에서 해석 가능성을 추가로 조사합니다.

Case Analysis

작성자는 생성된 설명의 해석성을 보여주기 위해 일부 사례를 선택합니다. 따라서 선택한 사례는 모두 테스트 세트에서 가져온 것입니다. 세 가지 데이터 세트 일반적인 사례는 위의 표에 나와 있습니다. Ground는 사용자가 제공한 실제 의견을 나타냅니다.

사례 연구를 통해 저자의 방법이 평가된 항목에 대한 사용자의 선택과 구매 이유를 설명하는 설명을 생성하는 것을 볼 수 있습니다. 설명 가능한 개념과 측면은 굵은 이탤릭체로 강조 표시되어 사용자 행동의 기본 의도를 나타내고 권장 결과의 설명 가능성을 보여줍니다.

결론

본 논문에서는 외부 지식 베이스의 의미 지식을 활용하여 사용자, 항목 및 사용자-항목 표현 학습을 향상시키는 지식 강화 그래프 신경망(KEGNN) 기반의 해석 가능한 추천 방법을 제안합니다. .

저자는 사용자 행동 그래프를 구성하고, 사용자 행동을 종합적으로 이해하기 위해 그래프 신경망 기반의 사용자 행동 학습 및 추론 모듈을 설계했습니다.

마지막으로 GRU 생성기와 복사 메커니즘을 결합하여 의미론적 텍스트 설명을 생성하고 계층적 신경 협업 필터링을 사용하여 정확한 추천을 얻습니다. 자세한 내용은 논문 세부정보를 참조하세요.

위 내용은 중국과학원 심천첨단기술연구소: 해석 가능한 권장 사항을 달성하기 위한 새로운 지식 강화 그래프 신경망의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!