추천 시스템에 적용된 GNN 기술 및 실제 적용

1. GNN 추천 시스템의 기본 컴퓨팅 성능의 진화

지난 20년 동안 컴퓨팅 형식은 끊임없이 진화해 왔습니다. 2010년 이전에는 클라우드 컴퓨팅이 특히 인기를 끌었지만 다른 컴퓨팅 형태는 상대적으로 약했습니다. 하드웨어 컴퓨팅 성능의 급속한 발전과 엔드사이드 칩의 도입으로 엣지 컴퓨팅이 특히 중요해졌습니다. 현재 두 가지 주요 컴퓨팅 형태는 AI의 발전을 두 가지 양극화된 방향으로 형성했습니다. 한편, 클라우드 컴퓨팅 아키텍처에서는 초대형 클러스터 기능을 사용하여 기초 모델과 같은 대규모 AI 모델을 훈련할 수 있습니다. 또는 일부 생성 모델. 한편, 엣지 컴퓨팅의 발전으로 AI 모델을 단말 측에 배포해 단말 측에서 다양한 인식 작업을 수행하는 등 보다 경량화된 서비스를 제공할 수도 있습니다. 동시에 메타버스의 개발과 함께 많은 모델의 계산이 끝 부분에 배치됩니다. 따라서 이 두 컴퓨팅 형태가 화해하고자 하는 핵심 이슈는 컴퓨팅과 전송의 균형과 그에 따른 인공지능의 양극화된 발전이다.

2. 클라이언트 측 GNN 추천 시스템의 개인화

이 두 가지 컴퓨팅 양식이 GNN 추천 시스템에 어떤 기회를 가져오나요?

Duanyun의 관점은 글로벌 그림과 현지화된 하위 그래프의 관점에 비유될 수 있습니다. GNN의 추천 시스템에서 글로벌 하위 그래프는 많은 노드 수준 하위 그래프에서 지속적으로 수집되는 글로벌 하위 그래프입니다. 장점은 데이터가 완전하고 노드 간 상대적으로 포괄적인 관계를 제공할 수 있다는 것입니다. 이러한 종류의 귀납적 편향은 다양한 노드의 규칙을 요약하고 귀납적 편향을 추출하므로 보다 보편적일 수 있습니다. 국지화된 하위 그래프가 반드시 특별히 완전할 필요는 없지만 하위 그래프에서 개인 행동의 진화를 정확하게 설명하고 개인화된 노드 관계 설정을 제공할 수 있다는 장점이 있습니다. 따라서 터미널과 클라우드의 관계는 전역 하위 그래프와 지역화된 하위 그래프와 비슷합니다. 클라우드 컴퓨팅은 강력한 중앙 집중식 컴퓨팅 성능을 제공하여 서비스를 제공할 수 있는 반면, 터미널은 일부 데이터 맞춤형 서비스를 제공할 수 있습니다

글로벌 그래프와 지역화된 하위 그래프의 장점을 결합하여 모델 성능을 더 향상시킬 수 있습니다. WSDM2022에 발표된 연구입니다. 올해는 이것을 탐구했습니다. 이는 글로벌 그래프에 대한 전체 그래프 모델링을 포함하고 일부 적응을 수행하기 위해 하위 그래프를 사용하여 일부 로컬 모델을 구축하는 Ada-GNN(그래프 신경망 개선을 위한 로컬 패턴에 적응) 모델을 제안합니다. 이러한 적응의 본질은 글로벌 모델과 로컬 모델을 결합한 모델이 로컬 그래프의 규칙을 보다 정교하게 인식하고 개인화된 학습 성능을 향상시킬 수 있도록 하는 것입니다.

이제 구체적인 예를 사용하여 하위 그래프에 주의를 기울여야 하는 이유를 설명합니다. 전자상거래 추천 시스템에는 휴대폰, 패드, 카메라 등 디지털 제품과 휴대폰 주변기기 제품 간의 관계를 설명할 수 있는 디지털 매니아 그룹이 있습니다. 그가 카메라 중 하나를 클릭하면 유도적 편향이 유도되었습니다. 그룹 기여 맵에 의해 유도된 귀납적 편향 맵은 우리가 이런 종류의 휴대폰을 추천하도록 장려할 수 있지만, 개인의 관점으로 돌아가서 그가 사진 애호가이고 사진 제품에 특별한 관심을 기울이는 경우 이는 때때로 역설을 초래합니다. 아래에 표시됩니다. 그룹 기여 맵에 의해 유도된 귀납적 편향이 특정 그룹, 특히 꼬리 그룹에 대해 너무 강한가요? 이것이 우리가 흔히 매튜 효과라고 부르는 것입니다.

일반적으로 기존의 양극화된 컴퓨팅 형식은 GNN 추천 시스템 모델링을 재구성할 수 있습니다. 전통적인 추천 시스템은 후보 풀에서 제품이나 항목을 회상하고 GNN 모델링을 통해 이들 사이의 관계를 인식한 다음 사용자의 순위를 매기고 추천합니다. 그러나 엣지 컴퓨팅의 지원으로 인해 최종 측에 개인화 모델을 배포하여 하위 그래프를 학습함으로써 보다 세분화된 개인화를 인식할 수 있습니다. 물론, 디바이스-클라우드 협업을 위한 이 새로운 추천 시스템 아키텍처에는 디바이스의 컴퓨팅 성능과 전력 소비가 실현 가능하다는 가정이 있습니다. 하지만 실제 상황은 소형 모델의 컴퓨팅 파워 오버헤드가 크지 않은데, 이를 1~2메가바이트로 압축해 기존 스마트폰에 컴퓨팅 파워를 얹는다면 실제로는 게임 APP보다 컴퓨팅 파워를 더 많이 소모하지는 않을 것이다. 그리고 큰 전기 에너지. 따라서 엣지 컴퓨팅의 추가 개발과 최종 장치 성능의 향상으로 최종 측에서 더 많은 GNN 모델링에 대한 더 큰 가능성을 제공합니다

GNN 모델을 최종에 추가하려면 엔드사이드 컴퓨팅 성능과 스토리지 용량을 고려해야 합니다. 앞서 모델 압축에 대해서도 언급했습니다. GNN 모델이 기기 측에서 더 효과적이도록 하려면 상대적으로 큰 GNN 모델을 그 위에 올려 놓는 경우 모델 압축을 수행해야 합니다. 모델 압축, 가지치기, 양자화라는 전통적인 방법을 기존 GNN 모델에 사용할 수 있지만 추천 시스템에서는 성능 손실이 발생합니다. 이 시나리오에서는 장치 측 모델을 구축하기 위해 성능을 희생할 수 없으므로 가지치기 및 양자화가 유용하더라도 효과는 제한적입니다.

또 다른 유용한 모델 압축 방법은 증류입니다. 몇 배만 줄일 수는 있지만 비용은 비슷합니다. KDD에 발표된 최근 연구는 GNN의 증류에 관한 것입니다. GNN에서 그래픽 데이터 모델링의 증류는 거리 측정이 로짓 공간에서 쉽게 정의되지만 잠재 특성 공간, 특히 교사 GNN과 학생 GNN 간의 레이어별 거리 측정에서 정의된다는 문제에 직면합니다. 이런 점에서 KDD에 대한 이번 연구는 적대적 생성을 통해 메트릭을 학습하여 학습 가능한 설계를 달성하기 위한 솔루션을 제공합니다

GNN의 추천 시스템에서는 앞서 언급한 모델 압축 기술 외에도 디스어셈블리 하위 배포가 구체적이고 매우 유용한 기술. 이는 GNN 추천 시스템의 모델 아키텍처와 밀접한 관련이 있습니다. 왜냐하면 GNN의 최하위 레이어는 제품의 항목 임베딩이고 여러 레이어의 MLP 비선형 변환 후에 GNN의 집계 전략이 사용되기 때문입니다

모델이 훈련되면 자연스러운 이점이 있습니다. 기본 레이어는 모두 공유되며 GNN 레이어만 맞춤 설정할 수 있습니다. 여기서는 개인화를 위해 모델을 두 부분으로 나누고 모델의 공개 부분을 클라우드에 배치할 수 있습니다. 컴퓨팅 성능이 충분하므로 개인화 부분을 터미널에 배포할 수 있습니다. 이런 방식으로 중간 커널의 GNN만 터미널에 저장하면 됩니다. 실제 추천 시스템에서 이 접근 방식은 전체 모델의 저장 오버헤드를 크게 절약할 수 있습니다. 우리는 Alibaba의 시나리오를 연습했습니다. 분할 배포 후 모델은 KB 수준에 도달할 수 있으며, 추가로 간단한 비트 양자화 모델을 통해 모델을 매우 작게 만들 수 있으며 터미널에 배치할 때 특별히 큰 오버헤드가 거의 없습니다. 물론 이는 경험에 따른 분할 방식이다. KDD에 게시된 Huawei의 최근 작업 중 하나는 단말 장비의 성능을 감지하고 이 모델을 자동으로 분할할 수 있는 자동 모델 분할입니다. 물론 GNN에 적용하면 일부 재구성이 필요할 수 있습니다.

일부 심각한 배포 전송 시나리오에서 모델을 배포할 때 사전 훈련된 모델은 최종 측에 배포되기 전에 이미 상대적으로 오래되었습니다. 이는 훈련을 위해 클라우드로 다시 흐르는 실제 그래프 데이터의 빈도가 상대적으로 느리고 때로는 일주일이 걸릴 수 있기 때문입니다. 여기서 주요 병목 현상은 연구에서는 발생하지 않을 수도 있지만 리소스 제약

입니다. 병목 현상이 발생하면 실제로는 오래된 최종 모델 문제에 직면하게 됩니다. 도메인이 변경되면 데이터도 변경되고 모델은 더 이상 적용 가능하지 않으며 성능이 저하됩니다. 현재 GNN 모델의 온라인 개인화가 필요하지만 최종 개인화는 최종 컴퓨팅 성능 및 스토리지 오버헤드 문제에 직면하게 됩니다.

또 다른 과제는 데이터 희소성입니다. 최종 데이터에는 개별 노드만 있기 때문에 데이터 희소성도 큰 과제입니다. 최근 연구에는 매개변수 효율적인 전송(Parameter-Efficient Transfer)이라는 상대적으로 효율적인 접근 방식이 있습니다. 레이어 간에 일부 모델 패치를 적용하는 것은 잔여 네트워크와 비교할 수 있지만 학습할 때 패치만 학습하면 됩니다. 플래그 메커니즘을 통해 사용 중에는 켜지고 사용하지 않을 때는 꺼질 수 있으며, 꺼지면 원래의 기본 모델로 저하될 수 있어 안전하면서도 효율적입니다.

이것은 GNN 모델의 온라인 개인화를 달성할 수 있는 KDD2021에 게시된 보다 실용적이고 효율적인 접근 방식입니다. 가장 중요한 것은 이러한 실습을 통해 이 로컬 모델의 하위 그래프 정보를 감지함으로써 전반적인 성능이 실제로 꾸준히 향상될 수 있다는 사실을 발견했다는 것입니다. 또한 매튜 효과도 완화됩니다.

추천 시스템에서 tail 사용자는 여전히 그래프 데이터에 대한 Matthew 효과 문제에 직면합니다. 그러나 하위 그래프를 개인화하기 위해 분할 정복 모델링 접근 방식을 채택하면 희소 행동을 하는 사용자에 대한 추천 경험을 향상시킬 수 있습니다. 특히 tail end Crowd의 경우 성능 향상이 더욱 중요할 것입니다

3. 장치-클라우드 협업 GNN 추천 시스템 구현

GNN 추천 시스템에서 하나는 클라우드 측 GNN 모델입니다. 서비스. 엔드사이드 GNN의 작은 모델도 있습니다. GNN 추천 시스템 서비스에는 세 가지 구현 형태가 있습니다. 첫 번째는 세션 추천으로, 비용 절감을 위한 추천 시스템의 일반적인 일괄 세션 추천입니다. 즉, 일괄 추천은 한 번에 이루어지며 사용자가 여러 제품을 탐색해야 합니다. 추천이 다시 실행됩니다. 두 번째는 극단적인 경우에는 한 번에 하나씩만 권장하는 것입니다. 세 번째 유형은 앞서 언급한 엔드투엔드 개인화 모델입니다. 이 세 가지 추천 시스템 방법 각각에는 고유한 장점이 있습니다. 사용자 관심 사항이 천천히 변하는 경우 이를 정확하게 인식하려면 클라우드 측만 필요하므로 클라우드 측 모델이 세션 추천을 수행하는 것으로 충분합니다. 사용자의 관심분야가 점점 더 다양하게 변할 때, 최종 측 하위 그래프의 개인화 추천은 상대적으로 추천 성능을 향상시킬 수 있습니다.

사용자 행동이 갑자기 매우 희박해지는 상황에서는 추천이 상식적 추론에 더 많이 의존합니다. 이러한 세 가지 추천 동작을 조정하기 위해 메타 코디네이터인 Meta Controller를 설정하여 GNN 추천 시스템을 조정할 수 있습니다

3자 공존 엔드 클라우드 협업 추천 시스템을 구축하는 데 있어 한 가지 과제는 왜냐하면 우리는 이러한 모델을 관리하거나 결정을 내리는 방법을 모르기 때문입니다. 따라서 이것은 단지 반사실적 추론 메커니즘일 뿐입니다. 비록 우리는 그러한 데이터 세트를 갖고 있지 않지만 단일 채널 데이터 세트를 갖고 있으며, 인과 효과를 평가하기 위해 평가를 통해 일부 프록시 모델을 구성합니다. 인과관계 효과가 상대적으로 크면 그러한 결정을 내리는 데 따른 이점도 상대적으로 클 것이며 의사 라벨, 즉 반사실적 데이터 세트를 구축할 수 있습니다. 구체적인 단계는 다음과 같습니다.

단일 채널에는 세 가지 모델 D0, D1, D2가 있습니다. 에이전트의 인과 모델을 학습하고 인과 효과를 추정하여 의사 결정 레이블을 구성하고 반사실을 구성합니다. 코디네이터 요소를 훈련하기 위한 데이터 세트입니다. 마지막으로, 우리는 이 메타 코디네이터가 각 단일 채널 모델에 비해 안정적인 성능 향상을 가지고 있음을 증명할 수 있습니다. 이는 무작위 휴리스틱에 비해 상당한 이점을 가지고 있습니다. 이러한 방식으로 디바이스-클라우드 협업을 위한 추천 시스템을 구축할 수 있습니다.

4. 기기측 GNN 추천 시스템의 보안 문제

마지막으로 기기측 GNN 추천 시스템의 보안 문제에 대해 논의하겠습니다. 디바이스-클라우드 협업 GNN 추천 시스템이 공개되면 개방형 환경에서는 필연적으로 문제에 직면하게 됩니다. 학습을 위해 모델을 개인화해야 하기 때문에 탈출 공격, 중독 공격, 백도어 공격 등의 공격 위험이 있으며, 이로 인해 추천 시스템이 결국 엄청난 보안 위험에 직면하게 될 수 있습니다

기본 컴퓨팅 파워 드라이버 현재 최종 클라우드 협업 GNN 추천 시스템의 방향을 지적했지만 아직 개발 초기 단계이며 동시에 보안 문제 등 몇 가지 잠재적인 문제가 있습니다. 개인화된 모델 모델링 분야에서는 여전히 개선의 여지가 많습니다.

5. Q&A 세션

Q1: 마지막에 그래프 모델을 구축할 때 서브그래프의 트래픽이 너무 많이 분산되나요?

A1: 하위 사진은 배포되지 않고 실제로 집계됩니다. 첫 번째 포인트는 서브픽쳐가 동반되는 방식으로 배포된다는 점이다. 예를 들어, 상품을 추천하고 싶을 때 자연스럽게 상품의 속성 정보가 전달됩니다. 여기서, 동반발행은 속성과 동일한 수준의 오버헤드를 가지고 있습니다. 실제로 오버헤드는 그리 높지 않습니다. 전체 큰 그림을 제공하지 않고 일부 인접 하위 그래프만 제공하기 때문에 최대 2차 인접 하위 그래프는 여전히 매우 작습니다. 두 번째 점은 사용자 행동의 피드백을 바탕으로 일부 동시 발생과 클릭을 기반으로 끝 부분의 일부 하위 그래프가 자동으로 구성되므로 이중 끝 집계 형식이며 전체 비용이 특별히 크지 않다는 점입니다.

위 내용은 추천 시스템에 적용된 GNN 기술 및 실제 적용의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!