GNN의 기초, 프론티어 및 적용

최근 몇 년 동안 그래프 신경망(GNN)은 빠르고 놀라운 발전을 이루었습니다. 그래프 딥러닝, 그래프 표현 학습(그래프 표현 학습) 또는 기하학적 딥러닝이라고도 알려진 그래프 신경망은 머신러닝, 특히 딥러닝 분야에서 가장 빠르게 성장하고 있는 연구 주제입니다. 이번 공유의 제목은 "Basics, Frontiers and Application of GNN"이며, Wu Lingfei, Cui Peng, Pei Jian 및 Zhao 학자가 편찬한 종합 도서 "Basics, Frontiers and Application of Graph Neural Networks"의 일반적인 내용을 주로 소개합니다. 리앙.

1. 그래프 신경망 소개

1. 왜 그래프를 공부하나요?

다이어그램은 복잡한 시스템을 설명하고 모델링하기 위한 보편적인 언어입니다. 그래프 자체는 복잡하지 않으며 주로 간선과 노드로 구성됩니다. 노드를 사용하여 모델링하려는 개체를 나타낼 수 있으며 가장자리를 사용하여 두 노드 간의 관계 또는 유사성을 나타낼 수 있습니다. 우리가 흔히 그래프 신경망이나 그래프 기계학습이라고 부르는 것은 일반적으로 그래프의 구조와 엣지와 노드의 정보를 알고리즘의 입력으로 사용해 원하는 결과를 출력하는 방식이다. 예를 들어, 검색 엔진에서 쿼리를 입력하면 엔진은 쿼리 정보, 사용자 정보 및 일부 문맥 정보를 기반으로 개인화된 검색 결과를 반환합니다. 이 정보는 자연스럽게 그래프로 구성될 수 있습니다.

2. 그래프 구조화된 데이터는 어디에나 있습니다.

그래프 구조화된 데이터는 인터넷, 소셜 네트워크 등 어디에서나 찾을 수 있습니다. 또한 현재 매우 인기 있는 단백질 발견 분야에서 사람들은 그래프를 사용하여 기존 단백질을 설명하고 모델링하고 새로운 그래프를 생성하여 사람들이 신약을 발견하는 데 도움을 줄 것입니다. 그래프를 사용하여 복잡한 프로그램 분석을 수행할 수도 있고 컴퓨터 비전에서 고급 추론을 수행할 수도 있습니다.

3. 그래프 머신러닝의 최근 동향

그래프 머신러닝은 지난 20년간 아주 새로운 주제가 아니었고 항상 상대적으로 틈새 시장이었습니다. 전에. 2016년부터 현대적인 그래프 신경망 관련 논문이 등장하면서 그래프 머신러닝이 인기 있는 연구 방향이 되었습니다. 이 새로운 세대의 그래프 기계 학습 방법은 데이터 자체와 데이터 사이의 정보를 더 잘 학습할 수 있으므로 데이터를 더 잘 표현할 수 있고 궁극적으로 더 중요한 작업을 더 잘 완료할 수 있는 것으로 나타났습니다.

4 그래프 신경망의 간략한 역사

그래프 신경망과 관련된 최초의 논문은 딥러닝이 대중화되기 전인 2009년에 등장했습니다. 현대 그래프 신경망에 관한 논문은 2016년에 등장했으며 초기 그래프 신경망을 개선한 것이었습니다. 이후 GCN의 등장으로 그래프 신경망의 급속한 발전이 촉진됐다. 2017년 이후에는 새로운 알고리즘이 대거 등장했다. 그래프 신경망의 알고리즘이 점점 더 성숙해짐에 따라 2019년부터 업계에서는 이러한 알고리즘을 사용하여 일부 실제 문제를 해결하려고 노력해 왔으며 동시에 문제 해결의 효율성을 높이기 위해 많은 오픈 소스 도구가 개발되었습니다. 2021년부터 이 "Basics, Frontiers and Application of Graph Neural Networks"를 포함하여 그래프 신경망과 관련된 많은 책이 저술되었습니다.

책 『그래프 신경망의 기초, 프론티어 및 응용』은 그래프 신경망 분야의 핵심 개념과 기술은 물론 최첨단 연구개발을 체계적으로 소개하고, 다양한 분야의 응용 사례를 소개합니다. 학계와 업계의 독자들이 이로부터 혜택을 얻을 수 있습니다.

2. 그래프 신경망의 기초

1. 머신러닝의 라이프사이클

위 그림은 피쳐러닝이 매우 중요한 머신러닝의 라이프사이클을 반영한 것입니다. link. 주요 작업은 원시 데이터를 구조화된 데이터로 변환하는 것입니다. 딥러닝이 등장하기 전에는 누구나 주로 Feature Engineering을 통해 이 작업을 수행했습니다. 딥러닝이 등장한 후, 이러한 엔드투엔드 머신러닝 방식이 주류가 되기 시작했습니다.

2. 그래프에서의 특징 학습

목표는 딥 러닝과 관련되거나 독립적인 특징 학습 방법을 설계하는 것입니다. 원본 그래프의 노드를 고차원 공간으로 이동하여 노드의 임베딩 표현을 얻은 다음 다운스트림 작업을 완료합니다.

3. 그래프 신경망의 기초

그래프 신경망에서 학습해야 하는 표현에는 두 가지 유형이 있습니다.

• 그래프 노드 표현

그래프의 행렬과 노드의 벡터 표현을 입력으로 사용하고 노드의 벡터 표현을 지속적으로 학습하고 업데이트하는 필터 작업이 필요합니다. 현재 더 일반적인 필터 작업에는 스펙트럼 기반, 공간 기반, 주의 기반 및 반복 기반이 포함됩니다.

• 그래프의 표현

에는 그래프의 행렬과 노드의 벡터 표현을 입력으로 받아 지속적으로 학습하여 그래프의 행렬을 얻는 풀 연산이 필요합니다. 더 적은 수의 노드를 포함하는 그래프. 해당 노드의 벡터 표현은 최종적으로 전체 그래프를 표현하는 그래프 수준의 벡터 표현을 얻습니다. 현재 더 일반적인 풀 작업에는 평면 그래프 풀링(예: Max, Ave, Min) 및 계층적 그래프 풀링(예: Diffpool)이 포함됩니다.

4. 그래프 신경망의 기본 모델

머신러닝 분야에는 상황학습(Context Learning)이라는 개념이 있습니다. 그래프 신경망에서 노드의 컨텍스트는 이웃 노드입니다. 노드의 이웃 노드를 사용하여 이 노드의 벡터 표현을 학습할 수 있습니다.

이런 방식으로 각 노드는 계산 그래프를 정의할 수 있습니다.

계산 그래프를 계층화할 수 있습니다. 첫 번째 계층은 정보를 계층별로 전달하고 집계하여 모든 노드의 벡터 표현을 학습할 수 있습니다.

위 그림은 그래프 신경망 모델 학습의 주요 단계를 대략적으로 설명하며, 주로 다음 네 단계를 포함합니다.

• 집계 함수 정의
• 일괄 노드를 훈련합니다. 예를 들어 한 번에 여러 계산 그래프를 훈련할 수 있습니다. 학습되었습니다(학습은 집계 함수이므로 새 노드의 벡터 표현을 얻기 위해 학습된 집계 함수와 벡터 표현을 사용할 수 있습니다).
• 위 그림

은 평균을 집계 함수로 사용한 예입니다. k번째 레이어의 노드 v의 벡터 표현은 이웃 노드의 벡터 표현에 따라 달라집니다. 이전 레이어의 평균과 이전 레이어의 자체 벡터 표현입니다.

위 내용을 요약하자면, 그래프 신경망의 주요 포인트는 인코더에서의 매개변수 공유를 고려하여 이웃 노드의 정보를 집계하여 대상 노드의 벡터 표현을 생성하는 것입니다. 추론 학습도 고려합니다. 5. 그래프 신경망의 인기 모델

그래프 신경망의 고전적이거나 인기 있는 알고리즘은 기본적으로 감독 그래프 신경망과 비지도 그래프 신경망으로 나눌 수 있는 서로 다른 집계 함수 또는 필터 함수를 사용합니다. 네트워크. 지도 그래프 신경망.

GCN

은 가장 고전적인 알고리즘 중 하나이며,

그래프에 직접 작용하고 구조 정보를 활용할 수 있습니다. 위 그림과 같이 모델 속도, 실용성, 안정성 향상에 중점을 두고 GCN도 여러 번의 반복을 거쳤습니다. GCN 논문은 획기적인 의미를 가지며 그래프 신경망의 토대를 마련했습니다.

MPNN핵심

은 그래프 컨볼루션을 정보 전달로 변환하는 과정으로, 집계 함수와 업데이트 함수를 정의합니다. 이 알고리즘은 간단하고 일반적인 알고리즘이지만 효율적이지 않습니다.

GraphSage 는 산업 수준의 알고리즘입니다. 학교 노드의 벡터 표현을 얻기 위해 샘플링을 사용하여 특정 수의 이웃 노드를 얻습니다.

GAT

어텐션 아이디어 도입이 핵심입니다. 정보 전송 과정에서 엣지의 가중치를 동적으로 학습하는 것입니다.

위에 소개된 알고리즘 외에도 GGNN도 있는데, 그 특징은 출력이 여러 노드일 수 있다는 것입니다. 관심이 있다면 관련 논문을 읽어보세요.

"Basics, Frontiers and Application of Graph Neural Networks" 책의 5장, 6장, 7장, 8장에서는 각각 그래프 신경망을 평가하는 방법, 그래프 신경망의 확장성, 그래프 신경망에 대한 설명을 소개합니다. 그래프 신경망의 속성과 적대적 안정성에 관심이 있다면 책에서 해당 장을 읽어보세요.

3. 그래프 신경망의 개척자

1. 그래프 구조 학습

그래프 신경망에는 그래프 구조 데이터가 필요한데, 주어진 그래프 구조가 최적인지 의심스럽습니다. 때로는 노이즈가 많을 수도 있고, 많은 애플리케이션에 그래프 구조의 데이터가 없거나 심지어 원래 기능만 있을 수도 있습니다.

그래서 최적의 그래프 표현과 그래프 노드 표현을 학습하려면 그래프 신경망을 사용해야 합니다.

그래프 학습을 노드 간 유사성 학습으로 변환하고, 정규화를 통해 원활성, 시스템 속성 및 연결성을 제어하고, 반복 벡터 표현을 통해 그래프의 구조와 그래프를 세분화합니다.

실험 데이터는 이 접근 방식의 장점을 보여줄 수 있습니다.

그래프의 시각화 결과를 통해, 학습된 그래프는 유사한 개체를 함께 묶는 경향이 있음을 알 수 있으며 이는 어느 정도 해석 가능성이 있습니다.

2. 기타 프론티어

"Basics, Frontiers and Application of Graph Neural Networks"에는 다양한 시나리오에서 중요한 응용 분야가 있는 다음과 같은 최첨단 연구도 소개되어 있습니다. 이미지 분류;

• 링크 예측;
• 이미지 생성; ​​사진 일치
• 동적 그래프 신경; 네트워크;
• 이종 그래프 신경망;
• 그래프 신경망용 AutoML
• 자기 지도 학습.
• 4. 그래프 신경망 적용
• 1. 추천 시스템에 그래프 신경망 적용
• 세션 정보를 사용하여 이종 글로벌 그래프를 구성한 다음 그래프 신경망을 사용할 수 있습니다. 네트워크 사용자나 항목의 벡터 표현을 얻는 방법을 배우고 이 벡터 표현을 사용하여 개인화된 추천을 제공합니다.

  2. 컴퓨터 비전에 그래프 신경망 적용

  

  그래프 신경망을 통해 사물의 역동적인 변화 과정을 추적하고 영상에 대한 이해를 심화할 수 있습니다.

  3. 자연어 처리에 그래프 신경망 적용

  

  그래프 신경망을 사용하여 자연어의 고급 정보를 이해할 수 있습니다.

  4. 프로그램 분석에 그래프 신경망 적용

  

  5. 스마트 시티에 그래프 신경망 적용

  

  5.

  Q1: GNN은 차세대 딥러닝을 위한 중요한 방법인가요?

  A1: 그래프 신경망은 매우 중요한 분야이며, 그래프 신경망과 보조를 맞추는 것이 Transformer입니다. 그래프 신경망의 유연성을 고려하면 그래프 신경망과 Transformer를 서로 결합하여 더 큰 장점을 활용할 수 있습니다.

  Q2: GNN과 인과 학습을 결합할 수 있나요? 결합하는 방법?

  A2: 인과 학습에서 중요한 연결고리는 인과 그래프인데, 인과 그래프와 GNN이 자연스럽게 결합될 수 있습니다. 인과 학습의 어려움은 데이터 크기가 작다는 것입니다. GNN의 기능을 사용하면 인과 그래프를 더 잘 학습할 수 있습니다.

  Q3: GNN의 해석 가능성과 기존 머신 러닝의 해석 가능성 사이의 차이점과 연관성은 무엇입니까?

  A3: "Basics, Frontiers and Application of Graph Neural Networks" 책에서 자세히 소개됩니다.

  Q4: 그래프 데이터베이스를 기반으로 그래프 컴퓨팅의 강력한 기능을 사용하여 GNN을 직접 훈련하고 추론하는 방법은 무엇입니까?

  A4: 현재 통합 그래프 컴퓨팅 플랫폼에 대한 모범 사례는 없습니다. 관련 방향을 모색하는 일부 신생 기업과 과학 연구팀이 있습니다. 이는 매우 가치 있고 도전적인 연구 방향이 될 것입니다. 영역을 영역으로 나눕니다.

위 내용은 GNN의 기초, 프론티어 및 적용의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!