그래프 분야 최초의 범용 프레임워크가 여기에 있습니다! ICLR\'24 Spotlight에 선정되어 모든 데이터 세트 및 분류 문제를 해결할 수 있습니다.

분자 구조를 바탕으로 독성을 예측하고 소셜 네트워크에서 친구를 추천할 수 있는 범용 그래프 모델이 있을 수 있을까요?

아니면 다양한 저자의 논문 인용을 예측할 수 있을 뿐만 아니라 유전자 네트워크에서 인간의 노화 메커니즘도 발견할 수 있나요?

말하지 마세요.

ICLR 2024

에서 Spotlight로 채택된 “One for All(OFA)” 프레임워크가 이러한 “본질”을 구현했습니다. 이 연구는 세인트루이스 워싱턴 대학교 Chen Yixin 교수팀, 베이징 대학교 Zhang Muhan, JD 연구소의 Tao Dacheng 등의 연구진이 공동으로 제안한 것입니다.

그래프 필드

의 첫 번째 일반 프레임워크인 OFA를 사용하면 단일 GNN 모델을 교육하여 모든 데이터 세트, 작업 유형 및 그래프 필드의 모든 장면의 분류 작업을 해결할 수 있습니다.

구체적으로 구현하는 방법은 다음과 같습니다.

그래프 분야의 유니버설 모델 설계는 세 가지 큰 어려움에 직면합니다

다양한 과제를 해결하기 위한 유니버설 기본 모델을 설계하는 것은 인공지능 분야의 장기적인 목표입니다. 최근에는 기본 대형 언어 모델

(LLM)

이 자연어 작업 처리에서 좋은 성능을 발휘했습니다. 그러나 그래프 분야에서는 그래프 신경망

(GNN)

이 다양한 그래프 데이터에서 좋은 성능을 발휘하지만, 여러 그래프 작업을 동시에 처리할 수 있는 기본 그래프 모델을 어떻게 설계하고 학습시키는지는 여전히 방법입니다. 앞으로 광대하다. 자연어 분야에 비해 그래프 분야의 일반 모델 설계는 독특한 어려움에 직면합니다.

우선, 자연어와는 달리 다양한 그래프 데이터는 전혀 다른 속성과 분포를 가지고 있습니다.

예를 들어, 분자 다이어그램은 여러 원자가 서로 다른 힘 관계를 통해 서로 다른 화학 물질을 형성하는 방식을 설명합니다. 인용 관계 다이어그램은 논문 간의 상호 인용 네트워크를 설명합니다.

이러한 다양한 그래프 데이터는 학습 프레임워크에서 통합하기가 어렵습니다.

둘째, 통합 컨텍스트 생성 작업으로 변환할 수 있는 LLM의 모든 작업과 달리 그래프 작업에는 노드 작업, 링크 작업, 전체 그래프 작업 등과 같은 다양한 하위 작업이 포함됩니다.

다른 하위 작업에는 일반적으로 다른 작업 표현과 다른 그래프 모델이 필요합니다.

마지막으로 대규모 언어 모델의 성공은 프롬프트 패러다임을 통해 달성되는 상황 학습

(상황 내 학습)

과 불가분의 관계에 있습니다. 대규모 언어 모델에서 프롬프트 패러다임은 일반적으로 다운스트림 작업에 대해 읽을 수 있는 텍스트 설명입니다.

그러나 구조화되지 않고 말로 설명하기 어려운 그래프 데이터의 경우 상황 내 학습을 달성하기 위해 효과적인 그래프 프롬프트 패러다임을 설계하는 방법은 여전히 ​​풀리지 않은 미스터리입니다.

"텍스트 다이어그램" 개념을 사용하여 해결하세요

다음 그림은 OFA의 전체 프레임워크를 보여줍니다.

특히 OFA 팀은 기발한 디자인을 통해 위에서 언급한 세 가지 주요 문제를 해결합니다.

다양한 그래프 데이터 속성과 분포 문제를 해결하기 위해 OFA는 텍스트 속성 그래프(TAG) 개념을 제안하여 모든 그래프 데이터를 통합합니다

. OFA는 텍스트 그래프를 사용하여 아래 그림과 같이 통일된 자연어 프레임워크를 사용하여 모든 그래프 데이터의 노드 정보와 에지 정보를 설명합니다.

다음으로 OFA는 단일 LLM 모델을 사용하여 모든 데이터를 설명합니다. 텍스트는 임베딩 벡터를 얻는 방법을 학습하여 표현됩니다.

이 임베딩 벡터는 그래픽 모델의 입력 기능으로 사용됩니다. 이러한 방식으로 서로 다른 도메인의 그래프 데이터가 동일한 기능 공간에 매핑되어 통합 GNN 모델을 훈련하는 것이 가능해집니다.

OFA는 아래 그림과 같이 인용 관계 그래프, 웹 링크 그래프, 지식 그래프, 분자 그래프 등 다양한 분야에서 다양한 크기의 9개 그래프 데이터 세트를 수집했습니다.

또한 OFA는 Nodes를 제안합니다. -of -Interest (NOI)

하위 그래프 및 NOI 프롬프트 노드

(NOI 프롬프트 노드) 그래프 필드에서 다양한 하위 작업 유형을 통합합니다. 여기서 NOI는 해당 작업에 참여하는 대상 노드 집합을 나타냅니다.

예를 들어, 노드 예측 작업에서 NOI는 예측해야 하는 단일 노드를 나타내고, 링크 작업에서는 NOI에 링크를 예측해야 하는 두 개의 노드가 포함됩니다. NOI 하위 그래프는 이러한 NOI 노드 주위로 확장된 h-hop 이웃을 포함하는 하위 그래프를 나타냅니다.

그럼 NOI 프롬프트 노드는 새로 도입된 노드 형태로, 모든 NOI에 직접 연결됩니다.

중요한 점은 각 NOI 프롬프트 노드에는 현재 작업에 대한 설명 정보가 포함되어 있으며 이 정보는 자연어 형태로 존재하며 텍스트 그래프와 동일한 LLM으로 표현된다는 것입니다.

NOI의 노드에 포함된 정보는 GNN의 메시지를 전달한 후 NOI 프롬프트 노드에 의해 수집되므로 GNN 모델은 NOI 프롬프트 노드를 통해서만 예측하면 됩니다.

이렇게 하면 모든 다양한 작업 유형이 통합된 작업 표현을 갖게 됩니다. 구체적인 예는 아래 그림과 같습니다.

마지막으로 그래프 필드에서 상황 내 학습을 실현하기 위해 OFA는 통합 프롬프트 하위 그래프를 도입합니다.

지도 k-way 분류 작업 시나리오에서 이 프롬프트 하위 그래프에는 두 가지 유형의 노드가 포함되어 있습니다. 하나는 위에서 언급한 NOI 프롬프트 노드이고 다른 하나는 k 개의 서로 다른 범주(클래스 노드)를 나타내는 범주 노드입니다.

각 카테고리 노드의 텍스트는 이 카테고리의 관련 정보를 설명합니다.

NOI 프롬프트 노드는 모든 카테고리 노드에 한 방향으로 연결됩니다. 이렇게 구성된 그래프는 메시지 전달 및 학습을 위한 그래프 신경망 모델에 입력됩니다.

마지막으로 OFA는 각 카테고리 노드에 대해 이진 분류 작업을 수행하고 확률이 가장 높은 카테고리 노드를 최종 예측 결과로 가져옵니다.

큐 서브 그래프에 카테고리 정보가 존재하기 때문에 완전히 새로운 분류 문제가 발생하더라도 OFA는 해당 큐 서브 그래프를 구성하여 별도의 미세 조정 없이 직접 예측할 수 있어 제로샷 학습을 달성할 수 있습니다.

Few-shot 학습 시나리오의 경우 분류 작업에는 쿼리 입력 그래프와 여러 지원 입력 그래프가 포함됩니다. OFA의 프롬프트 그래프 패러다임은 각 지원 입력 그래프의 NOI 프롬프트 노드를 해당 카테고리 노드에 연결하는 동시에 쿼리 입력 그래프의 NOI 프롬프트 노드는 모든 카테고리 노드에 연결됩니다.

이후 예측 단계는 위와 일치합니다. 이러한 방식으로 각 카테고리 노드는 지원 입력 그래프로부터 추가 정보를 수신하여 통일된 패러다임 하에서 Few-Shot 학습을 달성합니다.

OFA의 주요 기여는 다음과 같이 요약됩니다.

통합 그래프 데이터 배포: OFA는 텍스트 그래프를 제안하고 LLM을 사용하여 텍스트 정보를 변환함으로써 그래프 데이터의 배포 정렬 및 통합을 달성합니다.

균일한 그래프 작업 형식: OFA는 NOI 하위 그래프와 NOI 프롬프트 노드를 통해 다양한 그래프 필드에서 하위 작업을 통합적으로 표현합니다.

통합 그래프 프롬프트 패러다임: OFA는 새로운 그래프 프롬프트 패러다임을 제안함으로써 그래프 분야에서 다중 시나리오 상황 내 학습을 실현합니다.

슈퍼 일반화 능력

이 기사에서는 수집된 9개 데이터 세트에서 OFA 프레임워크를 테스트했습니다. 이 테스트에서는 노드 예측, 링크 예측 및 그림 분류를 포함하여 지도 학습 시나리오의 10가지 작업을 다루었습니다.

실험의 목적은 여러 작업을 처리하는 단일 OFA 모델의 능력을 검증하는 것입니다. 여기서 저자는 다양한 LLM (OFA-{LLM}) 의 사용과 각 작업에 대한 별도의 모델 교육을 비교합니다. (OFA-ind-{LLM}) 효과.

비교 결과는 다음 표와 같습니다.

OFA의 강력한 일반화 능력을 기반으로 별도의 그래프 모델(OFA-st, OFA-e5, OFA-llama2-7b, OFA)이 있음을 알 수 있습니다. -llama2 -13b)즉, 모든 작업에서 기존의 별도 학습 모델(GCN, GAT, OFA-ind-st)과 유사하거나 더 나은 성능을 가질 수 있습니다.

동시에 더 강력한 LLM을 사용하면 특정 성능 향상을 가져올 수 있습니다. 이 기사에서는 훈련된 OFA 모델을 통해 다양한 작업에 대한 NOI 프롬프트 노드의 표현을 추가로 표시합니다.

모델에 따라 서로 다른 작업이 서로 다른 하위 공간에 내장되어 있으므로 OFA가 서로 영향을 주지 않고 서로 다른 작업을 별도로 학습할 수 있음을 알 수 있습니다.

샘플 수가 적고 샘플이 없는 시나리오에서 OFA는 사전 학습 및 테스트를 위해 ogbn-arxiv(참조 그래프), FB15K237(지식 그래프) 및 Chemble(분자 그래프)에서 단일 모델을 사용합니다. 다양한 다운스트림 작업 및 데이터 세트의 성능. 결과는 다음과 같습니다:

제로 샘플 시나리오에서도 OFA는 여전히 좋은 결과를 얻을 수 있음을 알 수 있습니다. 종합해보면, 실험 결과는 OFA의 강력한 일반 성능과 그래프 분야의 기본 모델로서의 잠재력을 잘 검증합니다.

자세한 연구 내용은 원문을 참고해주세요.

주소: https://www.php.cn/link/dd4729902a3476b2bc9675e3530a852chttps://github.com/LechengKong/OneForAll

위 내용은 그래프 분야 최초의 범용 프레임워크가 여기에 있습니다! ICLR\'24 Spotlight에 선정되어 모든 데이터 세트 및 분류 문제를 해결할 수 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!