찾다
기술 주변기기일체 포함새로운 SOTA를 달성하기 위해 언어 모델, 그래프 신경망 및 텍스트 그래프 교육 프레임워크 GLEM을 효과적으로 통합합니다.

새로운 SOTA를 달성하기 위해 언어 모델, 그래프 신경망 및 텍스트 그래프 교육 프레임워크 GLEM을 효과적으로 통합합니다.

  • 주요 단위: 몬트리올 알고리즘 학습 인공 지능 연구소(Mila), Microsoft Research Asia 등
  • 논문 주소: https://arxiv.org/abs/2210.14709
  • 코드 주소: https://github.com/andyjzhao/glem

소개

새로운 SOTA를 달성하기 위해 언어 모델, 그래프 신경망 및 텍스트 그래프 교육 프레임워크 GLEM을 효과적으로 통합합니다.

그림 1: (a) 텍스트 그래프 (b) 그래프 신경망 (c) 언어 모델

그래프는 노드 간의 구조적 관계를 모델링하는 보편적인 데이터 구조입니다. 실제 생활에서는 많은 노드에 서식 있는 텍스트 기능이 포함되어 있으며 이 그래프를 텍스트 속성 그래프라고 합니다[2]. 예를 들어, 논문 인용 네트워크에는 논문의 텍스트와 논문 간의 인용 관계가 포함되어 있으며, 소셜 네트워크에는 사용자의 텍스트 설명과 사용자의 직접적인 상호 작용 관계가 포함되어 있습니다. 텍스트 그래프의 표현 학습 모델은 노드 분류, 링크 예측 등의 작업에 적용할 수 있으며 활용 가치가 넓습니다.

텍스트 그래프에는 노드의 텍스트 정보와 노드 간의 그래프 구조 정보라는 두 가지 정보 측면이 포함됩니다. 전통적인 텍스트 그래프의 모델링은 텍스트 모델링과 그래프 모델링이라는 두 가지 관점으로 나눌 수 있습니다. 그 중 텍스트 모델링 방법(그림 1.b 참조)은 일반적으로 Transformer 기반 언어 모델(LM)을 사용하여 단일 노드의 텍스트 표현을 얻고 대상 작업을 예측하는 그래프 모델링 방법입니다. 그림 1.c)에서 그래프 신경망(GNN)은 일반적으로 노드 기능 간의 상호 작용을 모델링하고 메시지 전파 메커니즘을 통해 대상 작업을 예측하는 데 사용됩니다.

그러나 두 모델은 각각 텍스트 그래프의 텍스트 및 그래프 구조만 모델링할 수 있습니다. 기존 언어 모델은 구조 정보를 직접 고려할 수 없으며 그래프 신경망은 원본 텍스트 정보를 직접 모델링할 수 없습니다. 텍스트와 그래프 구조를 동시에 모델링하기 위해 연구자들은 언어 모델과 그래프 신경망을 통합하고 두 모델의 매개변수를 동시에 업데이트하려고 합니다. 그러나 기존 연구[2, 3]는 동시에 많은 수의 이웃 텍스트를 모델링할 수 없고 확장성이 좋지 않으며 큰 텍스트 그래프에 적용할 수 없습니다.

GLEM 프레임워크

그래프 신경망과 언어 모델을 보다 효과적으로 통합하기 위해 이 기사에서는 Expectation Maximization(GLEM) 프레임워크를 통해 Graph 및 Language 학습을 제안합니다. . GLEM 프레임워크는 Variational Expect maximum 알고리즘(Variational EM)을 기반으로 그래프 신경망과 언어 모델을 교대로 학습하므로 좋은 확장성을 달성합니다.

새로운 SOTA를 달성하기 위해 언어 모델, 그래프 신경망 및 텍스트 그래프 교육 프레임워크 GLEM을 효과적으로 통합합니다.

그림 2: GLEM 프레임워크

구체적으로 노드 분류 작업을 예로 들면 E 단계에서 GLEM은 실제 레이블과 의사 레이블을 기반으로 학습됩니다. 그래프 신경망 언어 모델 ; M 단계 에서 GLEM은 언어 모델에서 예측한 실제 레이블과 의사 레이블 을 기반으로 그래프 신경망 을 훈련합니다. 이러한 방식으로 GLEM 프레임워크는 로컬 텍스트 정보와 전역 구조 상호 작용 정보를 효과적으로 마이닝합니다. GLEM 프레임워크를 통해 훈련된 그래프 신경망(GLEM-GNN)과 언어 모델(GLEM-LM)을 모두 사용하여 노드 레이블을 예측할 수 있습니다.

실험

논문의 실험 부분에서는 주로 다음 측면에서 GLEM 프레임워크를 논의합니다.

  • 효과: GLEM 모델은 그래프 신경망과 언어 모델을 효과적으로 통합하여 두 모델을 크게 향상시킬 수 있습니다. GLEM 프레임워크는 OGB의 세 가지 텍스트 그래프 노드 분류 작업에서 1위를 차지했습니다.
  • 확장성: GLEM 프레임워크는 그래프 신경망과 언어 모델을 교대로 훈련함으로써 대규모 언어 모델과 심층 GNN을 동시에 훈련할 수 있습니다.
  • 구조 없는 귀납적 추론 능력: 기존 GNN 모델은 그래프 구조가 없는 새로운 노드에 직면할 때 제대로 작동하지 않습니다. 반면 GLEM-LM은 그래프 구조 없이 텍스트 특징만 사용하여 효율적인 추론을 가능하게 합니다.
  • 모델 수렴: GLEM은 EM 반복 알고리즘을 사용하며 일부 데이터 세트에서 한 번의 EM 반복으로 수렴할 수 있습니다.

새로운 SOTA를 달성하기 위해 언어 모델, 그래프 신경망 및 텍스트 그래프 교육 프레임워크 GLEM을 효과적으로 통합합니다.

그림 3: GLEM 프레임워크가 OGBN-arxiv, products, papers100M 데이터 세트에서 1위를 차지함

위 내용은 새로운 SOTA를 달성하기 위해 언어 모델, 그래프 신경망 및 텍스트 그래프 교육 프레임워크 GLEM을 효과적으로 통합합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 51CTO.COM에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
요리 혁신 요리 : 인공 지능이 식품 서비스를 변화시키는 방법요리 혁신 요리 : 인공 지능이 식품 서비스를 변화시키는 방법Apr 12, 2025 pm 12:09 PM

AI 식품 준비 여전히 초기 사용 중이지만 AI 시스템은 음식 준비에 점점 더 많이 사용되고 있습니다. AI 구동 로봇은 부엌에서 햄버거를 뒤집기, 피자 만들기 또는 SA 조립과 같은 음식 준비 작업을 자동화하는 데 사용됩니다

파이썬 네임 스페이스 및 가변 범위에 대한 포괄적 인 안내서파이썬 네임 스페이스 및 가변 범위에 대한 포괄적 인 안내서Apr 12, 2025 pm 12:00 PM

소개 파이썬 기능에서 변수의 네임 스페이스, 범위 및 동작을 이해하는 것은 효율적으로 작성하고 런타임 오류 또는 예외를 피하는 데 중요합니다. 이 기사에서는 다양한 ASP를 탐구 할 것입니다

비전 언어 모델 (VLMS)에 대한 포괄적 인 안내서비전 언어 모델 (VLMS)에 대한 포괄적 인 안내서Apr 12, 2025 am 11:58 AM

소개 생생한 그림과 조각으로 둘러싸인 아트 갤러리를 걷는 것을 상상해보십시오. 이제 각 작품에 질문을하고 의미있는 대답을 얻을 수 있다면 어떨까요? “어떤 이야기를하고 있습니까?

Mediatek은 Kompanio Ultra 및 Dimensity 9400으로 프리미엄 라인업을 향상시킵니다.Mediatek은 Kompanio Ultra 및 Dimensity 9400으로 프리미엄 라인업을 향상시킵니다.Apr 12, 2025 am 11:52 AM

제품 케이던스를 계속하면서 이번 달 Mediatek은 새로운 Kompanio Ultra and Dimensity 9400을 포함한 일련의 발표를했습니다. 이 제품은 스마트 폰 용 칩을 포함하여 Mediatek 비즈니스의 전통적인 부분을 채우고 있습니다.

이번 주 AI : Walmart는 패션 트렌드를 설정하기 전에 패션 트렌드를 설정합니다.이번 주 AI : Walmart는 패션 트렌드를 설정하기 전에 패션 트렌드를 설정합니다.Apr 12, 2025 am 11:51 AM

#1 Google은 Agent2agent를 시작했습니다 이야기 : 월요일 아침입니다. AI 기반 채용 담당자로서 당신은 더 똑똑하지 않고 더 똑똑하지 않습니다. 휴대 전화에서 회사의 대시 보드에 로그인합니다. 세 가지 중요한 역할이 공급되고, 검증되며, 예정된 FO가 있음을 알려줍니다.

생성 AI는 사이코브블을 만난다생성 AI는 사이코브블을 만난다Apr 12, 2025 am 11:50 AM

나는 당신이되어야한다고 생각합니다. 우리 모두는 Psychobabble이 다양한 심리적 용어를 혼합하고 종종 이해할 수 없거나 완전히 무의미한 모듬 채터로 구성되어 있다는 것을 알고 있습니다. 당신이 fo를 뿌리기 위해해야 ​​할 일

프로토 타입 : 과학자들은 종이를 플라스틱으로 바꿉니다프로토 타입 : 과학자들은 종이를 플라스틱으로 바꿉니다Apr 12, 2025 am 11:49 AM

이번 주 발표 된 새로운 연구에 따르면 2022 년에 제조 된 플라스틱의 9.5%만이 재활용 재료로 만들어졌습니다. 한편, 플라스틱은 계속해서 매립지와 생태계에 전 세계에 쌓이고 있습니다. 그러나 도움이 진행 중입니다. 엥인 팀

AI 분석가의 부상 : AI 혁명에서 이것이 가장 중요한 일이 될 수있는 이유AI 분석가의 부상 : AI 혁명에서 이것이 가장 중요한 일이 될 수있는 이유Apr 12, 2025 am 11:41 AM

최근 Enterprise Analytics 플랫폼 Alteryx의 CEO 인 Andy MacMillan과의 대화는 AI 혁명 에서이 비판적이면서도 저평가 된 역할을 강조했습니다. MacMillan에서 설명했듯이 원시 비즈니스 데이터와 AI-Ready Informat의 격차

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

인기 기사

R.E.P.O. 에너지 결정과 그들이하는 일 (노란색 크리스탈)
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 최고의 그래픽 설정
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 아무도들을 수없는 경우 오디오를 수정하는 방법
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25 : Myrise에서 모든 것을 잠금 해제하는 방법
4 몇 주 전By尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

WebStorm Mac 버전

WebStorm Mac 버전

유용한 JavaScript 개발 도구

맨티스BT

맨티스BT

Mantis는 제품 결함 추적을 돕기 위해 설계된 배포하기 쉬운 웹 기반 결함 추적 도구입니다. PHP, MySQL 및 웹 서버가 필요합니다. 데모 및 호스팅 서비스를 확인해 보세요.

SublimeText3 Linux 새 버전

SublimeText3 Linux 새 버전

SublimeText3 Linux 최신 버전

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기