Tsinghua Zhu Wenwu 팀: AutoGL-light, 오픈 소스 그래프를 위한 세계 최초의 경량 자동 기계 학습 라이브러리

칭화대학교 Zhu Wenwu 교수팀은 2020년 AutoGL 출시 이후 그래프 변환기 및 그래프 분포 OOD(그래프 분포 외 일반화)에 중점을 두고 그래프 자동 기계 학습의 해석 가능성과 일반화 가능성에서 새로운 진전을 이루었습니다. , 그래프 자기 지도 학습 등을 통해 그래프 신경 아키텍처 검색 및 평가 벤치마크를 발표했으며, 중국의 차세대 오픈 소스 혁신 서비스 플랫폼 GitLink에서 최초의 경량 지능 라이브러리(AutoGL-light)를 출시했습니다.

Intelligence Library Review

그래프는 데이터 간의 관계를 설명하는 일반적인 추상화이며 다양한 연구 분야에서 널리 사용되며 소셜 네트워크 분석, 추천 시스템, 교통 예측 및 기타와 같은 중요한 응용 프로그램이 많이 있습니다. 인터넷 애플리케이션, 신약 발견, 신물질 준비 및 기타 과학 애플리케이션(AI for Science)은 다양한 분야를 포괄합니다. 그래프 머신러닝(Graph Machine Learning)은 최근 몇 년 동안 광범위한 주목을 받았습니다. 다양한 그래프 데이터는 구조, 특성 및 작업이 매우 다양하기 때문에 기존의 수동으로 설계된 그래프 기계 학습 모델에는 다양한 시나리오 및 환경 변화에 맞게 일반화하는 기능이 부족합니다. AutoML on Graphs는 그래프 머신러닝 개발의 최전선에 있으며, 주어진 데이터와 작업에 대한 최적의 그래프 머신러닝 모델을 자동으로 설계하는 것을 목표로 합니다.

그래프의 자동 기계 학습 문제에 대응하여 Tsinghua University의 Zhu Wenwu 교수 팀은 2017년에 계획을 시작하여 2020년에 세계 최초의 그래프 자동 기계 학습을 위한 플랫폼이자 툴킷인 AutoGL을 출시했습니다.

프로젝트 주소: https://github.com/THUMNLab/AutoGL

스마트 라이브러리는 GitHub에서 별 1,000개가 넘는 별을 받았으며, 20개가 넘는 국가와 지역에서 수만 명이 방문했습니다. , GitLink에 게시되었습니다. 스마트 라이브러리에는 주류 그래프 자동 기계 학습 방법을 다루는 완전한 그래프 자동 기계 학습 프로세스 세트가 포함되어 있습니다. Zhitu는 그래프 자동 기계 학습 솔루션인 AutoGL Solver를 통해 그래프에 대한 자동 기계 학습을 그래프 자동 특징 엔지니어링, 그래프 신경 아키텍처 검색(NAS), 그래프 하이퍼파라미터 최적화(HPO), 그래프 모델 훈련, 자동의 5가지 핵심 부분으로 나눕니다. 그래프 모델의 통합. 스마트 라이브러리는 이미 노드 분류, 이종 그래프 노드 분류, 링크 예측, 그래프 분류 등 다양한 유형의 그래프 작업을 지원합니다.

자동 그래프 기계 학습 연구의 새로운 진전

현재 자동 그래프 기계 학습의 해석 가능성과 일반화가 부족한 상황을 고려하여 Zhitu 팀은 그래프 자동 기계 학습 연구에서 일련의 새로운 진전을 이루었습니다.

1. 그래프 분산 일반화(OOD) 아키텍처 검색

그래프 신경 아키텍처 검색이 그래프 데이터 분포의 변화를 처리할 수 없는 문제를 목표로 하는 분리 기반 그래프 신경 아키텍처 검색 방법입니다. 각 그래프 샘플에 대해 적절한 그래프 신경망 아키텍처를 사용자 정의함으로써 데이터 분포 변화를 처리하는 그래프 신경망 아키텍처의 적응성이 효과적으로 향상됩니다. 이 연구는 머신러닝 분야 최고의 국제 컨퍼런스인 ICML 2022에서 발표되었습니다.

논문 주소: https://proceedings.mlr.press/v162/qin22b/qin22b.pdf

2 기존 그래프 신경 아키텍처에 대한 대규모 그래프 아키텍처 검색

검색은 대규모 그래프 문제를 처리할 수 없으며, 중요도 샘플링 및 동료 학습 알고리즘을 통해 아키텍처-하위 그래프 공동 샘플링 메커니즘을 기반으로 하는 슈퍼 네트워크 학습 방법이 제안됩니다. 그래프 신경 아키텍처 검색의 효율성을 향상시키고 단일 기계가 처음으로 수십억 개의 실제 그래프 데이터를 처리할 수 있도록 합니다. 이 연구는 머신러닝 분야 최고의 국제 컨퍼런스인 ICML 2022에서 발표되었습니다.

논문 주소: https://proceedings.mlr.press/v162/guan22d.html

3. 그래프 신경 구조 검색 평가 벤치마크

그래프 신경 아키텍처 검색에 대한 통일된 평가 표준이 부족하고 평가 과정에서 막대한 양의 컴퓨팅 리소스가 소비되는 점을 고려하여 Zhitu 팀은 그래프 신경 아키텍처 검색 벤치마크인 NAS-Bench-Graph를 연구하고 제안했습니다. 신경 아키텍처 검색 벤치마크 테이블 형식 벤치마크. 이 벤치마크는 다양한 그래프 신경 아키텍처 검색 방법을 효율적이고 공정하며 재현 가능하게 비교할 수 있어 그래프 데이터 아키텍처 검색에 대한 벤치마크가 없는 격차를 메울 수 있습니다. NAS-Bench-Graph는 다양한 크기와 유형의 일반적으로 사용되는 9개의 노드 분류 그래프 데이터를 사용하여 26,206개의 다양한 그래프 신경망 아키텍처를 포함하는 검색 공간을 설계하고 완전히 훈련된 모델 효과를 제공합니다. 이는 재현성과 공정한 비교를 보장하면서, 컴퓨팅 리소스가 크게 줄어듭니다. 이 연구는 머신러닝 분야 최고의 국제 컨퍼런스인 NeurIPS 2022에서 발표되었습니다.

프로젝트 주소: https://github.com/THUMNLab/NAS-Bench-Graph

4. 자동 그래프 Transformer

현재 수동으로 디자인한 그래프는 구하기 어렵습니다. Transformer 아키텍처 최적의 예측 성능 문제를 위해 자동 그래프 Transformer 아키텍처 검색 프레임워크를 제안합니다. 통합 그래프 Transformer 검색 공간과 구조 인식 성능 평가 전략을 통해 최적 그래프 Transformer를 설계하는 데 시간이 많이 걸리는 문제를 해결합니다. 최적의 아키텍처를 얻기가 어렵습니다. 이 작업은 기계 학습 분야의 최고 국제 회의인 ICLR 2023에 게시되었습니다.

논문 주소: https://openreview.net/pdf?id=GcM7qfl5zY

5. 강력한 그래프 신경 구조 검색

현재 그래프 신경 구조 검색으로는 대결을 처리할 수 없습니다. 이 문제를 해결하기 위해 검색 공간에 강력한 그래프 연산자를 추가하고 검색 과정에서 견고성 평가 지표를 제안함으로써 적대적인 공격을 견딜 수 있는 그래프 신경 아키텍처 검색 기능이 향상됩니다. 이 작품은 패턴 인식 분야 최고의 국제 학회인 CVPR 2023에서 발표되었습니다.

논문 주소: https://openaccess.thecvf.com/content/CVPR2023/papers/Xie_Adversarially_Robust_Neural_Architecture_Search_for_Graph_Neural_Networks_CVPR_2023_paper.pdf

6 . 그래프 신경구조 검색

기존 그래프 신경구조 검색 훈련 및 검색 아키텍처의 지표로 레이블에 크게 의존하여 레이블이 부족한 시나리오에서 그래프 자동 기계 학습의 적용을 제한합니다. 이 문제에 대응하여 Zhitu 팀은 자기 지도형 그래프 신경 아키텍처 검색 방법을 제안하고, 그래프 데이터 형성을 구동하는 그래프 요소와 최적의 신경 아키텍처 간의 잠재적인 관계를 발견하고, 새로운 분리형 자기 지도 그래프를 채택했습니다. 신경 아키텍처 검색 모델은 레이블이 지정되지 않은 그래프 데이터에서 최적의 아키텍처에 대한 효과적인 검색을 구현합니다. 이 연구는 머신러닝 분야 최고의 컨퍼런스인 NeurIPS 2023에 채택되었습니다.

7. 다중 작업 그래프 신경 아키텍처 검색

기존 그래프 신경 아키텍처 검색이 다양한 작업의 아키텍처 요구 사항 차이를 고려하지 못하는 문제를 고려하여 Zhitu 팀은 첫 번째 제안을 제안했습니다. 다중 작업 그래프 신경망 아키텍처 검색 방법은 다양한 그래프 작업에 대한 최적의 아키텍처를 동시에 설계하고 코스 학습을 사용하여 다양한 작업 간의 협업 관계를 포착함으로써 다양한 그래프 작업에 대한 맞춤형 최적 아키텍처를 효과적으로 구현합니다. 이 연구는 머신러닝 분야 최고의 컨퍼런스인 NeurIPS 2023에 채택되었습니다.

경량 AutoGL-light

위의 연구 진행을 바탕으로 AutoGL-light 팀은 CCF 지정 오픈 소스 플랫폼 GitLink Open에서 세계 최초의 경량 그래프 자동 기계 학습인 AutoGL-light를 출시했습니다. 소스 라이브러리. 전체 아키텍처 다이어그램은 그림 1에 나와 있습니다. 경량 스마트 지도는 주로 다음과 같은 특징을 가지고 있습니다.

그림 1. 경량 스마트 지도 프레임워크 다이어그램

프로젝트 주소: https://gitlink.org.cn/THUMNLab/AutoGL-light

1. 모듈 디커플링

보다 포괄적인 모듈 디커플링 방식을 통해 경량 스마트 그래프를 구현합니다. 다양한 그래프에 대한 자동 기계 학습 파이프라인을 위해 사용자 정의 요구 사항을 충족하기 위해 기계 학습 프로세스의 모든 단계에서 모듈을 자유롭게 추가할 수 있습니다.

2. 자체 맞춤화 기능

경량 싱크 탱크는 사용자 맞춤 그래프 하이퍼파라미터 최적화(HPO) 및 그래프 신경 아키텍처 검색(NAS)을 지원합니다. 그래프 하이퍼파라미터 최적화 모듈에서 Lightweight Intelligent Graph는 다양한 하이퍼파라미터 최적화 알고리즘과 검색 공간을 제공하고, 기본 클래스를 상속하여 사용자가 자신만의 검색 공간을 만들 수 있도록 지원합니다. 그래프 신경 아키텍처 검색 모듈에서는 경량형 스마트 그래프가 일반적이고 가장 진보된 검색 알고리즘을 구현하며, 사용자는 자신의 필요에 따라 검색 공간, 검색 전략, 평가 전략의 모듈 설계를 쉽게 결합하고 사용자 정의할 수 있습니다.

3. 광범위한 응용 분야

경량 스마트 그래프의 응용은 기존의 그래프 기계 학습 작업에 국한되지 않고 더욱 다양한 응용 분야로 확장되었습니다. 현재 경량 스마트 지도는 이미 분자 지도 및 단일 세포 오믹스 데이터와 같은 과학용 AI 애플리케이션을 지원합니다. 앞으로 Lightweight Intelligent Graph는 다양한 분야의 그래프 데이터에 대한 가장 진보된 그래프 자동 기계 학습 솔루션을 제공하기를 희망합니다.

4. GitLink 프로그래밍 여름 캠프

경량 스마트 맵을 기회로 스마트 맵 팀은 CCF 오픈 소스로 개발된 GitLink 프로그래밍 여름 캠프(GLCC)에 깊이 참여했습니다. CCF 중국 컴퓨터 학회 지침 CCF ODC가 주최하는 전국 대학생을 위한 여름 프로그래밍 행사입니다. Zhitu 팀의 두 가지 프로젝트인 "GraphNAS 알고리즘 재생산"과 "그래프 자동 학습 과학 분야의 응용 사례"에는 국내 10개 이상의 대학에서 학부생과 대학원생이 등록했습니다.

여름 캠프 기간 동안 Zhitu 팀은 참여 학생들과 적극적으로 소통했으며 작업 진행은 기대 이상이었습니다. 그 중 GraphNAS 알고리즘 복제 프로젝트는 위에서 언급한 그래프 분포 외부의 일반화된 아키텍처 검색(ICML'22), 대규모 그래프 아키텍처 검색(ICML'22), 자동 그래프 변환기(ICLR'23)를 경량화로 성공적으로 구현했습니다. 지능형 그래프)를 통해 경량 싱크탱크의 유연성과 독립적인 맞춤화 기능을 효과적으로 검증합니다.

그래프 자동 기계학습 과학 분야 응용 프로젝트는 단일 세포 RNA 염기서열 분석을 위한 대표적인 알고리즘인 scGNN과 분자 표현 학습을 위한 대표적인 알고리즘인 MolCLR을 포함하여 그래프 기반의 생물학적 정보 처리 알고리즘을 경량 지능형 그래프에 구현합니다. 분자 구조 예측을 위한 대표 알고리즘인 AutoGNNUQ은 AI for Science에 자동 그래프 머신러닝 기술의 적용을 촉진합니다. GitLink 프로그래밍 여름 캠프에서 경량 지능형 그래프는 알고리즘과 응용 사례를 풍부하게 할 뿐만 아니라 참여 학생들이 오픈 소스 소프트웨어 개발 및 기타 기술을 연습하고 그래프 자동 기계 학습 분야의 인재를 양성하며 우리나라 오픈 소스 개발에 기여할 수 있도록 합니다. 원천 생태학적 건설.

Zhitu 팀은 Tsinghua University 컴퓨터 과학과 Zhu Wenwu 교수가 이끄는 네트워크 및 미디어 연구소 출신입니다. 핵심 구성원으로는 Wang Xin 조교수, 박사후 연구원 Zhang Ziwei, 박사 과정 학생 Li Haoyang, Qin Yijian이 있습니다. , Zhang Zeyang, 석사 학생 Guan Chaoyu 외 10 명 이상. 이 프로젝트는 중국 국립자연과학재단과 과학기술부로부터 강력한 지원을 받았습니다.

위 내용은 Tsinghua Zhu Wenwu 팀: AutoGL-light, 오픈 소스 그래프를 위한 세계 최초의 경량 자동 기계 학습 라이브러리의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!