'데이터 부족' 문제에 대한 기발한 솔루션! Tsinghua 오픈 소스 GPD: 확산 모델을 사용하여 신경망 매개변수 생성

전통적인 시공간 예측 모델은 일반적으로 좋은 결과를 얻기 위해 많은 양의 데이터 지원이 필요합니다.

그러나 도시별 개발 수준 차이와 일관되지 않은 데이터 수집 정책으로 인해 많은 지역의 시공간 데이터(예: 교통 및 군중 흐름 데이터)가 제한됩니다. 따라서 모델 전송 가능성은 데이터가 부족할 때 특히 중요합니다.

현재 연구에서는 모델을 훈련하고 이를 대상 도시의 데이터에 적용하기 위해 주로 소스 도시의 데이터에 의존하지만, 이 접근 방식에는 복잡한 매칭 설계가 필요한 경우가 많습니다. 소스 도시와 대상 도시 간의 광범위한 지식 이전을 달성하는 방법은 여전히 ​​어려운 문제로 남아 있습니다.

최근 사전 훈련된 모델은 자연어 처리 및 컴퓨터 비전 분야에서 상당한 발전을 이루었습니다. 신속한 기술의 도입으로 미세 조정과 사전 훈련 간의 격차가 줄어들어 사전 훈련된 고급 모델이 새로운 작업에 더 빠르게 적응할 수 있습니다. 이 방법의 장점은 지루한 미세 조정에 대한 의존도를 줄이고 모델의 효율성과 유연성을 향상시킨다는 것입니다. 신속한 기술을 통해 모델은 사용자 요구를 더 잘 이해하고 더 정확한 출력을 생성하여 사람들에게 더 나은 경험과 서비스를 제공할 수 있습니다. 이러한 혁신적인 접근 방식은 인공지능 기술의 발전을 주도하여 다양한 산업에 더 많은 가능성과 기회를 제공하고 있습니다.

Pictures

논문 링크: https://openreview.net/forum?id=QyFm3D3Tzi

오픈 소스 코드 및 데이터: https://www.php.cn/link/6644cb08d30b2ca55c284344a9750c2e

La 테스트 출판 ICLR2024 칭화대학교 전자공학과 도시과학컴퓨팅연구센터의 '확산 신경망 생성을 통한 시공간 Few-Shot 학습' 결과에서 GPD(Generative Pre-Trained Diffusion) 모델을 도입해 공간 구현에 성공했습니다. 희소 데이터 시나리오 연구의 시간적 학습.

이 방법은 생성 신경망의 매개변수를 활용하여 시공간 희소 데이터 학습을 확산 모델에 대한 생성적 사전 훈련 문제로 변환합니다. 기존 방법과 달리 이 방법은 더 이상 전송 가능한 특징을 추출하거나 복잡한 패턴 일치 전략을 설계할 필요가 없으며 소수 장면 시나리오에 대한 좋은 모델 초기화를 학습할 필요도 없습니다.

대신 이 방법은 소스 도시의 데이터에 대한 사전 학습을 통해 신경망 매개변수 최적화에 대한 지식을 학습한 후 프롬프트를 기반으로 대상 도시에 적합한 신경망 모델을 생성합니다.

이 방법의 혁신은 "프롬프트"를 기반으로 맞춤형 신경망을 생성하고, 도시 간 데이터 분포 및 특성의 차이에 효과적으로 적응하며, 독창적인 시공간적 지식 전달을 달성할 수 있다는 것입니다.

이 연구는 도시 컴퓨팅의 데이터 부족 문제를 해결하기 위한 새로운 아이디어를 제공합니다. 논문의 데이터와 코드는 오픈 소스입니다.

데이터 분포에서 신경망 매개변수 분포로

그림 1: 데이터 패턴 수준 지식 전달 vs. 신경망 수준 지식 전달

그림 1(a)에서 볼 수 있듯이 전통적 지식 전달 방법은 일반적으로 source 도시 데이터에 대한 모델을 학습한 후 대상 도시에 적용합니다. 그러나 도시 간 데이터 분포에 상당한 차이가 있을 수 있으며, 이로 인해 원본 도시 모델이 직접 마이그레이션되어 대상 도시의 데이터 분포와 잘 맞지 않을 수 있습니다.

따라서 우리는 지저분한 데이터 배포에 대한 의존성을 없애고 지식을 공유하는 보다 본질적이고 전달 가능한 방법을 모색해야 합니다. 데이터 분포와 비교하여 신경망 매개변수의 분포는 더 "고차" 특성을 갖습니다.

그림 1은 데이터 패턴 수준에서 신경망 수준의 지식 전달로의 변환 과정을 보여줍니다. 소스 도시의 데이터에 대해 신경망을 학습시키고 이를 대상 도시에 적합한 신경망 매개변수를 생성하는 과정으로 변환함으로써 대상 도시의 데이터 분포 및 특성을 더 잘 적응할 수 있습니다.

사전 훈련 + 신속한 미세 조정: 시공간 소수 학습 달성

그림 2 GPD 모델 개요

그림 2에서 볼 수 있듯이 본 연구에서 제안하는 GPD는 조건부 생성 프레임워크입니다. 소스 도시에서 직접 데이터를 생성하도록 설계되었습니다. 모델 매개변수로부터 학습하고 대상 도시에 대한 새로운 모델 매개변수를 생성합니다. 이 방법에는 세 가지 주요 단계가 포함됩니다.

1. 신경망 준비 단계: 먼저, 각 소스 도시 지역에 대해 연구는 시공간 예측 모델을 분리하고 최적화된 네트워크 매개변수를 저장합니다. 각 지역의 모델 매개변수는 매개변수 공유 없이 독립적으로 최적화되어 모델이 해당 지역의 특성에 가장 잘 적응할 수 있도록 합니다.

2. 확산 모델 사전 학습: 이 프레임워크는 수집된 사전 학습된 모델 매개변수를 학습 데이터로 사용하여 확산 모델을 학습하여 모델 매개변수 생성 과정을 학습합니다. 확산 모델은 무작위 초기화부터 시작하는 매개변수 최적화 과정과 유사한 과정인 단계적 노이즈 제거를 통해 매개변수를 생성하므로 대상 도시의 데이터 분포에 더 잘 적응할 수 있습니다.

3. 신경망 매개변수 생성: 사전 훈련 후 대상 도시의 지역 큐를 사용하여 매개변수를 생성할 수 있습니다. 이 접근 방식은 힌트를 활용하여 지식 전달과 정확한 매개변수 일치를 촉진하고 도시 간 지역 간의 유사성을 최대한 활용합니다.

사전 훈련 큐 미세 조정의 프레임워크에서 특정 영역의 특성을 포착할 수 있는 한 큐 선택이 매우 유연하다는 점은 주목할 가치가 있습니다. 예를 들어 인구, 지역적 면적, 기능, 관심 지점(POI) 분포와 같은 다양한 정적 기능을 사용하여 이러한 목적을 달성할 수 있습니다.

이 작업은 공간적 측면과 시간적 측면 모두에서 지역적 단서를 활용합니다. 공간적 단서는 모든 도시에서 공통적으로 발생하는 지역적 인접성 및 기능적 유사성과 같은 관계만 활용하는 도시 지식 그래프의 노드 표현에서 나옵니다[1,2]. 시간적 단서는 자기 지도 학습 모델의 인코더에서 나옵니다. 프롬프트 디자인에 대한 자세한 내용은 원본 기사를 참조하세요.

또한, 본 연구에서는 다양한 큐 도입 방법을 탐색했으며, 실험을 통해 사전 지식을 기반으로 한 큐 도입이 최적의 성능을 가지고 있음을 확인했습니다. 시간 신경망 네트워크 매개변수 생성을 안내합니다.

실험 결과

팀은 다른 연구자들이 결과를 재현할 수 있도록 실험 설정을 논문에 자세히 설명했습니다. 그들은 또한 원본 논문과 오픈 소스 데이터 코드를 제공했으며, 여기서는 그 실험 결과에 초점을 맞췄습니다.

제안된 프레임워크의 효율성을 평가하기 위해 이 연구에서는 두 가지 유형의 고전적인 시공간 예측 작업인 군중 흐름 예측과 교통 속도 예측에 대한 실험을 수행했으며 여러 도시 데이터 세트를 포괄했습니다.

Pictures

표 1은 4개 데이터세트에 대한 최첨단 기준 방법과의 비교 결과를 보여줍니다. 이러한 결과를 바탕으로 다음과 같은 관찰이 가능합니다.

1) GPD는 기준 모델에 비해 상당한 성능 이점을 보여주고 다양한 데이터 시나리오에서 지속적으로 뛰어난 성능을 보여줍니다. 이는 GPD가 신경망 매개변수 수준에서 효과적인 지식 전달을 달성한다는 것을 보여줍니다.

2) GPD는 장기 예측 시나리오에서 좋은 성능을 발휘합니다. 이러한 중요한 추세는 프레임워크의 보다 필수적인 지식 마이닝에 기인할 수 있으며, 이는 장기 시공간 패턴 지식을 대상 도시로 전송하는 데 도움이 됩니다.

그림 3 다양한 시공간 예측 모델의 성능 비교

또한 이 연구에서는 다양한 시공간 예측 모델을 적용하기 위한 GPD 프레임워크의 유연성도 검증했습니다. 이 연구에서는 고전적인 시공간 그래프 방법 STGCN 외에도 GWN 및 STID를 시공간 예측 모델로 도입하고 확산 모델을 사용하여 네트워크 매개변수를 생성합니다.

실험 결과에 따르면 프레임워크의 우수성은 모델 선택에 영향을 받지 않으므로 다양한 고급 모델에 적용할 수 있습니다.

또한 연구에서는 두 개의 합성 데이터 세트에 대한 패턴 유사성을 조작하여 사례 분석을 수행합니다.

그림 4에서는 A 지역과 B 지역이 매우 유사한 시계열 패턴을 보이는 반면 C 지역은 상당히 다른 패턴을 나타냅니다. 한편 그림 5에서는 노드 A와 B가 대칭적인 공간 위치를 갖고 있음을 보여줍니다.

따라서 A지역과 B지역은 매우 유사한 시공간적 패턴을 갖고 있는 반면, C지역에서는 뚜렷한 차이가 있음을 추론할 수 있습니다. 모델에 의해 생성된 신경망 매개변수 분포 결과는 A와 B의 매개변수 분포가 유사하지만 C의 매개변수 분포와 크게 다른 것을 보여줍니다. 이는 다양한 시공간 패턴을 사용하여 신경망 매개변수를 효과적으로 생성하는 GPD 프레임워크의 능력을 더욱 검증합니다.

그림 4 다양한 지역의 시계열 및 신경망 매개변수 분포 시각화

그림 5 시뮬레이션 데이터 세트의 지역 공간 연결 관계

참고:

https://www.php.cn / link/6644cb08d30b2ca55c284344a9750c2e

[1] Liu, Yu, et al. "Urbankg: 지능형 시스템 및 기술에 대한 ACM 거래 14.4(2023): 1-25.

[2] Zhou, Zhilun, et al. "위치 기반 소셜 네트워크에서 계층적 지식 그래프 학습을 통해 사회 경제적 지표 예측이 가능해졌습니다." ACM 웹 컨퍼런스 2023.

위 내용은 '데이터 부족' 문제에 대한 기발한 솔루션! Tsinghua 오픈 소스 GPD: 확산 모델을 사용하여 신경망 매개변수 생성의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!