ICLR 2024 Oral | 시간에 따라 변화하는 분포 변화를 처리하기 위해 University of Western Ontario 등에서는 학습 시계열 궤적 방법을 제안했습니다.

AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

저자 Zeng Qiulin은 하얼빈 공과 대학을 졸업하고 싱가포르 국립 대학교에서 석사 학위를 받았습니다. 박사 과정 동안 Wang Bo 교수와 Ling Xiaofeng 학자의 지도 하에 그는 주로 무작위 시간 변화 분포에 대한 이론적 입증, 방법 및 응용 연구를 수행했습니다. 현재 그는 ICLR/AAAI/IEEE TNNLS에 많은 학술 논문을 발표했습니다.

개인 홈페이지: https://hardworkingpearl.github.io/

실제 기계 학습 애플리케이션에서는 시간에 따른 배포 변화가 일반적인 문제입니다. 이러한 상황은 EDG(Time-Varying Domain Generalization)로 구성됩니다. 여기서 목표는 도메인 전반에 걸쳐 기본 진화 패턴을 학습하고 이러한 패턴을 활용함으로써 모델이 시변 시스템에서 보이지 않는 대상 도메인에 잘 일반화될 수 있도록 하는 것입니다. 그러나 EDG 데이터 세트의 타임스탬프 수가 제한되어 있기 때문에 기존 방법은 진화하는 역학을 포착하고 희박한 타임스탬프에 대한 과적합을 방지하는 데 어려움을 겪습니다. 이로 인해 일반화 및 새로운 작업에 대한 적응성이 제한됩니다.

이 문제를 해결하기 위해 우리는 과적합 문제를 극복하기 위해 지속적으로 샘플을 보간하여 데이터 분포의 무한 분할 그리드 진화 궤적(IFGET)을 수집하는 새로운 방법 SDE-EDG를 제안합니다. 또한 연속 궤적을 캡처하는 확률론적 미분 방정식(SDE)의 고유한 기능을 활용하여 최대 우도 추정을 통해 SDE로 모델링한 궤적과 IFGET의 궤적을 정렬하여 분포 진화 추세를 캡처할 것을 제안합니다.

• 논문 제목: 시간에 따른 분포 변화 하에서 제한된 타임스탬프에 대한 잠재 궤적 학습

• 논문 링크: https://openreview.net/pdf?id=bTMMNT7IdW

• 프로젝트 링크: https: //github.com/HardworkingPearl/SDE-EDG-iclr2024

Method

Core Idea

이 문제를 극복하기 위해 SDE-EDG는 무한 세그먼트를 구축하여 새로운 접근 방식을 제안합니다. Infinitely Fined-Grid Evolving Trajectory (IFGET)은 타임스탬프 사이의 간격을 메우기 위해 잠재 표현 공간에 연속 보간된 샘플을 생성합니다. 또한 SDE-EDG는 SDE(확률적 미분 방정식)의 고유한 기능을 활용하여 연속 궤적 역학을 캡처하고 경로 정렬 정규화를 통해 SDE 모델링 궤적을 IFGET와 정렬하여 진화하는 분포 추세의 도메인 간 캡처를 달성합니다.

방법 세부 정보

1. IFGET 구성:

먼저 SDE-EDG는 잠재 표현 공간의 각 샘플에 대해 샘플 간 대응을 설정하고 각 개별 샘플의 진화 궤적을 수집합니다. 시간 에 있는 각 카테고리 k의 샘플 에 대해 시간 의 특징 공간에서 가장 가까운 을 검색하고 에서 해당 샘플을 검색합니다.

여기 는 두 벡터 사이의 거리 계산이고, 는 다음 필드 에서 샘플링된 샘플 세트입니다.

이 대응은 타임스탬프 간격 사이의 시간 간격을 연결하고 희소 타임스탬프에 대한 과적합을 방지하기 위해 연속 보간된 샘플을 생성하는 데 활용됩니다.

여기베타 배포판에서 샘플링되었습니다. 위의 방법으로 생성된 샘플의 타이밍 추적을 수집하여 IFGET을 얻습니다.

2. SDE를 사용한 모델 궤적:

SDE-EDG는 잠재 공간에서 데이터의 연속 시간 궤적을 모델링하기 위해 신경 SDE를 채택합니다. 기존의 이산 타임스탬프 기반 모델과 달리 SDE는 당연히 연속 시간 궤적을 시뮬레이션하는 데 적합합니다. SDE-EDG는 시계열 궤적을 모델링하고 시간 의 샘플을 통해 미래의 샘플을 예측할 수 있습니다.

여기서 특징 공간 변수 는 시간 의 샘플에서 예측됩니다. 는 드리프트 함수이고 는 다음과 같습니다. 확산 기능.

3. 경로 정렬 및 최대 우도 추정:

SDE-EDG는 IFGET의 우도 추정을 최대화하여 모델을 학습합니다.

최종 학습 함수는 이며 첫 번째 항은 예측 분류 작업 오류 손실입니다. 기능 .

4. 실험

• 다음 표는 여러 데이터 세트에 대한 SDE-EDG와 기타 기준 방법 간의 분류 정확도를 비교한 것입니다. 이러한 데이터 세트에는 Rotated Gaussian(RG), Circle(Cir), Rotated MNIST(RM), Portraits(Por), Caltran(Cal), PowerSupply(PS) 및 안구 질환(OD)이 포함됩니다. 결과는 SDE-EDG가 모든 데이터 세트에서 평균적으로 다른 방법보다 성능이 우수하다는 것을 보여줍니다.

• 아래 그림은 SDE-EDG 알고리즘(왼쪽)과 기존 DG 방법 IRM(오른쪽) 간의 특징 표현의 차이를 보여주는 직관적인 비교를 제공합니다. 데이터 특징 공간의 시각화를 통해 SDE-EDG가 학습한 특징 표현에는 명확한 결정 경계가 있음을 관찰할 수 있습니다. 즉, 서로 다른 카테고리의 데이터 포인트가 명확하게 구별되고 서로 다른 모양으로 표시되며, 서로 다른 도메인의 데이터는 다음과 같이 표시됩니다. 레인보우 바. 이는 SDE-EDG가 시간이 지남에 따라 데이터 진화의 역학을 성공적으로 포착하고 기능 공간에서 클래스의 분리성을 유지할 수 있음을 보여줍니다. 대조적으로, IRM의 특징 표현은 데이터 포인트를 단일 방향으로 축소하는 경향이 있어 결정 경계가 불분명해지며, 이는 시간에 따라 변하는 분포 추세를 포착하는 데 IRM이 부적절함을 반영합니다.

• 다음 그림은 일련의 하위 그림을 통해 시간 경과에 따른 데이터 변화를 캡처하는 기능에서 SDE-EDG 알고리즘의 장점을 심층적으로 보여줍니다. 하위 그림(a)는 사인 데이터세트의 실제 레이블 분포를 제공합니다. 여기서 긍정적인 예와 부정적인 예는 서로 다른 색상의 점으로 표시되어 후속 비교를 위한 기준을 제공합니다. 다음으로, 하위 그림 (b)와 (c)는 각각 동일한 데이터 세트에 대한 ERM 및 SDE-EDG 알고리즘을 기반으로 한 기존 방법의 예측 결과를 보여줍니다. 비교를 통해 SDE-EDG의 명백한 이점을 확인할 수 있습니다. 데이터 진화 패턴. 하위 그림 (d)와 (e)는 SDE-EDG에 의해 학습된 진화 경로를 추가로 보여줍니다. 여기서 (d)는 경로 정렬 손실(최대 우도 손실 함수)을 적용한 후의 경로를 보여주고, (e)는 없는 경로를 보여줍니다. 이 손실을 적용합니다. 이 비교를 통해 모델이 시간에 따른 데이터 변경 사항을 올바르게 캡처하고 특성화할 수 있도록 보장하는 데 있어 경로 정렬 손실의 중요성을 직관적으로 확인할 수 있습니다.

• 다음 하위 그래프 (a)는 Portraits 데이터 세트에 대한 교육을 위해 다양한 알고리즘을 사용할 때의 정확도 수렴 궤적을 보여줍니다. 이 하위 그림은 훈련 중에 SDE-EDG 알고리즘의 성능이 다른 기본 방법(예: ERM, MLDG, GI)과 어떻게 변경되는지 비교할 수 있는 직관적인 관점을 제공합니다. 시간에 따른 훈련 정확도의 증가 추세를 관찰함으로써 다양한 알고리즘의 학습 능력과 수렴 속도를 평가할 수 있습니다. SDE-EDG 알고리즘의 수렴 궤적은 진화하는 데이터 분포에 적응하는 데 있어 알고리즘의 효율성과 안정성을 보여주기 때문에 특히 중요합니다.

  다음 하위 그림 (b)와 (c)는 각각 RMNIST 및 Circle 데이터 세트를 보여줍니다. 이러한 데이터 세트에 대한 SDE-EDG 알고리즘의 성능은 A가 높은 경우에도 시간에 따라 변하는 분포를 처리하는 데 있어 우수함을 보여줍니다. 더 긴 시간 범위의 대상 도메인에 대해서도 정확도가 유지될 수 있습니다. 이는 데이터 진화 패턴을 캡처하고 적응하는 데 있어 SDE-EDG 알고리즘의 강력한 능력을 보여줍니다.

  다음 하위 그림 (d)와 (e)는 RMNIST 및 PowerSupply 데이터 세트에서 SDE-EDG 성능에 대한 최대 가능성 손실의 영향을 살펴봅니다. 정규화 가중치 α의 값을 변경함으로써 이 두 하위 플롯은 다양한 α 설정이 모델 성능에 미치는 구체적인 영향을 보여줍니다. 실험 결과에 따르면 적절한 α 값은 특정 데이터 세트에서 SDE-EDG의 성능을 크게 향상시킬 수 있으며, 이는 실제 응용 프로그램에서 데이터 세트 특성 및 작업 요구 사항에 따라 하이퍼 매개 변수를 조정하는 것이 중요함을 강조합니다.

결론

논문의 저자는 EDG(Time-Varying Domain Generalization) 문제를 모델링하기 위한 새로운 SDE-EDG 방법을 제안했습니다. 이 방법에는 샘플 간 대응을 식별하고 연속 보간 샘플을 생성하여 IFGET을 구성하는 작업이 포함됩니다. 그 후, 저자는 확률론적 미분 방정식(SDE)을 사용하여 훈련을 위해 IFGET과 정렬했습니다. 이 기사의 기여는 개인의 시간 궤적을 수집하고 시간 간격 사이를 보간하여 제한된 수의 소스 타임스탬프 문제를 완화함으로써 진화 패턴을 캡처하는 것의 중요성을 밝히는 것입니다. 이를 통해 SDE-EDG가 제한된 수를 갖는 것을 효과적으로 방지할 수 있습니다. 타임스탬프의 과적합.

위 내용은 ICLR 2024 Oral | 시간에 따라 변화하는 분포 변화를 처리하기 위해 University of Western Ontario 등에서는 학습 시계열 궤적 방법을 제안했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!