시계열 예측 + NLP 대규모 모델에 대한 새로운 작업: 시계열 예측을 위한 암시적 프롬프트 자동 생성

오늘 저는 시계열 예측 효과를 개선하기 위해 잠재 공간에서 시계열 데이터를 대규모 자연어 처리(NLP) 모델과 정렬하는 방법을 제안하는 코네티컷 대학교의 최근 연구 결과를 공유하고 싶습니다. 이 방법의 핵심은 잠재 공간 힌트(프롬프트)를 사용하여 시계열 예측의 정확성을 높이는 것입니다.

논문 제목: S2IP-LLM: 시계열 예측을 위한 LLM을 사용한 시맨틱 공간 정보 프롬프트 학습

다운로드 주소: https://www.php.cn/link/3695d85c350d924e662ea2cd3b760d40

1. 문제 배경

대형 모델은 시계열에서 점점 더 많이 사용되고 있으며 주로 두 가지 범주로 나뉩니다. 첫 번째 범주는 다양한 시계열 데이터를 사용하여 시계열 필드에서 자체 대형 모델을 훈련하고, 두 번째 범주는 NLP 분야에서 훈련된 텍스트를 직접 사용합니다. 모델은 시계열에 적용됩니다. 시계열은 이미지, 텍스트와 다르기 때문에 데이터 세트마다 입력 형식과 분포가 다르고 분포 이동 등의 문제가 있어 모든 시계열 데이터를 사용하여 통일된 모델을 학습시키기가 어렵습니다. 따라서 시계열 관련 문제를 해결하기 위해 NLP 대형 모델을 직접 사용하려는 노력이 점점 더 많아지기 시작했습니다.

이 기사에서는 시계열 문제를 해결하는 두 번째 방법인 NLP 대형 모델을 사용하는 방법에도 중점을 둡니다. 현재 관행에서는 시계열에 대한 설명을 단서로 사용하는 경우가 많지만 모든 시계열 데이터세트에 이 정보가 포함되어 있는 것은 아닙니다. 또한, 패치 기반 시계열 데이터 처리 방식으로는 시계열 데이터의 모든 정보를 완벽하게 유지할 수 없다.

위의 문제를 바탕으로 이 기사에서는 핵심 모델링 아이디어인 새로운 모델링 방법을 제안합니다. 한편으로는 시계열을 토큰화 처리 후 임베딩에 매핑하고, 다른 한편으로는 이러한 시계열 공간의 표현은 다음과 같습니다. 모델의 단어 임베딩에 대해 크게 정렬되었습니다. 이와 같이 시계열 예측 과정에서 정렬된 단어 임베딩과 관련된 정보를 프롬프트로 찾아 예측 효과를 향상시킬 수 있습니다.

Pictures

2. 구현 방법

다음은 데이터 처리, 잠재 공간 정렬, 모델 세부 사항이라는 세 가지 측면에서 본 작업의 구현 방법을 소개합니다.

데이터 처리: 시계열의 분포 이동 등의 문제로 인해 이 기사에서는 입력 계열에 대한 트렌드 항목과 계절 항목의 1단계 분해를 수행합니다. 분해된 각 시계열은 개별적으로 표준화된 후 중첩되는 패치로 나뉩니다. 각 패치 세트는 추세 용어 패치, 계절 용어 패치 및 잔여 패치에 해당합니다. 이 세 가지 패치 세트는 함께 연결되어 MLP에 입력되어 각 패치 세트의 기본 임베딩 표현을 얻습니다.

잠재 공간 정렬: 이것이 이 글의 핵심 단계입니다. 프롬프트 디자인은 대형 모델의 성능에 큰 영향을 미치며, 시계열 프롬프트는 디자인하기 어렵습니다. 따라서 이 기사에서는 시계열의 패치 표현을 잠재 공간에서 대형 모델의 단어 임베딩과 정렬한 다음 암시적 프롬프트로 topK 단어 임베딩을 검색하는 것을 제안합니다. 구체적인 방법은 이전 단계에서 생성된 패치 임베딩을 사용하여 언어 모델의 단어 임베딩과의 코사인 유사성을 계산하고, topK 단어 임베딩을 선택한 다음 이 단어 임베딩을 프롬프트로 사용하여 이를 언어 모델의 앞쪽에 접합하는 것입니다. 시계열 패치 임베딩. 대형 모델에는 단어 임베딩이 많기 때문에 계산량을 줄이기 위해 먼저 단어 임베딩을 소수의 클러스터 중심에 매핑합니다.

모델 세부 사항: 모델 세부 사항은 GPT2가 언어 모델 부분으로 사용되며, 위치 임베딩 및 레이어 정규화 부분의 매개 변수를 제외하고 나머지는 동결됩니다. MSE 외에도 최적화 목표는 패치 임베딩과 검색된 topK 클러스터 임베딩 간의 유사성을 제약 조건으로 도입하여 둘 사이의 거리가 가능한 한 작아야 함을 요구합니다. 최종 예측 결과도

pictures

3입니다. 실험 결과

이 기사에서는 일부 대규모 시계열 모델, iTransformer, PatchTST 및 기타 SOTA 모델의 효과와 대부분의 데이터의 다양한 시간 창에서의 예측을 비교합니다. 세트 둘 다 비교적 좋은 결과를 얻었습니다.

Picture

동시에 기사에서는 t-SNE를 통해 임베딩도 시각적으로 분석합니다. 그림에서 알 수 있듯이 시계열의 임베딩은 정렬 전에는 뚜렷한 클러스터링 현상이 나타나지 않습니다. 클러스터의 명백한 변화는 본 논문에서 제안한 방법이 텍스트와 시계열의 공간적 정렬뿐만 아니라 해당 프롬프트도 효과적으로 사용하여 시계열 표현의 품질을 향상시킨다는 것을 나타냅니다.

사진

위 내용은 시계열 예측 + NLP 대규모 모델에 대한 새로운 작업: 시계열 예측을 위한 암시적 프롬프트 자동 생성의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!