오늘 저는 시계열 예측 효과를 개선하기 위해 잠재 공간에서 시계열 데이터를 대규모 자연어 처리(NLP) 모델과 정렬하는 방법을 제안하는 코네티컷 대학교의 최근 연구 결과를 공유하고 싶습니다. 이 방법의 핵심은 잠재 공간 힌트(프롬프트)를 사용하여 시계열 예측의 정확성을 높이는 것입니다.
논문 제목: S2IP-LLM: 시계열 예측을 위한 LLM을 사용한 시맨틱 공간 정보 프롬프트 학습
다운로드 주소: https://www.php.cn/link/3695d85c350d924e662ea2cd3b760d40
1. 문제 배경
대형 모델은 시계열에서 점점 더 많이 사용되고 있으며 주로 두 가지 범주로 나뉩니다. 첫 번째 범주는 다양한 시계열 데이터를 사용하여 시계열 필드에서 자체 대형 모델을 훈련하고, 두 번째 범주는 NLP 분야에서 훈련된 텍스트를 직접 사용합니다. 모델은 시계열에 적용됩니다. 시계열은 이미지, 텍스트와 다르기 때문에 데이터 세트마다 입력 형식과 분포가 다르고 분포 이동 등의 문제가 있어 모든 시계열 데이터를 사용하여 통일된 모델을 학습시키기가 어렵습니다. 따라서 시계열 관련 문제를 해결하기 위해 NLP 대형 모델을 직접 사용하려는 노력이 점점 더 많아지기 시작했습니다.
이 기사에서는 시계열 문제를 해결하는 두 번째 방법인 NLP 대형 모델을 사용하는 방법에도 중점을 둡니다. 현재 관행에서는 시계열에 대한 설명을 단서로 사용하는 경우가 많지만 모든 시계열 데이터세트에 이 정보가 포함되어 있는 것은 아닙니다. 또한, 패치 기반 시계열 데이터 처리 방식으로는 시계열 데이터의 모든 정보를 완벽하게 유지할 수 없다.
위의 문제를 바탕으로 이 기사에서는 핵심 모델링 아이디어인 새로운 모델링 방법을 제안합니다. 한편으로는 시계열을 토큰화 처리 후 임베딩에 매핑하고, 다른 한편으로는 이러한 시계열 공간의 표현은 다음과 같습니다. 모델의 단어 임베딩에 대해 크게 정렬되었습니다. 이와 같이 시계열 예측 과정에서 정렬된 단어 임베딩과 관련된 정보를 프롬프트로 찾아 예측 효과를 향상시킬 수 있습니다.
Pictures
2. 구현 방법
다음은 데이터 처리, 잠재 공간 정렬, 모델 세부 사항이라는 세 가지 측면에서 본 작업의 구현 방법을 소개합니다.
데이터 처리: 시계열의 분포 이동 등의 문제로 인해 이 기사에서는 입력 계열에 대한 트렌드 항목과 계절 항목의 1단계 분해를 수행합니다. 분해된 각 시계열은 개별적으로 표준화된 후 중첩되는 패치로 나뉩니다. 각 패치 세트는 추세 용어 패치, 계절 용어 패치 및 잔여 패치에 해당합니다. 이 세 가지 패치 세트는 함께 연결되어 MLP에 입력되어 각 패치 세트의 기본 임베딩 표현을 얻습니다.
잠재 공간 정렬: 이것이 이 글의 핵심 단계입니다. 프롬프트 디자인은 대형 모델의 성능에 큰 영향을 미치며, 시계열 프롬프트는 디자인하기 어렵습니다. 따라서 이 기사에서는 시계열의 패치 표현을 잠재 공간에서 대형 모델의 단어 임베딩과 정렬한 다음 암시적 프롬프트로 topK 단어 임베딩을 검색하는 것을 제안합니다. 구체적인 방법은 이전 단계에서 생성된 패치 임베딩을 사용하여 언어 모델의 단어 임베딩과의 코사인 유사성을 계산하고, topK 단어 임베딩을 선택한 다음 이 단어 임베딩을 프롬프트로 사용하여 이를 언어 모델의 앞쪽에 접합하는 것입니다. 시계열 패치 임베딩. 대형 모델에는 단어 임베딩이 많기 때문에 계산량을 줄이기 위해 먼저 단어 임베딩을 소수의 클러스터 중심에 매핑합니다.
모델 세부 사항: 모델 세부 사항은 GPT2가 언어 모델 부분으로 사용되며, 위치 임베딩 및 레이어 정규화 부분의 매개 변수를 제외하고 나머지는 동결됩니다. MSE 외에도 최적화 목표는 패치 임베딩과 검색된 topK 클러스터 임베딩 간의 유사성을 제약 조건으로 도입하여 둘 사이의 거리가 가능한 한 작아야 함을 요구합니다. 최종 예측 결과도
pictures
3입니다. 실험 결과
이 기사에서는 일부 대규모 시계열 모델, iTransformer, PatchTST 및 기타 SOTA 모델의 효과와 대부분의 데이터의 다양한 시간 창에서의 예측을 비교합니다. 세트 둘 다 비교적 좋은 결과를 얻었습니다.
Picture
동시에 기사에서는 t-SNE를 통해 임베딩도 시각적으로 분석합니다. 그림에서 알 수 있듯이 시계열의 임베딩은 정렬 전에는 뚜렷한 클러스터링 현상이 나타나지 않습니다. 클러스터의 명백한 변화는 본 논문에서 제안한 방법이 텍스트와 시계열의 공간적 정렬뿐만 아니라 해당 프롬프트도 효과적으로 사용하여 시계열 표현의 품질을 향상시킨다는 것을 나타냅니다.
사진
위 내용은 시계열 예측 + NLP 대규모 모델에 대한 새로운 작업: 시계열 예측을 위한 암시적 프롬프트 자동 생성의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

대형 언어 모델 (LLM)은 인기가 높아졌으며, 도구 전달 기능은 단순한 텍스트 생성을 넘어 기능을 극적으로 확장했습니다. 이제 LLM은 동적 UI 생성 및 자율적 인 A와 같은 복잡한 자동화 작업을 처리 할 수 있습니다.

비디오 게임이 불안을 완화하거나 집중하거나 ADHD를 가진 어린이를 지원할 수 있습니까? 건강 관리 도전이 전 세계적으로 급증함에 따라, 특히 청소년들 사이에서 혁신가들은 비디오 게임 인 가능성이없는 도구로 전환하고 있습니다. 이제 세계 최대의 엔터테인먼트 인더스 중 하나입니다

UNCTAD의 사무 총장 인 Rebeca Grynspan은“역사는 기술 진보가 경제 성장을 유발하거나 공평한 소득 분배를 보장하거나 포용적인 인간 발전을 촉진하지는 않습니다.

쉽게 생성 AI를 협상 교사 및 스파링 파트너로 사용하십시오. 그것에 대해 이야기합시다. 혁신적인 AI 혁신에 대한이 분석은 AI의 최신 Forbes 열 범위의 일부입니다.

밴쿠버에서 개최 된 TED2025 컨퍼런스는 어제 4 월 11 일 36 번째 판을 마무리했습니다. Sam Altman, Eric Schmidt 및 Palmer Luckey를 포함한 60 개 이상의 국가에서 80 명의 스피커를 선보였습니다. 테드의 주제 인“인류를 다시 상상했다”는 재단사가 만들어졌다

Joseph Stiglitz는 2001 년에 유명한 경제학자이자 노벨 경제학상을 수상했습니다. Stiglitz는 AI가 기존의 불평등과 통합 된 권력을 몇몇 지배적 인 기업의 손에 악화시킬 수 있으며 궁극적으로 경제를 훼손 할 수 있다고 주장합니다.

그래프 데이터베이스 : 관계를 통한 데이터 관리 혁명 데이터가 확장되고 그 특성이 다양한 필드에서 발전함에 따라 그래프 데이터베이스는 상호 연결된 데이터를 관리하기위한 변환 솔루션으로 떠오르고 있습니다. 전통적인 것과는 달리

대형 언어 모델 (LLM) 라우팅 : 지능형 작업 분포를 통한 성능 최적화 LLM의 빠르게 진화하는 환경은 각각 독특한 강점과 약점을 가진 다양한 모델을 제시합니다. 일부는 Creative Content Gen에서 탁월합니다


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

드림위버 CS6
시각적 웹 개발 도구

VSCode Windows 64비트 다운로드
Microsoft에서 출시한 강력한 무료 IDE 편집기

Dreamweaver Mac版
시각적 웹 개발 도구

MinGW - Windows용 미니멀리스트 GNU
이 프로젝트는 osdn.net/projects/mingw로 마이그레이션되는 중입니다. 계속해서 그곳에서 우리를 팔로우할 수 있습니다. MinGW: GCC(GNU Compiler Collection)의 기본 Windows 포트로, 기본 Windows 애플리케이션을 구축하기 위한 무료 배포 가능 가져오기 라이브러리 및 헤더 파일로 C99 기능을 지원하는 MSVC 런타임에 대한 확장이 포함되어 있습니다. 모든 MinGW 소프트웨어는 64비트 Windows 플랫폼에서 실행될 수 있습니다.

Eclipse용 SAP NetWeaver 서버 어댑터
Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.
