NLP 대형 모델을 시계열에 적용하는 방법은 무엇입니까? 5가지 방법의 총정리!

최근 캘리포니아 대학에서는 자연어 처리 분야의 사전 훈련된 대규모 언어 모델을 시계열 예측에 적용하는 방법을 탐구하는 리뷰 기사를 발표했습니다. 이 기사에서는 시계열 분야에서 5가지 NLP 대형 모델의 적용을 요약합니다. 다음으로, 이번 리뷰에서 언급된 5가지 방법을 간략하게 소개하겠습니다.

Pictures

논문 제목: Large Language Models for Time Series: A Survey

다운로드 주소: https://arxiv.org/pdf/2402.01801.pdf

Pictures

1. Prompt The method

Prompt 방법을 직접 사용하여 모델은 시계열 데이터에 대한 출력을 예측할 수 있습니다. 이전 프롬프트 방법에서 기본 아이디어는 프롬프트 텍스트를 사전 훈련하고 시계열 데이터로 채우고 모델이 예측 결과를 생성하도록 하는 것이었습니다. 예를 들어 시계열 작업을 설명하는 텍스트를 구성할 때 시계열 데이터를 채우고 모델이 예측 결과를 직접 출력하도록 하세요.

Pictures

시계열을 처리할 때 숫자를 텍스트의 일부로 간주하는 경우가 많으며, 숫자를 토큰화하는 문제도 많은 주목을 받았습니다. 일부 방법은 숫자 사이에 공백을 추가하여 숫자를 더 명확하게 구분하고 사전에서 숫자 간의 불합리한 구분을 방지합니다.

2. 이산화

이러한 유형의 방법은 시계열을 이산화하고 연속 값을 이산 ID 결과로 변환하여 대규모 NLP 모델의 입력 형식에 적합합니다. 예를 들어, 한 가지 접근 방식은 VQ-VAE(Vector Quantized-Variational AutoEncoder) 기술을 사용하여 시계열을 이산 표현으로 매핑하는 것입니다. VQ-VAE는 VAE를 기반으로 한 오토인코더 구조로, Encoder를 통해 원본 입력을 표현 벡터로 매핑한 후 Decoder를 통해 원본 데이터를 복원합니다. VQ-VAE는 중간 생성 표현 벡터가 이산화되도록 보장합니다. 시계열 데이터 이산화의 매핑을 실현하기 위해 이 이산화된 표현 벡터를 기반으로 사전이 구성됩니다. 또 다른 방법은 Kmeans에 의해 생성된 중심을 사용하여 원래 시계열을 이산화하는 K-평균 이산화를 기반으로 합니다. 또한 일부 작업에서는 시계열이 텍스트로 직접 변환되기도 합니다. 예를 들어 일부 금융 시나리오에서는 일일 가격 상승, 가격 하락 및 기타 정보가 대규모 NLP 모델에 대한 입력으로 해당 문자 기호로 직접 변환됩니다.

Pictures

3. 시계열-텍스트 정렬

이러한 유형의 방법은 다중 모드 분야의 정렬 기술을 사용하여 시계열 표현을 텍스트 공간으로 정렬함으로써 시계열 데이터를 직접 정렬할 수 있습니다. NLP 대형 모델 대상에 입력합니다.

이러한 유형의 방법에서는 일부 다중 모드 정렬 방법이 널리 사용됩니다. 가장 대표적인 것은 대조 학습 기반의 다중 모드 정렬(multi-modal alignment)입니다. CLIP과 유사하게 시계열 인코더와 대형 모델을 사용하여 각각 시계열과 텍스트의 표현 벡터를 입력한 다음 대조 학습을 사용하여 거리를 단축합니다. 잠재 공간에서 시계열 표현과 텍스트 데이터를 정렬합니다.

또 다른 방법은 시계열 데이터를 기반으로 미세 조정하고 대규모 NLP 모델을 백본으로 사용하고 이를 기반으로 추가 네트워크 적응 시계열 데이터를 도입하는 것입니다. 그중 LoRA와 같은 효율적인 교차 모드 미세 조정 방법은 백본의 대부분의 매개변수를 동결하고 소수의 매개변수만 미세 조정하거나 다중 모드 정렬을 달성하기 위해 미세 조정을 위한 소수의 어댑터 매개변수를 도입합니다.

Pictures

4. 시각적 정보 소개

이 방법은 일반적으로 시계열과 시각적 정보 간의 연결을 설정한 다음 이미지와 텍스트를 사용하여 심층적으로 연구된 다중 모드 기능을 도입합니다. . 다운스트림 작업에 대한 효과적인 기능을 추출합니다. 예를 들어 ImageBind는 시계열 유형 데이터를 포함한 6개 양식의 데이터를 균일하게 정렬하여 대규모 다중 모드 모델의 통합을 달성합니다. 금융 분야의 일부 모델은 주가를 차트 데이터로 변환한 다음 CLIP을 사용하여 이미지와 텍스트를 정렬하여 다운스트림 시계열 작업을 위한 차트 관련 기능을 생성합니다.

5. 대형 모델 도구

이러한 유형의 방법은 더 이상 NLP 대형 모델을 개선하거나 대형 모델 적응을 위해 시계열 데이터 형식을 변환하지 않고 NLP 대형 모델을 시계열 문제를 해결하는 도구로 직접 사용합니다. 예를 들어, 대형 모델이 시계열 예측을 해결하기 위한 코드를 생성하고 이를 시계열 예측에 적용하도록 하거나, 대형 모델이 시계열 문제를 해결하기 위해 오픈 소스 API를 호출하도록 합니다. 물론 이 방법은 실제 적용에 더 편향되어 있습니다.

마지막으로 이 기사에서는 다양한 방법의 대표 작업과 대표 데이터 세트를 요약합니다.

위 내용은 NLP 대형 모델을 시계열에 적용하는 방법은 무엇입니까? 5가지 방법의 총정리!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!