Transformer부터 Diffusion Model까지, 시퀀스 모델링 기반 강화학습 방법을 한 글로 배워보세요.

대규모 생성 모델은 지난 2년 동안 자연어 처리는 물론 심지어 컴퓨터 비전에도 엄청난 혁신을 가져왔습니다. 최근 이러한 추세는 강화 학습, 특히 Decision Transformer(DT)[1], Trajectory Transformer(TT)[2], Gato[3], Diffuser[4] 등과 같은 오프라인 강화 학습(오프라인 RL)에도 영향을 미치고 있습니다. 이 방법은 강화 학습 데이터(상태, 행동, 보상 및 복귀 포함)를 구조화되지 않은 시퀀스 데이터의 문자열로 간주하고 이러한 시퀀스 데이터를 학습의 핵심 작업으로 모델링합니다. 이러한 모델은 지도 학습 또는 자기 지도 학습 방법을 사용하여 훈련할 수 있어 기존 강화 학습의 불안정한 기울기 신호를 피할 수 있습니다. 복잡한 정책 개선 및 가치 추정 방법을 사용하더라도 오프라인 강화 학습에서는 매우 좋은 성능을 보여줍니다.

이 기사에서는 시퀀스 모델링을 기반으로 한 강화 학습 방법에 대해 간략하게 설명합니다. 다음 기사에서는 VQ-VAE(Vector Quantiised Variational AutoEncoder)를 사용하여 새로 제안된 TAP(Trajectory Autoencoding Planner)를 소개합니다. 잠재 행동 공간에서의 시퀀스 모델링 및 효율적인 계획 방법.

Transformer 및 강화 학습

Transformer 아키텍처[5]는 2017년에 제안되었으며 이후의 BERT와 GPT-3은 점차적으로 자기 감독 + Transformer의 조합을 새로운 Highly로 추진했습니다. , Few-Shot Learning과 같은 속성은 자연어 처리 분야에서 지속적으로 등장하고 있지만 컴퓨터 비전과 같은 분야로도 확산되기 시작했습니다 [6][7].

그러나 강화 학습의 경우 2021년 이전에는 이 과정이 특별히 명확하지 않은 것 같습니다. 2018년에는 강화학습에도 다중 헤드 어텐션 메커니즘이 도입되었습니다[8]. 이러한 유형의 작업은 기본적으로 강화학습 일반화 문제를 해결하기 위해 반기호(하위 기호)와 유사한 분야에 적용됩니다. 이후 이러한 시도는 미지근했다. 저자의 개인적인 경험에 따르면 Transformer는 실제로 강화학습에서 안정적이고 압도적인 우위를 보여주지 못하고 훈련시키기도 어렵다. 20년 동안 강화 학습을 위해 Relational GCN을 사용한 작업 중 하나[9]에서 실제로 Transformer를 뒤에서 시도했지만 기본적으로 전통적인 구조(CNN과 유사)보다 훨씬 나빴으며 안정적으로 학습하고 학습하는 것이 어려웠습니다. 사용할 수 있는 정책을 얻으세요. Transformer가 전통적인 온라인 강화 학습(online RL)과 호환되지 않는 이유는 여전히 공개된 질문입니다. 예를 들어 Melo [10]는 전통적인 Transformer의 매개 변수 초기화가 강화 학습에 적합하지 않기 때문이라고 설명하므로 논의하지 않겠습니다. 여기서 더 나아가요.

2021년 중반, DT(Decision Transformer) 및 TT(Trajectory Transformer)가 출시되면서 RL에서 Transformer 애플리케이션의 새로운 물결이 시작되었습니다. 이 두 작품의 아이디어는 실제로 매우 간단합니다. Transformer와 온라인 강화 학습 알고리즘이 그다지 호환되지 않는다면 단순히 강화 학습을 자기 지도 학습 작업으로 취급하는 것은 어떻습니까? 오프라인 강화 학습 개념도 매우 대중적이라는 사실을 활용하여 두 연구 모두 주요 목표 작업을 오프라인 데이터 세트 모델링에 고정한 다음 이 시퀀스 모델을 제어 및 의사 결정에 사용했습니다.

강화 학습의 경우 소위 시퀀스는 상태 s, 액션 , 보상 r 및 가치 v로 구성된 궤적 입니다. 현재 이 값은 일반적으로 Monte Carlo 추정으로 간주될 수 있는 return-to-go로 대체됩니다. 오프라인 데이터 세트는 이러한 궤적으로 구성됩니다. 궤적의 생성은 환경의 역학 및 행동 정책과 관련이 있습니다. 소위 시퀀스 모델링은 이 시퀀스를 생성하는 확률 분포(분포), 엄밀히 말하면 조건부 확률 중 일부를 모델링하는 것입니다.

Decision Transformer

DT의 접근 방식은 과거 데이터와 값을 행동(반환 조건 정책)으로 매핑하는 것, 즉 행동의 조건부 확률에 대한 수학적 기대를 모델링하는 것입니다. 이 아이디어는 Upside Down RL [11]과 매우 유사하지만 그 이면의 직접적인 동기는 프롬프트를 기반으로 다운스트림 작업을 완료하는 GPT2/3의 방법을 모방하는 것일 가능성이 매우 높습니다. 이 접근 방식의 한 가지 문제점은 최상의 목표 값이 무엇인지 결정할 체계적인 방법이 없다는 것입니다. 그러나 DT 작성자는 목표값을 전체 데이터 세트 중 가장 높은 수익률로 설정하더라도 DT의 최종 성능이 매우 좋을 수 있다는 사실을 발견했습니다.

결정 변환기, 그림 1

강화 학습 배경이 있는 사람들에게는 DT와 같은 방법이 강력한 성능을 달성할 수 있다는 것이 매우 반직관적입니다. DQN이나 Policy Gradient와 같은 방법이 신경망을 보간과 일반화에 사용할 수 있는 피팅 함수로만 간주할 수 있다면 강화학습에서의 정책 개선과 가치 평가는 여전히 정책 구축의 핵심입니다. DT는 비현실적으로 높을 수 있는 목표값을 적절한 행동으로 연결하는 과정 전체가 전적으로 신경망 기반이라고 할 수 있습니다. DT의 성공은 강화학습의 관점에서 보면 다소 무리라고 할 수 있지만, 이것이 바로 이런 실증적 연구의 매력이라고 생각합니다. 저자는 신경망 또는 Transformer의 일반화 능력이 전체 RL 커뮤니티의 이전 기대치를 초과할 수 있다고 믿습니다.

DT 역시 모든 시퀀스 모델링 방법 중에서 매우 간단하며, 강화학습의 핵심 문제를 거의 모두 Transformer 내부에서 해결합니다. 이러한 단순성은 현재 가장 인기 있는 이유 중 하나입니다. 그러나 블랙박스 특성으로 인해 알고리즘 설계 수준에 대한 이해력이 많이 떨어지고 기존 강화 학습의 일부 성과를 여기에 통합하기가 어렵습니다. 이러한 결과의 유효성은 일부 대규모 실험(예: AlphaGo, AlphaStar, VPT)에서 반복적으로 확인되었습니다.

Trajectory Transformer

TT의 접근 방식은 기존 모델 기반 강화 학습(모델 기반 RL) 계획 방법과 더 유사합니다. 모델링 측면에서는 전체 시퀀스의 요소를 이산화한 다음 GPT-2와 같은 이산 자동 회귀 방법을 사용하여 전체 오프라인 데이터 세트를 모델링합니다. 이를 통해 복귀를 제외한 주어진 시퀀스의 연속을 모델링할 수 있습니다. TT는 후속 시퀀스의 분포를 모델링하기 때문에 실제로 시퀀스 생성 모델이 됩니다. 생성된 시퀀스에서 더 나은 가치 추정이 가능한 시퀀스를 찾아 TT는 "최적의 계획"을 출력할 수 있습니다. 최적의 시퀀스를 찾는 방법으로 TT는 자연어에서 일반적으로 사용되는 방법인 빔 탐색(Beam Search)의 변형을 사용합니다. 기본적으로는 항상 확장된 시퀀스의 최적 부분

을 유지하고, 이를 기반으로 다음 최적 시퀀스 집합을 찾는 것입니다.

강화 학습의 관점에서 TT는 DT만큼 정통적이지 않습니다. 흥미로운 점은 (DT와 마찬가지로) 강화 학습에서 원래 Markov 결정 프로세스의 인과 그래프 구조를 완전히 포기한다는 것입니다. PETS, world model, dramerv2 등 기존의 모델 기반 방법들은 모두 Markov 과정(또는 Implicit Markov)에서 정책 함수, 전달 함수, 보상 함수 등의 정의를 따릅니다. 상태 분포는 이전 단계의 상태이며, 행동, 보상, 가치는 모두 현재 상태에 따라 결정됩니다. 전체 강화학습 커뮤니티는 일반적으로 이것이 샘플 효율성을 향상시킬 수 있다고 믿고 있지만 이러한 그래프 구조는 실제로 제약이 될 수 있습니다. 자연어 분야에서는 RNN에서 Transformer로, 컴퓨터 비전 분야에서는 CNN에서 Transformer로의 전환은 실제로 데이터가 증가함에 따라 네트워크가 스스로 그래프 구조를 학습하도록 하는 것이 더 나은 성능의 모델을 얻는 데 더 도움이 된다는 것을 반영합니다.

DreamerV2, Figure 3TT는 기본적으로 모든 시퀀스 예측 작업을 Transformer에 넘겨주기 때문에 Transformer는 데이터에서 더 나은 그래프 구조를 더 유연하게 학습할 수 있습니다. 아래 그림과 같이 TT가 모델링한 행동 전략은 다양한 작업과 데이터 세트에 따라 다양한 그래프 구조를 보여줍니다. 그림의 왼쪽은 전통적인 Markov 전략에 해당하고, 그림의 오른쪽은 Action Moving Average 전략에 해당합니다.

Trajectory Transformer, Figure 4

Transformer의 강력한 시퀀스 모델링 기능은 더 높은 긴 시퀀스 모델링 정확도를 제공합니다. 아래 그림은 100단계가 넘는 TT의 예측이 여전히 유지된다는 것을 보여줍니다. 높은 정확도를 달성하기 위해, 마르코프 속성을 따르는 단일 단계 예측 모델은 예측 오류의 중첩 문제로 인해 빠르게 붕괴되었습니다.

Trajectory Transformer, 그림 2TT 특정 모델링 및 예측 측면에서 기존 방법과 다르지만 제공되는 예측 능력은 여전히 ​​강화 학습을 통합하는 다른 결과에 대한 많은 여지를 남깁니다. 앞으로도 좋은 그립감. 그러나 TT는 예측 속도에 중요한 문제가 있습니다. 전체 시퀀스의 분포를 모델링해야 하기 때문에 시퀀스의 모든 요소를 ​​차원에 따라 이산화합니다. 이는 100차원 상태가 시퀀스에서 100개의 요소를 차지해야 함을 의미합니다. . 위치를 사용하면 모델링되는 시퀀스의 실제 길이가 특히 길어지기 쉽습니다. Transformer의 경우 시퀀스 길이 N에 대한 계산 복잡도는 이므로 TT에서 미래 예측을 샘플링하는 데 매우 많은 비용이 듭니다. 100차원 미만의 작업 TT라도 한 단계 결정을 내리는 데 몇 초 또는 심지어 수십 초가 필요합니다. 이러한 모델은 실시간 로봇 제어나 온라인 학습에 적용하기 어렵습니다.

Gato

Gato는 Deepmind에서 출시한 "일반주의 모델"입니다. 실제로는 크로스 모달 다중 작업 세대 모델입니다. 동일한 Transformer를 사용하면 자연어 질문 답변, 그림 설명, 비디오 게임, 로봇 제어까지 다양한 작업을 완료할 수 있습니다. 지속적인 제어를 모델링하는 Gato의 접근 방식은 기본적으로 TT와 유사합니다. 단지 Gato는 엄밀한 의미에서 강화학습을 하는 것이 아니라 전문가 전략에 의해 생성된 시퀀스 데이터를 모델링한 다음 조치를 취할 때 다음 조치만 샘플링하면 됩니다. 실제로는 전문가를 모방하는 것입니다. 전략.

​

Gato 블로그

기타 시퀀스 생성 모델: 확산 모델

확산 모델은 최근 이미지 생성 분야에서 매우 인기가 높다고 할 수 있는데, DALLE-2와 Stable Diffusion이 있습니다. 이미지 생성을 위해 이를 기반으로 합니다. Diffuser는 이 방법을 오프라인 강화 학습에도 적용했습니다. 그 아이디어는 먼저 시퀀스의 조건부 분포를 모델링한 다음 현재 상태를 기반으로 가능한 미래 시퀀스를 샘플링합니다.

Diffuser는 TT보다 더 큰 유연성을 가지고 있습니다. 시작점과 끝점을 설정하는 동안 모델이 중간 경로를 채울 수 있으므로 목표 중심(보상 기능을 최대화하는 것이 아닌) 제어가 달성될 수 있습니다. 또한 모델이 작업을 완료하는 데 도움이 되도록 목표 달성을 위한 여러 목표와 선험적 조건을 혼합할 수도 있습니다. ㅋㅋㅋ 점차적으로 정확해졌습니다. 확산 모델 자체에 대한 추가 연구도 컴퓨터 비전 분야에서 뜨거운 주제이며, 향후 몇 년 안에 모델 자체에 획기적인 발전이 있을 가능성이 높습니다.

그러나 현재 확산 모델 자체에는 다른 세대 모델에 비해 특별한 결함이 있습니다. 즉, 다른 세대 모델에 비해 세대 속도가 느리다는 것입니다. 관련 분야의 많은 전문가들은 앞으로 몇 년 안에 이러한 현상이 완화될 수 있다고 믿고 있습니다. 그러나 강화 학습에 실시간 제어가 필요한 시나리오에서는 현재 몇 초의 생성 시간을 받아들이기가 어렵습니다. Diffuser는 생성 속도를 향상시키는 방법을 제안했습니다. 이전 단계의 계획에서 약간의 노이즈를 추가하여 다음 단계의 계획을 재생성하지만 그렇게 하면 모델의 성능이 어느 정도 저하됩니다.

위 내용은 Transformer부터 Diffusion Model까지, 시퀀스 모델링 기반 강화학습 방법을 한 글로 배워보세요.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!