새로운 DeepMind 연구: 변압기는 인간의 개입 없이 스스로 개선될 수 있습니다

현재 Transformers는 시퀀스 모델링을 위한 강력한 신경망 아키텍처가 되었습니다. 사전 학습된 변환기의 주목할만한 속성은 큐 조절 또는 상황별 학습을 통해 다운스트림 작업에 적응하는 능력입니다. 대규모 오프라인 데이터 세트에 대한 사전 학습 후 대규모 변환기는 텍스트 완성, 언어 이해 및 이미지 생성의 다운스트림 작업에 효율적으로 일반화되는 것으로 나타났습니다.

최근 연구에 따르면 변환기는 오프라인 강화 학습(RL)을 순차 예측 문제로 처리하여 오프라인 데이터에서도 정책을 학습할 수 있는 것으로 나타났습니다. Chen et al.(2021)의 연구에서는 변환기가 모방 학습을 통해 오프라인 RL 데이터에서 단일 작업 정책을 학습할 수 있음을 보여주었고, 후속 작업에서는 변환기가 동일 도메인 및 교차 도메인 설정 모두에서 다중 작업 정책을 추출할 수 있음을 보여주었습니다. 이러한 연구는 모두 일반적인 다중 작업 정책을 추출하기 위한 패러다임, 즉 먼저 대규모의 다양한 환경 상호 작용 데이터 세트를 수집한 다음 순차 모델링을 통해 데이터에서 정책을 추출하는 패러다임을 보여줍니다. 이렇게 오프라인 RL 데이터로부터 모방 학습을 통해 정책을 학습하는 방식을 오프라인 정책 증류(Offline Policy Distillation) 또는 정책 증류(Policy Distillation, PD)라고 합니다.

PD는 단순성과 확장성을 제공하지만, 생성된 정책이 환경과의 추가적인 상호 작용을 통해 점진적으로 개선되지 않는다는 것이 큰 단점 중 하나입니다. 예를 들어 Google의 제너럴리스트 에이전트인 Multi-Game Decision Transformers는 많은 Atari 게임을 플레이할 수 있는 반환 조건 정책을 학습했으며, DeepMind의 제너럴리스트 에이전트인 Gato는 환경 내 작업에 대한 상황별 작업 전략을 통해 다양한 문제에 대한 솔루션을 학습했습니다. 안타깝게도 두 에이전트 모두 시행착오를 통해 상황에 맞게 정책을 개선할 수 없습니다. 따라서 PD 방법은 강화학습 알고리즘이 아닌 정책을 학습합니다.

최근 DeepMind 논문에서 연구자들은 PD가 시행착오를 거쳐 개선되지 못한 이유는 훈련에 사용된 데이터가 학습 진행 상황을 보여주지 못하기 때문이라는 가설을 세웠습니다. 현재 방법은 학습이 포함되지 않은 데이터(예: 증류를 통한 고정 전문가 정책)에서 정책을 학습하거나 학습이 포함된 데이터(예: RL 에이전트의 재생 버퍼)에서 정책을 학습하지만 후자의 컨텍스트 크기( 너무 작음) 정책 개선 사항을 포착하지 못했습니다.

문서 주소: https://arxiv.org/pdf/2210.14215.pdf

연구원의 주요 관찰은 RL 알고리즘 훈련에서 학습의 순차적 특성이 원칙적으로 강화 학습이 될 수 있다는 것입니다. 그 자체는 인과관계 예측 문제로 모델링됩니다. 구체적으로, 변환기의 컨텍스트가 업데이트 학습을 통해 가져온 정책 개선을 포함할 만큼 충분히 길다면 고정된 정책을 나타낼 수 있을 뿐만 아니라 상태에 초점을 맞춰 정책 개선 알고리즘을 나타낼 수도 있어야 합니다. , 액션, 이전 에피소드의 보상. 이를 통해 모든 RL 알고리즘은 모방 학습을 통해 변환기와 같은 충분히 강력한 시퀀스 모델로 정제될 수 있고 이러한 모델은 상황별 RL 알고리즘으로 변환될 수 있는 가능성이 열립니다.

연구진은 RL 알고리즘 학습 내역에서 인과 시퀀스 예측 손실을 최적화하여 상황별 정책 개선 연산자를 학습하는 방법인 AD(Algorithm Distillation)를 제안했습니다. 아래 그림 1과 같이 AD는 두 부분으로 구성됩니다. 먼저 다수의 개별 작업에 대한 RL 알고리즘의 훈련 기록을 저장하여 대규모 다중 작업 데이터 세트가 생성된 다음 변환기 모델은 이전 학습 기록을 컨텍스트로 사용하여 인과적으로 동작을 모델링합니다. 원본 RL 알고리즘을 훈련하는 동안 정책이 계속 개선되기 때문에 AD는 훈련 기록의 특정 지점에서 작업을 정확하게 모델링하기 위해 향상된 연산자를 학습해야 합니다. 결정적으로, 변환기 컨텍스트는 훈련 데이터의 개선 사항을 포착할 수 있을 만큼 충분히 커야 합니다(즉, 에피소드 전반에 걸쳐).

연구원들은 그래디언트 기반 RL 알고리즘을 모방할 만큼 충분히 큰 맥락을 가진 인과 변환기를 사용함으로써 AD가 맥락에서 새로운 작업 학습을 완전히 강화할 수 있다고 말했습니다. 우리는 DMLab의 픽셀 기반 Watermaze를 포함하여 탐색이 필요한 부분적으로 관찰 가능한 여러 환경에서 AD를 평가했으며 AD가 컨텍스트 탐색, 시간적 신뢰 할당 및 일반화가 가능하다는 것을 보여주었습니다. 또한 AD에서 학습한 알고리즘은 변환기 훈련 소스 데이터를 생성한 알고리즘보다 더 효율적입니다.

마지막으로 AD는 오프라인 데이터를 모방 손실로 순차적으로 모델링하여 상황별 강화 학습을 보여주는 첫 번째 방법이라는 점에 주목할 가치가 있습니다.

방법

강화 학습 에이전트는 수명 주기 동안 복잡한 작업을 잘 수행해야 합니다. 지능형 에이전트의 경우 환경, 내부 구조 및 실행에 관계없이 과거 경험을 바탕으로 완성되었다고 볼 수 있습니다. 이는 다음과 같은 형식으로 표현될 수 있습니다:

연구원은 또한 "오랜 역사 조건부" 전략을 알고리즘으로 간주하여 다음과 같이 나왔습니다.

여기서 Δ(A)는 동작을 나타냅니다. 공간 A의 확률 분포 공간입니다. 방정식 (3)은 알고리즘이 환경에서 전개되어 일련의 관찰, 보상 및 행동을 생성할 수 있음을 보여줍니다. 단순화를 위해 이 연구에서는 알고리즘을 P로, 환경(예: 작업)을 로 표시합니다. 학습 내역은 알고리즘 으로 표시되므로 주어진 작업에 대해 이 생성됩니다. 얻을 수 있습니다

연구원들은 대문자 라틴 문자를 사용하여 O, A, R 및 해당 소문자 형태 o, α, r과 같은 확률 변수를 나타냅니다. 그들은 알고리즘을 장기적인 기록 조건 정책으로 봄으로써 학습 기록을 생성하는 모든 알고리즘이 행동의 행동 복제를 수행함으로써 신경망으로 변환될 수 있다는 가설을 세웠습니다. 다음으로, 이 연구는 행동 분포에 대한 장기 기록을 매핑하기 위해 행동 클론을 사용하여 시퀀스 모델의 평생 학습을 에이전트에 제공하는 접근 방식을 제안합니다.

실제 구현

본 연구에서는 실제로 알고리즘 증류(AD)를 2단계 프로세스로 구현합니다. 첫째, 학습 기록 데이터 세트는 다양한 작업에 대해 개별 그래디언트 기반 RL 알고리즘을 실행하여 수집됩니다. 다음으로, 다중 에피소드 컨텍스트를 갖춘 시퀀스 모델을 훈련하여 역사의 행동을 예측합니다. 구체적인 알고리즘은 다음과 같습니다.

Experiments

실험을 위해서는 사용된 환경이 관찰에서 쉽게 추론할 수 없는 많은 작업을 지원해야 하며, 에피소드는 교차 에피소드 인과 변환기를 효과적으로 훈련할 수 있을 만큼 충분히 짧습니다. 이 작업의 주요 목표는 AD 강화가 이전 작업과 관련된 맥락에서 학습되는 정도를 조사하는 것이었습니다. 실험에서는 AD, ED(Expert Distillation), RL^2 등을 비교했습니다.

AD, ED, RL^2를 평가한 결과는 그림 3에 나와 있습니다. 이 연구에서는 AD와 RL^2 모두 훈련 분포에서 샘플링된 작업에 대해 상황에 따라 학습할 수 있는 반면 ED는 그렇지 못하지만 분포 내에서 평가할 때 ED가 무작위 추측보다 더 나은 성능을 발휘한다는 사실을 발견했습니다.

아래 그림 4에 대해 연구자는 일련의 질문에 답했습니다. AD는 상황별 강화 학습을 보여줍니까? 결과는 AD 상황별 강화 학습이 모든 환경에서 학습할 수 있는 반면, ED는 대부분의 상황에서 맥락을 탐색하고 학습할 수 없음을 보여줍니다.

AD가 픽셀 기반 관찰을 통해 학습할 수 있나요? 결과는 AD가 상황별 RL을 통해 에피소드 회귀를 최대화하는 반면 ED는 학습에 실패한다는 것을 보여줍니다.

AD 원본 데이터를 생성한 알고리즘보다 더 효율적인 RL 알고리즘을 학습할 수 있나요? 결과는 AD의 데이터 효율성이 소스 알고리즘(A3C 및 DQN)보다 훨씬 높다는 것을 보여줍니다.

데모를 통해 AD 속도를 높일 수 있나요? 이 질문에 대답하기 위해 이 연구에서는 테스트 세트 데이터에서 소스 알고리즘의 기록을 따라 서로 다른 지점에서 샘플링 전략을 유지한 다음 이 전략 데이터를 사용하여 AD 및 ED의 컨텍스트를 미리 채우고 두 방법을 모두 실행합니다. Dark Room의 맥락에서 결과는 그림 5에 표시됩니다. ED는 입력 정책의 성능을 유지하는 반면 AD는 최적에 가까워질 때까지 상황에 맞게 각 정책을 개선합니다. 중요한 것은 입력 전략이 최적화될수록 최적 상태에 도달할 때까지 AD가 더 빠르게 개선된다는 것입니다.

자세한 내용은 원문을 참고해주세요.

위 내용은 새로운 DeepMind 연구: 변압기는 인간의 개입 없이 스스로 개선될 수 있습니다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!