ICLR 블라인드 리뷰 단계에서 리뷰어들로부터 높은 평가를 받은 논문: Transformer 아키텍처의 주요 혁신이 될까요?

많은 주목할만한 성과에도 불구하고 심층 신경망(DNN) 훈련의 실질적인 진전은 이론적 근거와 크게 별개였습니다. 대부분의 성공적인 현대 DNN은 잔여 연결 및 정규화 계층의 특정 배열에 의존하지만 새로운 아키텍처에서 이러한 구성 요소를 사용하는 방법에 대한 일반적인 원칙은 아직 알려지지 않았으며 기존 아키텍처에서의 역할은 아직 완전히 이해되지 않았습니다.

잔차 아키텍처는 가장 인기 있고 성공적인 것으로, 원래 CNN(컨볼루션 신경망)의 맥락에서 개발되었으며 나중에 주목 네트워크에서 유비쿼터스 변환기 아키텍처를 탄생시켰습니다. 잔여 아키텍처가 성공할 수 있는 한 가지 이유는 일반 DNN에 비해 더 나은 신호 전파입니다. 여기서 신호 전파는 DNN 레이어를 통한 기하학적 정보의 전송을 의미하며 커널 함수로 표현됩니다.

최근 신호 전파 원리를 사용하여 잔여 연결 및/또는 잔여 아키텍처의 정규화 계층을 사용하지 않고 더 깊은 DNN을 훈련하는 것이 커뮤니티의 관심 분야가 되었습니다. 그 이유는 두 가지입니다. 첫째, 잔류 아키텍처의 효율성에 대한 신호 전파 가설을 검증하여 DNN 해석 가능성에 대한 이해를 명확하게 합니다. 둘째, 이는 잔류 패러다임을 넘어서는 DNN 훈련 가능성에 대한 일반적인 원리와 방법을 가능하게 할 수 있습니다.

CNN의 경우 Xiao et al.(2018)의 작업은 더 나은 초기화를 통해 향상된 신호 전파가 잔여 네트워크보다 속도가 훨씬 느리더라도 일반 심층 네트워크를 효율적으로 훈련할 수 있음을 보여줍니다. Martens et al.(2021)의 연구에서는 활성화 함수 변환을 사용하여 신호 전파를 제어하고 K-FAC와 같은 강력한 2차 최적화 프로그램을 사용하여 일반 네트워크 및 잔여 네트워크의 훈련을 구현하는 DKS(Deep Kernel Shaping)를 제안했습니다. ImageNet에서는 속도가 동일합니다. Zhang et al.(2022)의 작업은 DKS를 더 큰 종류의 활성화 함수로 확장하고 일반화에서 거의 동일성을 달성합니다.

신호 전파에서 분석해야 할 핵심 수량은 DNN의 초기화 시간 커널, 더 정확하게는 무한 너비 제한 아래의 대략적인 커널입니다. 델타 초기화를 사용하는 MLP(다층 퍼셉트론) 및 CNN의 경우 커널은 2D 함수만 포함하는 간단한 계층 재귀로 작성되어 간단한 분석을 용이하게 할 수 있습니다. 크로스 레이어 변환기의 커널 진화는 더 복잡하므로 DKS와 같은 기존 방법은 변환기나 실제로 self-attention 레이어가 포함된 아키텍처에 적합하지 않습니다.

MLP에서 신호 전파는 (1차원) 커널의 동작을 관찰하여 판단하는 반면, 변환기의 신호 전파는 네트워크 계층의 (고차원) 커널 행렬의 진화를 관찰하여 판단할 수 있습니다.

이 연구에서는 깊이가 증가함에 따라 대각선 요소가 급격히 증가하거나 축소되는 상황을 피해야 합니다. 이는 통제되지 않은 활성화 표준과 관련되어 있으며 포화 손실 또는 수치적 문제로 이어질 수 있습니다. 깊은 변압기의 훈련 가능성을 위해서는 랭크 붕괴를 피하는 것이 필요하지만, 깊은 잔차가 없는 변압기를 훈련할 수 있는지 여부는 여전히 미해결 문제로 남아 있습니다.

ICLR 2023의 블라인드 검토 단계에서 나온 이 논문은 이 문제를 해결하고 잔류 연결이나 정규화 계층 없이 심층 변환기를 성공적으로 훈련할 수 있음을 처음으로 보여줍니다. 이를 위해 깊은 잔차가 없는 변압기의 신호 전파 및 순위 붕괴 문제를 연구하고 이를 방지하기 위한 세 가지 방법을 도출합니다. 특히 이 접근 방식은 매개변수 초기화, 바이어스 행렬 및 위치 종속 재스케일링의 조합을 사용하고 위치 인코딩 및 인과 마스킹과의 상호 작용을 포함하여 변환기의 신호 전파와 관련된 여러 복잡성을 강조합니다. 연구원들은 그들의 방법이 심층 훈련 가능한 잔류 없는 변환기를 생성할 수 있음을 경험적으로 입증했습니다.

실험 부분인 WikiText-103 및 C4 데이터 세트에서 연구원들은 주요 방법인 E-SPA(Exponential Signal Preserving Attention)를 사용하여 훈련 시간이 훈련 시간의 약 5배까지 확장될 수 있음을 시연했습니다. 종이에 있는 잔류 변압기의 손실과 비슷한 표준 변압기의 손실. 또한 연구원들은 이 방법을 잔여 연결과 결합함으로써 정규화 레이어가 없는 변환기가 표준 변환기와 비슷한 훈련 속도를 달성할 수 있음을 보여주었습니다.

논문 주소: https://openreview.net/pdf?id=NPrsUQgMjKK

이 논문에서 Google AI 수석 엔지니어 Rohan Anil은 이것이 Transformer 아키텍처의 한 단계 발전이라고 믿습니다. . 큰 진전, 즉 근본적인 개선입니다.

지름길 없이 훈련 가능한 심층 Transformer 구축

지금까지 Transformer 순위 붕괴를 수정하는 유일한 전략은 self-attention 레이어의 고유한 훈련 가능성 문제를 건너뛰는 잔여 연결에 의존합니다. 이에 비해 본 연구에서는 이 질문을 직접적으로 다루고 있다. 먼저 어텐션 레이어를 통한 신호 전파를 더 잘 이해한 다음 통찰력을 기반으로 수정하여 잔여 연결 유무에 관계없이 훈련할 수 있는 심층 변환기에서 충실한 신호 전송을 달성합니다.

구체적으로 먼저 연구에서는 딥 바닐라 트랜스포머의 간단한 설정만 주의 깊게 수행한 다음 트랜스포머가 단일 헤드(h=1) 설정 또는 다중 헤드 설정을 가지고 있다고 가정했습니다. 주의 매트릭스 A는 머리 사이에서 변하지 않습니다. 블록 l ≤ L이 초기화 시 Attention 행렬 A_l을 갖는다면, 최종 블록의 표현은

으로 초기화 시 직교할 수 있습니다.

위의 가정 하에서 을 사용하여 교차 위치 입력 커널 행렬을 나타내는 경우 일부 단순화 처리 후 다음 공식을 얻을 수 있습니다. 이 단순화된 공식에서 주의 변환기 커널 행렬), (A_l)_l에 대한 세 가지 요구 사항을 결정할 수 있습니다.

순위 붕괴 및 대각선 값 폭발/소멸과 같은 퇴보 상황을 피하면서 각 블록에서 잘 수행되어야 합니다. 요소별로 음수가 아닌 ∀l이어야 합니다.

A_l은 인과 마스크 주의와 호환되도록 하부 삼각 ∀l이어야 합니다.

다음 섹션 3.1과 3.2에서는 위의 요구 사항을 충족하는 Attention 매트릭스를 찾는 데 중점을 두고 연구하며 E-SPA, U-SPA 및 Value-Skipinit의 3가지 방법을 제안합니다. 각 방법은 Attention 매트릭스를 사용합니다. 변압기를 제어하면 깊은 수심에서도 충실한 신호 전파가 가능합니다. 또한 섹션 3.3에서는 이러한 어텐션 매트릭스를 구현하기 위해 소프트맥스 어텐션을 수정하는 방법을 보여줍니다.

1. 아래 그림에서 연구에서는 제안된 두 가지 SPA 방식인 U-SPA와 E-SPA를 검증했습니다. 결과는 네트워크 붕괴 현상이 심할 때에도 바닐라 트랜스포머에서 순위 전용 주의를 성공적으로 피할 수 있음을 보여줍니다. .

2. Experiments

   WikiText-103 기준: 첫째, 이 연구는 잔여 연결이 없는 표준 깊은 변환기가 정규화 계층(LN)과 변환된 활성화가 있더라도 훈련할 수 없다는 것을 확인하지만 우리의 방법은 이 문제를 해결할 수 있습니다. 그림 2에서 볼 수 있듯이 표준 변압기에서 잔여 연결을 제거하면 훈련이 불가능해지고 훈련 손실은 약 7.5에서 안정화되는 것을 분명히 알 수 있습니다. 그림 1에서 볼 수 있듯이 표준 변압기는 랭크 붕괴로 어려움을 겪습니다.

   

   한편, 본 연구에서 제안한 E-SPA 방법은 U-SPA와 Value-Skipinit보다 성능이 뛰어납니다. 그러나 잔차와 LN이 있는 기본 변환기는 잔차가 없는 방법에 비해 훈련 속도 이점을 여전히 유지합니다.

   표 1에서 연구에서는 제안된 방법을 사용하여 MLP 블록에서 다양한 활성화 함수의 영향과 무잔류 변압기에서 LN의 사용을 평가합니다. 깊이 36에서 우리의 방법은 DKS 변환 GeLU, TAT 변환 Leaky ReLU 및 변환되지 않은 GeLU와 같은 일련의 활성화에 대해 우수한 훈련 성능을 달성하지만 변환되지 않은 Sigmoid는 달성하지 않음을 알 수 있습니다. 또한 레이어 정규화는 훈련 속도에 상대적으로 중요하지 않으며 활성화 사양을 제어하기 위한 메커니즘이 이미 내장되어 있는 SPA를 사용할 때 변환된 활성화에 해로울 수도 있다는 것이 실험적으로 나타났습니다.

   

   그림 3에서 추가 반복 없이 기본 변압기 훈련 손실을 일치시키는 한 가지 방법은 정규화된 잔여 연결을 사용하는 것임을 알 수 있습니다.

   

   표 2는 정규화된 잔차와 LN이 있는 E-SPA가 기본 PreLN 변환기보다 성능이 우수하다는 것을 보여줍니다.

   

   아래 그림 4(a)는 E-SPA가 다른 방법보다 더 나은 성능을 보인다는 것을 보여줍니다. 4(b)는 단순히 훈련 시간을 늘리면 훈련 손실 격차를 없앨 수 있음을 보여줍니다.

   

위 내용은 ICLR 블라인드 리뷰 단계에서 리뷰어들로부터 높은 평가를 받은 논문: Transformer 아키텍처의 주요 혁신이 될까요?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!