昨年 12 月、新しいアーキテクチャ Mamba が AI サークルを爆発させ、永遠に存在する Transformer への挑戦を開始しました。本日、Google DeepMind「Hawk」と「Griffin」のリリースにより、AI サークルに新しいオプションが提供されます。
今回、Google DeepMindは基本モデルの面で新たな動きを見せました。 リカレント ニューラル ネットワーク (RNN) が深層学習と自然言語処理研究の初期に中心的な役割を果たし、Google の初のエンドツーエンド機械翻訳システムを含む多くのアプリケーションで実用的な結果を達成したことはわかっています。 。しかし、近年、ディープ ラーニングと NLP は、多層パーセプトロン (MLP) とマルチヘッド アテンション (MHA) を組み合わせた Transformer アーキテクチャによって主流になっています。 Transformer は、実際には RNN よりも優れたパフォーマンスを達成しており、最新のハードウェアを活用する際にも非常に効率的です。 Transformer ベースの大規模言語モデルは、Web から収集された大規模なデータセットでトレーニングされ、目覚ましい成功を収めています。 大きな成功を収めたとはいえ、Transformer アーキテクチャにはまだ欠点があります。たとえば、グローバル アテンションの 2 次複雑さのため、Transformer を長いシーケンスに効果的に拡張するのは困難です。さらに、キー/値 (KV) キャッシュはシーケンスの長さに応じて直線的に増加するため、推論中に Transformer の速度が低下します。この時点で、リカレント言語モデルが代替手段となり、シーケンス全体を固定サイズの隠れ状態に圧縮し、反復的に更新できます。しかし、Transformer を置き換えたい場合、新しい RNN モデルはスケーリングにおいて同等のパフォーマンスを示すだけでなく、同様のハードウェア効率も達成する必要があります。 Google DeepMind による最近の論文で、研究者らは新しいゲート線形ループ層である RG-LRU 層を提案し、マルチクエリ アテンション (MQA) を置き換えるためにその周囲に新しいループ ブロックを設計しました。 彼らはこのループ ブロックを使用して 2 つの新しいモデルを構築しました。 1 つは MLP とループ ブロックを混合したモデル Hawk で、もう 1 つは MLP とループ ブロックとローカル アテンションを混合したモデル Griffin です。 
- 論文のタイトル: Griffin: Mixing Gated Linear Recurrences with Local Attendances for Efficient Language Models
- 論文のリンク: https://arxiv.org/pdf/2402.19427.pdf
研究者らは、トランスフォーマーで以前に観察されたように、ホークとグリフィンはホールドアウト損失とトレーニング FLOP の間で最大 7B パラメータまでのべき乗則スケーリングを示すと述べています。その中でも、Griffin は、すべてのモデル サイズにおいて、強力な Transformer ベースラインよりわずかに低いホールドアウト損失を達成しています。
研究者らは、さまざまなモデルサイズの 300B トークンでホークとグリフィンをオーバートレーニングしました。その結果、トレーニングされたトークンの数は半分であったにもかかわらず、下流タスクのパフォーマンスにおいてホーク 3B がマンバ 3B を上回ったことが示されました。後者。 Griffin-7B と Griffin-14B は、わずか 1/7 のトークン数でトレーニングされているにもかかわらず、Llama-2 と同等のパフォーマンスを発揮します。
さらに、ホークとグリフィンは、TPU-v3 上のトランスフォーマーに匹敵するトレーニング効率を達成しました。対角 RNN 層はメモリに制約があるため、研究者らはこれを実現するために RG-LRU 層のカーネルを使用しました。
推論中も、Hawk と Griffin は両方とも MQA Transformer よりも高いスループットを達成し、長いシーケンスをサンプリングする際のレイテンシーを低く抑えます。 Griffin は、評価されるシーケンスがトレーニングで観察されたシーケンスよりも長い場合に、Transformers よりも優れたパフォーマンスを発揮し、トレーニング データからコピーおよび取得タスクを効果的に学習できます。ただし、事前トレーニングされたモデルを微調整せずにコピーおよび正確な検索タスクで評価した場合、ホークとグリフィンのパフォーマンスはトランスフォーマーよりも悪かった。
共著者で DeepMind の研究科学者である Alexandar Botev 氏は、ゲート線形ループとローカル アテンションを組み合わせたモデルである Griffin は、RNN の高効率の利点と Transformer の表現能力をすべて保持しており、さらに拡張することができると述べました。 14Bパラメータスケールまで。 ️以来
Griffin Model ArchitectureGriffin 모든 모델에는 (i) 잔여 블록, (ii) MLP 블록, (iii) 시간 혼합 블록 등의 구성 요소가 포함되어 있습니다. (i)와 (ii)는 모든 모델에서 동일하지만 3개의 시간적 혼합 블록이 있습니다: 전역 다중 쿼리 주의(MQA), 로컬(슬라이딩 윈도우) MQA 및 본 논문에서 제안하는 순환 블록입니다. 연구진은 순환 블록의 일부로 선형 순환 단위에서 영감을 받은 새로운 순환 계층인 RG-LRU(Really Gated Linear Recurrent Unit)를 사용했습니다. 그림 2(a)에 표시된 것처럼 잔차 블록은 사전 표준Transformer에서 영감을 받은 그리핀 모델의 전역 구조를 정의합니다. 입력 시퀀스를 삽입한 후 ?(?는 모델 깊이를 나타냄)와 같은 블록을 통과한 다음 RMSNorm을 적용하여 최종 활성화를 생성합니다. 토큰 확률을 계산하기 위해 최종 선형 레이어가 적용된 다음 소프트맥스가 적용됩니다. 이 레이어의 가중치는 입력 임베딩 레이어와 공유됩니다. 
반복 모델, Transformer에 필적하는 확장 효율성 확장 연구는 확장 시 모델의 하이퍼 매개변수와 동작을 조정하는 방법에 대한 중요한 통찰력을 제공합니다. 연구원들은 이 연구에서 평가된 모델을 정의하고, 최대 7B 매개변수 이상의 확장 곡선을 제공하고, 다운스트림 작업에서 모델 성능을 평가했습니다. 그들은 3가지 모델 계열을 고려했습니다. (1) MQA-Transformer 기준선, (2) Hawk: 순수 RNN 모델, (3) Griffin: 반복 블록과 로컬 주의를 혼합한 하이브리드 모델입니다. 다양한 크기의 모델에 대한 주요 모델 하이퍼파라미터는 부록 C에 정의되어 있습니다. Hawk 아키텍처는 Transformer 기준선과 동일한 잔여 패턴 및 MLP 블록을 사용하지만 연구원들은 MQA 대신 시간 혼합 블록으로 RG-LRU 레이어가 있는 순환 블록을 사용했습니다. 그들은 둘 다 동일한 모델 치수 τ를 사용할 때 MHA 블록의 매개변수 수와 대략 일치하도록 루프 블록의 너비를 약 4/3(즉, ?_??? ?4?/3)만큼 확장했습니다. 그리핀. 글로벌 어텐션에 비해 순환 블록의 주요 장점은 고정된 상태 크기를 사용하여 시퀀스를 요약하는 반면 MQA의 KV 캐시 크기는 시퀀스 길이에 비례하여 증가한다는 것입니다. 로컬 어텐션은 동일한 속성을 가지며 반복 블록과 로컬 어텐션을 혼합하면 이러한 이점이 보존됩니다. 연구자들은 국소적 관심이 최근 과거를 정확하게 모델링할 수 있고 순환 레이어가 긴 시퀀스에 걸쳐 정보를 전달할 수 있기 때문에 이 조합이 매우 효율적이라는 것을 발견했습니다. Griffin은 Transformer 기준선과 동일한 잔여 패턴 및 MLP 블록을 사용합니다. 그러나 MQA Transformer 기준선 및 Hawk 모델과 달리 Griffin은 루프 블록과 MQA 블록을 혼합하여 사용합니다. 구체적으로 우리는 두 개의 잔여 블록을 순환 블록과 로컬(MQA) 어텐션 블록으로 교대로 교체하는 계층 구조를 채택합니다. 달리 명시하지 않는 한 로컬 주의 창 크기는 1024개 토큰으로 고정됩니다. 주요 스케일링 결과는 그림 1(a)에 나와 있습니다. Griffin에는 140억 개의 매개변수 버전이 있지만 세 가지 모델 계열 모두 1억에서 70억 개의 매개변수 범위에 이르는 모델 크기에 대해 훈련되었습니다. 다운스트림 작업에 대한 
호크와 그리핀 둘 다 정말 잘 놀았어요. 위 표는 MMLU, HellaSwag, PIQA, ARC-E 및 ARC-C에 대한 기능 정규화된 정확도를 보고하는 동시에 WinoGrande에 대한 절대 정확도 및 부분 점수를 보고합니다. 모델의 크기가 증가함에 따라 Hawk의 성능도 크게 향상되며 Hawk-3B는 다운스트림 작업에서 Mamba-3B보다 더 나은 성능을 발휘합니다. 단, 훈련하는 토큰 수는 Mamba-3B의 절반에 불과합니다. Griffin-3B는 Mamba-3B보다 훨씬 더 나은 성능을 발휘하며, Griffin-7B 및 Griffin-14B는 거의 7배 적은 토큰으로 훈련되었음에도 불구하고 Llama-2와 비슷한 성능을 발휘합니다. Hawk는 MQA Transformer 기준과 비슷하지만 Griffin은 이를 능가합니다. 장치 측에서 루프 모델을 효율적으로 훈련합니다.모델을 개발하고 확장할 때 연구원들은 두 가지 주요 엔지니어링 문제에 직면했습니다. 첫째, 여러 장치에서 처리 모델을 효율적으로 샤딩하는 방법입니다. 둘째, 선형 루프를 효과적으로 구현하여 TPU 훈련 효율성을 극대화하는 방법입니다. 이 기사에서는 이 두 가지 과제에 대해 논의한 다음 Griffin 및 MQA 기준의 훈련 속도에 대한 경험적 비교를 제공합니다. 연구원들은 훈련 과정 중 이 기사에서 모델의 계산 이점을 연구하기 위해 다양한 모델 크기와 시퀀스 길이의 훈련 속도를 비교했습니다. 배치당 총 토큰 수는 각 모델 크기에 대해 고정되어 유지됩니다. 즉, 시퀀스 길이가 증가하면 시퀀스 수가 비례적으로 감소합니다. 그림 3은 2048 시퀀스 길이에서 Griffin 모델과 MQA 기준 모델의 상대적 실행 시간을 나타냅니다. 
LLM의 추론은 두 단계로 구성됩니다. "미리 채우기" 단계에서는 프롬프트를 수신하고 처리합니다. 이 단계에서는 실제로 모델에 대해 정방향 전달을 수행합니다. 프롬프트는 시퀀스 전반에 걸쳐 병렬로 처리될 수 있으므로 이 단계의 대부분의 모델 작업은 계산적으로 바인딩됩니다. 따라서 채우기 전 단계의 Transformers 모델과 루프 모델의 상대 속도는 이전에 설명한 것과 동일할 것으로 예상됩니다. 훈련 중 상대 속도는 비슷했습니다. 사전 채우기 후에는 연구원이 자동 회귀적으로 모델에서 토큰을 추출하는 디코딩 단계입니다. 아래에 표시된 것처럼 특히 관심에 사용되는 키-값(KV) 캐시가 커지는 긴 시퀀스 길이의 경우 반복 모델은 디코딩 단계에서 지연 시간이 짧고 처리량이 높습니다. 추론 속도를 평가할 때 고려해야 할 두 가지 주요 지표가 있습니다. 첫 번째는 특정 배치 크기에서 지정된 수의 토큰을 생성하는 데 필요한 시간을 측정하는 대기 시간입니다. 두 번째는 처리량으로, 단일 장치에서 지정된 수의 토큰을 샘플링할 때 초당 생성될 수 있는 최대 토큰 수를 측정합니다. 처리량은 샘플링된 토큰 수에 배치 크기를 곱하고 대기 시간으로 나누어 계산되므로 대기 시간을 줄이거나 메모리 사용량을 줄여 장치에서 더 큰 배치 크기를 사용하여 처리량을 늘릴 수 있습니다. 대기 시간을 고려하면 빠른 응답 시간이 필요한 실시간 애플리케이션에 유용합니다. 처리량은 주어진 시간에 특정 모델에서 샘플링할 수 있는 최대 토큰 수를 알려주므로 고려해 볼 가치가 있습니다. 이 속성은 인간 피드백 기반 강화 학습(RLHF) 또는 언어 모델 출력 채점(AlphaCode에서 수행됨)과 같은 다른 언어 응용 프로그램을 고려할 때 매력적입니다. 특징. 여기서 연구자들은 매개변수 1B를 사용하여 모델의 추론 결과를 연구했습니다. 기준선 측면에서는 문헌에서 일반적으로 사용되는 표준 MHA Transformer보다 추론 중에 훨씬 빠른 MQA Transformer와 비교됩니다. 연구원들이 비교한 모델은 i) MQA 변환기, ii) Hawk 및 iii) Griffin입니다. 다양한 모델을 비교하기 위해 대기 시간과 처리량을 보고합니다. 그림 4에서 볼 수 있듯이 연구원들은 배치 크기 16, 빈 사전 채우기 및 4096개 토큰 사전 채우기로 모델의 대기 시간을 비교했습니다. 
그림 1(b)는 빈 힌트 이후 각각 512, 1024, 2048 및 4196 토큰을 샘플링할 때 동일한 모델의 최대 처리량(토큰/초)을 비교합니다. 이 백서는 또한 다음 토큰 예측을 개선하기 위해 더 긴 컨텍스트를 사용하는 Hawk 및 Griffin의 효율성을 탐구하고 추론 중 추정 능력을 조사합니다. 복사 및 검색 능력이 필요한 작업에 대한 Griffin의 성능도 이러한 작업에 대해 훈련된 모델과 사전 훈련된 언어 모델을 사용하여 이러한 능력을 테스트할 때 모두 탐구됩니다. 그림 5의 왼쪽 그래프에서 특정 최대 길이 범위 내에서 Hawk와 Griffin 모두 더 긴 맥락에서 다음 토큰의 예측 능력을 향상시킬 수 있으며 전반적으로 가능하다는 것을 알 수 있습니다. 훈련할 때보다 더 긴 시퀀스(최소 4배)를 추론합니다. 특히 Griffin은 Local Attention Layer에서 RoPE를 사용해도 추론 성능이 매우 뛰어납니다. 
그림 6과 같이 선택적 복사 작업에서는 3개 모델 모두 완벽하게 작업을 완료할 수 있습니다. 이 작업에 대한 학습 속도를 비교할 때 Hawk는 Transformer보다 상당히 느립니다. 이는 Mamba가 유사한 작업에서 상당히 느리게 학습했다는 것을 발견한 Jelassi et al.(2024)의 관찰과 유사합니다. 흥미롭게도 Griffin은 Local Attention 레이어만 사용하더라도 학습 속도가 거의 느려지지 않으며 Transformer의 학습 속도와 비슷합니다. 
以上がRNN の効率は Transformer に匹敵し、Google の新しいアーキテクチャは 2 回連続でリリースされています。同じ規模の Mamba よりも強力ですの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。
