ICML2024 최고 점수! 마법처럼 주의력을 수정하여 작은 모델이 큰 모델보다 두 배 더 싸울 수 있도록 합니다.

Transformer의 핵심 메커니즘을 집중적으로 개선하여 작은 모델을 두 배 더 크게 모델링할 수 있습니다!

ICML+2024 높은 점수를 받은 논문에서 Caiyun Technology 팀은 Transformer 핵심 구성요소 주의 모듈(MHA)을 대체하기 위해 DCFormer 프레임워크를 구축하고 동적으로 결합 가능한 다중 헤드 주의(DCMHA)를 제안했습니다.

DCMHA는 MHA 어텐션 헤드의 검색 선택 루프와 변환 루프의 고정 바인딩을 제거하여 입력을 기반으로 동적으로 결합할 수 있도록 하여 모델의 표현 능력을 근본적으로 향상시킵니다.

원래 의미는 각 레이어에 H개의 어텐션 헤드가 고정되어 있다는 것입니다. 이제 기본적으로 각 레이어에 H개의 어텐션 헤드가 고정되어 있다는 의미로 이해하면 됩니다. 이제 거의 동일한 양의 매개변수와 컴퓨팅 성능을 사용하여 최대 1개까지 동적으로 결합할 수 있습니다. HxH 주의 머리. 세밀하게 조정된 내용은 다음과 같이 원문의 의미를 보다 명확하게 표현할 수 있습니다. 원본 모델의 각 레이어에는 고정된 수의 H Attention 헤드가 포함되어 있습니다. 이제

DCMHA 플러그 앤 플레이를 사용하여 모든 Transformer 아키텍처의 MHA를 대체하여 다재다능하고 효율적이며 확장 가능한 새로운 아키텍처 DCFormer를 얻을 수 있습니다.

이 작업은 베이징 우편통신대학교 연구원과 AI 스타트업 Caiyun Technology가 공동으로 완료했습니다.

DCFormer를 기반으로 연구원들이 구축한 모델 DCPythia-6.9B는 사전 훈련 복잡성 및 다운스트림 작업 평가 측면에서 오픈 소스 Pythia-12B보다 우수합니다.

DCFormer 모델은 1.7~2배 더 많은 계산이 필요한 Transformer 모델과 성능면에서 비슷합니다.

멀티 헤드 어텐션 모듈의 한계는 무엇입니까?

대형 모델의 확장 법칙은 컴퓨팅 성능이 증가할수록 모델이 더 커지고 더 많은 데이터를 가지며 모델 효과가 점점 더 좋아진다는 것을 알려줍니다. 이 도로의 천장이 얼마나 높은지, AGI에 도달할 수 있는지 명확하게 설명할 수는 없지만 현재로서는 이것이 가장 일반적인 접근 방식입니다.

그러나 이 외에도 또 다른 질문도 생각해 볼 가치가 있습니다. 현재 대형 모델의 대부분은 Transformer를 기반으로 하며 빌딩 블록으로서 Transformer 자체가 하나씩 구성됩니다. 개선의 여지가 얼마나 있습니까?

이것은 모델 구조 연구에서 대답해야 할 기본 질문이자 Caiyun Technology와 베이징 우편 통신 대학이 공동으로 완성한 DCFormer 작업의 출발점이기도 합니다.

Transformer의 다중 헤드 어텐션 모듈 (MHA) 에서 각 어텐션 헤드는 서로 완전히 독립적으로 작동합니다.

이 디자인은 단순성과 구현 용이성으로 인해 실제로 큰 성공을 거두었지만, 표현 능력을 약화시키는 Attention Score 매트릭스의 낮은 순위와 Attention 헤드 기능 낭비의 반복적인 중복을 초래합니다. 매개 변수 및 계산 리소스 및 기타 단점. 이를 바탕으로 최근 몇 년 동안 일부 연구에서는 주의 머리 사이에 어떤 형태의 상호 작용을 도입하려고 시도했습니다.

변압기 루프 이론에 따르면 MHA에서 각 어텐션 헤드의 동작은 4개의 가중치 행렬 W^Q, W^K, W^V, W^O로 설명됩니다(여기서 WO^{는 다음에서 구함). MHA의 출력 투영 행렬 분할)}.

그 중에서 W

Q^WK^{를 QK 루프}(또는 검색 선택 루프)라고 하며, 이는 현재 토큰에서 초점을 맞출 컨텍스트 내 (일부) 토큰을 결정합니다. 예를 들면 다음과 같습니다.

W

O^WV^{은 OV 루프}(또는 투영 변환 루프)라고 하며, 이는 관심 토큰에서 검색할 정보(또는 투영할 속성)를 결정합니다. 현재 위치의 잔여 스트림에 쓴 후 다음 토큰을 예측합니다. 예를 들면 다음과 같습니다.

연구원들은 검색(얻을 위치)과 변환(무엇을 얻을 것인가)이 원래 두 개의 독립적인 항목이므로 별도로 지정하고 필요에 따라 자유롭게 결합해야 한다는 점에 주목했습니다(SQL 쿼리에서와 마찬가지로 선택). WHERE 뒤의 조건과 SELECT 뒤의 속성 투영은 별도로 작성됨) MHA는 이를 어텐션 헤드와 함께 QKOV에 "번들"하도록 강제하므로 유연성과 표현 기능이 제한됩니다.

예를 들어 QK 및 OV 루프가 위의 예 =를 완성할 수 있는 주의 헤드 A, B, C가 있는 모델이 있다고 가정하고 이를 다음으로 대체합니다.

교차해야 합니다. 기존 어텐션 헤드 QK와 OV 루프를 결합하면 모델이 "돌아오지 못할" 수 있습니다(연구원 시스템에서 구성한 합성 테스트 세트로 확인됨,

오랜 관심의 역동적인 조합은 어떤 모습인가요?

이를 출발점으로 본 기사의 연구팀은 MHA에서 compose 연산을 도입했습니다.

아래 그림과 같이 DCMHA를 얻습니다.

Δ그림 1. The DCMHA

의 전체 구조는 QW^Q입니다. 및 KW^K에 의해 계산된 주의 점수 행렬 A^S 및 주의 가중치 행렬 A^W는 num_heads 차원에 선형적으로 매핑되어 이전에 새로운 행렬 A'를 얻습니다. 다양한 선형 매핑 행렬 ^{(구성 맵)} 을 통해 VWV을 곱하여 다양한 주의 머리 조합의 효과를 얻습니다.

예를 들어 그림 2(c)에서 헤드 3과 7의 QK 루프는 헤드 1의 OV 루프와 결합되어 "새로운" 어텐션 헤드를 형성합니다.

Δ 그림 2. 8개의 주의 머리의 단순화된 일반적인 구성 맵 기능, 밝은 색상은 큰 값을 나타냄

표현 능력을 극대화하기 위해 연구자들은 매핑 행렬이 다음과 같이 동적으로 구동되기를 바랍니다. 입력 생성 , 즉 주의 헤드가 결합되는 방식을 동적으로 결정합니다.

그러나 그들이 생성하려는 매핑 행렬은 하나가 아니지만 이러한 행렬은 시퀀스의 소스 위치에 있는 쿼리 Q_i와 대상 위치에 있는 키 K_j에 대해 생성되어야 합니다. 계산 오버헤드와 메모리 사용량 모두 수용하기 어려울 것입니다.

이를 위해 그들은 매핑 행렬을 입력 독립적인 정적 행렬 W_b, 낮은 순위 행렬 w₁w₂ 및 대각 행렬 Diag(w_{g의 합으로 더 분해합니다.} ), 이들은 각각 기본 조합, 제한된 방식의 동적 조합 (예: 순위 R 주의 머리와 머리 자체의 동적 게이팅 을 담당합니다(그림 2(d) 및 그림 3 참조). (b)) . 후자의 두 행렬은 Q 행렬과 K 행렬에 의해 동적으로 생성됩니다.

효과를 희생하지 않고 계산 및 매개변수 복잡성을 거의 무시할 수 있는 수준으로 줄입니다(자세한 내용은 논문의 복잡성 분석 참조). JAX 및 PyTorch 구현 수준 최적화와 결합된 DCFormer는 효율적으로 훈련하고 추론할 수 있습니다.

Δ그림 3. Compose의 계산

은 어떻게 되나요?

Scale 확장

아키텍처의 품질을 평가하기 위해 연구자들이 중점을 두는 핵심 지표는 컴퓨팅 파워를 지능으로 변환하는 효율성(또는 성능 컴퓨팅 파워 비율), 즉 달성할 수 있는 모델 성능입니다. 단위 컴퓨팅 성능 투자를 통해 개선 - 컴퓨팅 성능을 덜 소비하고 더 나은 모델을 얻습니다.

그림 4와 그림 5의 스케일링 법칙 곡선에서 알 수 있습니다(대수 좌표에서 각 모델 아키텍처의 손실은 컴퓨팅 성능이 변화함에 따라 대략적인 직선으로 그려질 수 있습니다. 손실이 낮을수록 좋습니다. 모델) , DCFormer는 컴퓨팅 파워가 1.7~2배 향상된 Transformer 모델의 효과, 즉 컴퓨팅 파워의 지능적 변환율이 1.7~2배 증가하는 효과를 얻을 수 있습니다.

Δ그림 4. Transformer 및 DCFormer의 규모 확장 효과

Δ그림 5. Pythia 및 DCPythia의 규모 확장 효과

이 개선 사항을 어떻게 이해합니까?

2017년 Transformer가 탄생한 이후 성능 및 컴퓨팅 파워 비율 향상의 관점에서 GLU MLP 및 회전 위치 인코딩 RoPE는 보편적으로 효과가 입증되고 대규모 환경에서 널리 채택되는 몇 안 되는 아키텍처 개선 중 두 가지입니다. 실천 횟수.

원래 Transformer에 이 두 가지 개선 사항을 추가한 아키텍처를 Transformer++라고도 합니다. Llama 및 Mistral과 같은 가장 강력한 오픈 소스 모델은 모두 이 아키텍처를 사용합니다. Transformer 또는 Transformer++ 아키텍처에 관계없이 DCMHA를 통해 상당한 개선을 얻을 수 있습니다.

1.4B 모델 규모에서는 Transformer++의 두 가지 개선 사항을 합친 것보다 DCMHA의 개선 정도가 더 크며, 확장성이 더 좋습니다(그림 4의 청록색 선과 검은색 선을 비교하면 DCMHA의 개선 정도) 컴퓨팅 성능이 증가함에 따라 감쇠하는 속도가 느려지며 그림 4와 그림 5의 비교).

DCFormer는 Transformer의 기능을 새로운 차원으로 끌어올렸다고 할 수 있습니다.

다운스트림 작업 평가

연구팀은 주류 NLP 다운스트림 작업을 평가하기 위해 DCPythia-2.8B와 DCPythia-6.9B 두 가지 모델을 훈련하고 이를 동일한 규모의 오픈 소스 모델 Pythia와 비교했습니다(훈련에서는 동일한 하이퍼파라미터는 Pythia 설정으로) .

Δ표 1. 다운스트림 작업에서 DCFormer 및 Pythia의 성능

표 1에서 볼 수 있듯이 DCPythia-2.8B 및 6.9B는 Pile 검증 세트에서 ppl이 낮을 뿐만 아니라 ppl도 낮습니다. 대부분의 경우 다운스트림 작업에서 Pythia를 훨씬 능가합니다. ppl 및 다운스트림 작업에서 DCPythia6.9B의 평균 정확도는 Pythia-12B를 훨씬 능가합니다.

DCFormer++2.8B는 DCPythia-2.8B에 비해 더욱 개선되어 DCMHA와 Lllama 아키텍처 조합의 효율성을 검증합니다.

훈련 및 추론 속도

DCMHA의 도입으로 추가적인 훈련 및 추론 오버헤드가 발생하지만 표 2에서 DCFormer++의 훈련 속도는 Transformer++의 74.5%-89.2%, 추론 속도는 81.1%임을 알 수 있습니다. -89.7%이며 모델 매개변수가 증가함에 따라 추가 계산 오버헤드는 점차 감소합니다.

Δ표 2. Transformer++와 DCFormer++의 훈련 속도와 추론 속도 비교

훈련 속도는 TPU v3 Pod, 시퀀스 길이가 2048, 추론 속도가 A100 80G GPU일 때 비교됩니다. 입력 길이는 1024이고 생성된 길이는 128입니다.

Ablation 실험

결과는 다음과 같습니다.

ΔTable 3. DCMHA의 Ablation 실험

Table 3에서 다음과 같은 점을 확인할 수 있습니다.

• 정적 조합 가중치를 추가하면 ppl을 줄일 수 있지만, 그러나 동적 조합 가중치를 도입하면 ppl을 더욱 줄일 수 있으며 이는 동적 조합의 필요성을 보여줍니다.
• 낮은 순위의 동적 조합은 동적 게이팅보다 더 나은 성능을 발휘합니다.
• 쿼리별 또는 키별 동적 조합만을 사용하여 얻은 ppl은 매우 유사하며 DCFormer++와의 격차는 매우 작습니다.
• 소프트맥스 이전보다 소프트맥스 이후에 어텐션 헤드 조합을 하는 것이 더 효과적입니다. 아마도 소프트맥스 이후의 확률이 출력에 더 직접적인 영향을 미칠 수 있기 때문일 것입니다.
• 동적 조합 가중치 순위를 너무 크게 설정할 필요는 없으며, 이는 조합 가중치 순위가 낮다는 의미이기도 합니다.

또한 연구원들은 로컬 어텐션 레이어의 비율을 높이고 쿼리별 동적 조합만 사용하여 훈련 및 추론 오버헤드를 더욱 줄였습니다. 자세한 내용은 논문의 표 10을 참조하세요.

일반적으로 연구팀은 두 가지 결론을 내립니다.

동적 가중치 정보: Mamba, GLA, RWKV6, HGRN 등과 같은 최근 SSM 및 선형 어텐션/RNN 작업에서는 동적(입력 종속) 가중치를 도입하여 Transformer++를 따라잡았지만 DCFormer는 어텐션 헤드의 동적 조합을 사용합니다. 이 방법은 소프트맥스 어텐션을 사용할 때 동적 가중치를 도입함으로써 Transformer++의 효과가 크게 향상될 수 있음을 보여줍니다.

모델 아키텍처 혁신 정보: 이 작업은 극도의 컴퓨팅 성능과 지능형 변환 효율성을 갖춘 "이상적인 모델 아키텍처"가 있다면 현재의 Transformer 아키텍처가 이미 매우 강력하지만 아직 갈 길이 멀다는 것을 보여줍니다. 이 이상적인 아키텍처에서 벗어나려면 아직 개선의 여지가 많습니다. 따라서 컴퓨팅 파워와 데이터를 쌓아 기적의 힘찬 발전을 이루는 것 외에도 모델 아키텍처의 혁신도 큰 잠재력을 가지고 있습니다.

연구팀은 또한 Caiyun Technology가 자사 제품 Caiyun Weather, Caiyun Xiaoyi 및 Caiyun Xiaomeng에 DCformer를 최초로 적용할 것이라고 밝혔습니다.

자세한 연구 내용은 원문을 참고해주세요.

ICML2024 논문 링크: https://icml.cc/virtual/2024/poster/34047.
Arxiv 논문 링크: https://arxiv.org/abs/2405.08553.
코드 링크: https://github.com/Caiyun-AI/DCFormer.

위 내용은 ICML2024 최고 점수! 마법처럼 주의력을 수정하여 작은 모델이 큰 모델보다 두 배 더 싸울 수 있도록 합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!