변환기 모델의 차원 축소는 줄어들고, 특정 계층의 구성 요소 중 90% 이상이 제거되면 LLM 성능은 변경되지 않습니다.

대형 모델 시대, 트랜스포머만으로도 과학 연구 분야 전체를 지원합니다. 출시 이후 Transformer 기반 언어 모델은 다양한 작업에서 뛰어난 성능을 보여주었습니다. 기본 Transformer 아키텍처는 자연어 모델링 및 추론 분야에서 최첨단 기술이 되었으며 컴퓨터 비전과 같은 분야에서도 유망한 것으로 나타났습니다. 강력한 전망을 보여줍니다

현재 Transformer 아키텍처는 매우 크고 일반적으로 훈련 및 추론을 위해 많은 컴퓨팅 리소스가 필요합니다

이것은 의도적인 것입니다. 왜냐하면 더 많은 매개변수나 데이터로 훈련된 Transformer는 분명히 다른 모델보다 더 큽니다. 그럼에도 불구하고, 점점 더 많은 연구 결과에 따르면 Transformer 기반 모델과 신경망은 학습된 가설을 보존하기 위해 모든 적합한 매개변수가 필요하지 않습니다.

일반적으로 대규모 과잉 매개변수화는 모델을 훈련할 때 도움이 되는 것처럼 보이지만 추론 전에 이러한 모델을 크게 정리할 수 있습니다. 연구에 따르면 신경망은 종종 제대로 수행되지 않고 가중치의 90% 이상을 제거할 수 있습니다. 감소. 이 현상으로 인해 연구자들은 모델 추론을 지원하는 가지치기 전략으로 눈을 돌리게 되었습니다. MIT와 Microsoft의 연구원들은 "진실은 거기에 있습니다: 레이어 선택 순위 감소를 통한 개선"이라는 제목의 논문에서 놀라운 발견이 이루어졌습니다. "언어 모델의 추론 능력" 논문. 그들은 Transformer 모델의 특정 레이어에서 미세한 가지치기를 하면 특정 작업에서 모델의 성능을 크게 향상시킬 수 있다는 것을 발견했습니다

Paper 주소: https://arxiv.org/pdf/2312.13558.pdf

• Paper 홈페이지: https://pratyushasharma.github.io/laser/
• 이 간단한 개입을 연구에서는 LASER(LAyer SElective Rank Reduction)라고 합니다. Transformer 모델에서 특이값 분해를 통해 특정 계층의 학습 가중치 행렬의 고차 성분을 선택적으로 줄여 LLM의 성능을 크게 향상시킵니다. 이 작업은 모델 훈련이 완료된 후에 수행할 수 있으며 추가 매개 변수나 데이터가 필요하지 않습니다.

작업 중에 모델별 가중치 행렬 및 레이어를 적용하여 가중치 감소가 수행됩니다. 또한 이 연구에서는 많은 유사한 행렬이 무게를 크게 줄일 수 있다는 사실을 발견했으며 일반적으로 구성 요소의 90% 이상이 제거될 때까지 성능 저하가 관찰되지 않았습니다.

이 연구에서는 또한 이러한 요소를 줄이면 정확도가 크게 향상될 수 있다는 사실도 발견했습니다. 흥미롭게도 이 발견은 자연어에만 적용되는 것이 아니라 강화 학습의 성능도 향상시킵니다.

또한 이 연구에서는 삭제를 통해 성능을 향상시키기 위해 고차 구성 요소에 무엇이 저장되어 있는지 추론하려고 시도합니다. 연구에 따르면 LASER를 사용하여 질문에 답한 후 원래 모델은 주로 빈도가 높은 단어(예: "the", "of" 등)를 사용하여 응답했습니다. 이 단어는 정답의 의미 유형과도 일치하지 않습니다. 즉, 개입하지 않으면 이러한 구성 요소로 인해 모델이 관련 없는 고주파 단어를 생성하게 됩니다

그러나 어느 정도 순위 감소를 수행한 후에는 모델의 답변은 올바른 답변으로 변환될 수 있습니다.

이를 이해하기 위해 연구에서는 나머지 구성 요소가 개별적으로 무엇을 인코딩하는지 조사하고 고차 특이 벡터만 사용하여 가중치 행렬을 근사화했습니다. 이들 구성요소는 정답과 동일한 의미 범주 내에서 서로 다른 응답이나 공통적으로 자주 등장하는 단어를 기술하는 것으로 나타났습니다.

이러한 결과는 시끄러운 고차 구성 요소가 저차 구성 요소와 결합될 때 충돌하는 응답이 평균 답변을 생성하며 이는 정확하지 않을 수 있음을 시사합니다. 그림 1은 Transformer 아키텍처와 LASER 이후의 절차를 시각적으로 보여줍니다. 여기서는 다층 퍼셉트론(MLP)의 특정 계층의 가중치 행렬이 해당 계층의 낮은 순위 근사값으로 대체됩니다.

LASER 개요

연구원은 LASER 개입에 대해 자세히 소개했습니다. 단일 단계 LASER 개입은 세 가지 매개변수(τ, ℓ 및 ρ)로 정의됩니다. 이러한 매개변수는 낮은 순위 근사로 대체될 행렬과 근사 정도를 함께 설명합니다. 연구자는 매개변수 유형에 따라 개입할 행렬을 분류합니다

연구원은 MLP(Multilayer Perceptron)와 Attention Matrix로 구성된 행렬 W = {W_q, W_k, W_v, W_o, U_in, U_out}에 중점을 둡니다. 힘 레이어의 구성. 레이어 수는 연구자 개입 수준을 나타내며 첫 번째 레이어의 지수는 0입니다. 예를 들어 Llama-2는 레벨이 32개이므로 ℓ ∈ {0, 1, 2,・・・31}

로 표현됩니다.

궁극적으로 ρ ∈ [0, 1)은 하위 순위 근사를 만들 때 최대 순위 중 어느 부분을 유지해야 하는지 설명합니다. 예를 들어 라고 가정하면 행렬의 최대 순위는 d입니다. 연구자들은 이를 ⌊ρ・d⌋- 근사로 대체했습니다.

다음 사항이 필요합니다. 아래 그림 1에는 LASER의 예가 나와 있습니다. 그림에서 기호 τ = U_in 및 ℓ = L은 MLP의 첫 번째 계층 가중치 행렬이 L번째 계층의 Transformer 블록에서 업데이트됨을 나타냅니다. 순위 k 근사치에서 k 값을 제어하기 위한 매개변수도 있습니다.

LASER는 네트워크의 특정 정보 흐름을 제한하고 예기치 않게 상당한 성능 이점을 제공할 수 있습니다. 이러한 개입은 임의의 순서로 일련의 개입을 적용하는 등 쉽게 결합할 수도 있습니다.

LASER 방법은 이러한 유형의 개입에 대한 단순한 검색일 뿐이며 최대 이익을 가져오도록 수정되었습니다. 그러나 이러한 개입을 결합하는 다른 방법이 많이 있으며 이는 향후 작업의 방향입니다.

실험 결과

실험 부분에서 연구원은 27개의 레이어와 60억 개의 매개 변수를 가진 PILE 데이터 세트에 대해 사전 훈련된 GPT-J 모델을 사용했습니다. 그런 다음 모델의 동작은 (주제, 관계 및 답변) 트리플 샘플이 포함된 CounterFact 데이터 세트에서 평가되며 각 질문에 대해 3개의 패러프레이징 프롬프트가 제공됩니다.

먼저 CounterFact 데이터 세트에서 GPT-J 모델을 분석했습니다. 그림 2는 Transformer 아키텍처의 각 행렬에 서로 다른 양의 순위 감소를 적용한 후 데이터 세트의 분류 손실에 미치는 영향을 보여줍니다. 각 Transformer 계층은 2계층 소형 MLP로 구성되며 입력 및 출력 행렬이 별도로 표시됩니다. 다양한 색상은 제거된 구성요소의 다양한 비율을 나타냅니다.

향상된 해석의 정확성과 견고성과 관련하여 위 그림 2와 아래 표 1에 표시된 것처럼 연구원들은 단일 레이어에서 순위 감소를 수행할 때 사실적 CounterFact 데이터세트의 GPT-J 모델 정확도가 13.1%에서 24.0%로 증가했습니다. 이러한 개선은 순위 감소의 결과일 뿐이며 모델의 추가 교육이나 미세 조정이 포함되지 않는다는 점에 유의하는 것이 중요합니다.

하위복원을 하면 어떤 사실이 복원되나요? 연구자들은 그림 3

에서 볼 수 있듯이 순위 감소를 통해 얻은 사실이 데이터 세트에 거의 나타나지 않을 가능성이 높다는 사실을 발견했습니다. 고차 구성 요소는 무엇을 저장합니까? 연구원들은 아래 그림 5(a)에 표시된 것처럼 (LASER와 같은 저차 구성 요소를 사용하는 대신) 고차 구성 요소를 사용하여 최종 중량 행렬을 근사화합니다. 그들은 아래 그림 5(b)에 표시된 것처럼 서로 다른 수의 고차 구성 요소를 사용하여 행렬을 근사할 때 예측 답변과 관련하여 실제 답변의 평균 코사인 유사성을 측정했습니다.

연구원들은 마침내 다중 언어 이해 작업에서 찾은 세 가지 LLM의 일반화 가능성을 평가했습니다. 각 작업에 대해 생성 정확도, 분류 정확도 및 손실이라는 세 가지 측정항목을 사용하여 모델 성능을 평가했습니다. 표 1의 결과에 따르면, 행렬의 순위가 크게 감소하더라도 모델의 정확도가 떨어지지는 않고 대신 모델의 성능을 향상시킬 수 있습니다

위 내용은 변환기 모델의 차원 축소는 줄어들고, 특정 계층의 구성 요소 중 90% 이상이 제거되면 LLM 성능은 변경되지 않습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!