처음으로 "Teaching Director"가 모델 증류에 도입되었으며 대규모 압축은 24개의 SOTA 방법보다 우수합니다.

점점 더 깊어지는 딥 러닝 모델과 대규모 비디오 빅 데이터에 직면하여 인공 지능 알고리즘은 컴퓨팅 리소스에 점점 더 의존하고 있습니다. 본 논문에서는 딥 모델의 성능과 효율성을 효과적으로 향상시키기 위해 모델의 증류성과 희소성을 탐색하여 "Dean-teacher-student" 모델을 기반으로 한 통합 모델 압축 기술을 제안합니다.

이 성과는 인민과학원과 중국과학원 자동화 연구소의 공동 연구팀이 완성한 것이며, 해당 논문은 인공지능 분야 최고 국제 저널인 IEEE Transactions on Pattern에 게재되었습니다. 분석 및 기계 지능(TPAMI). 이번 성과는 모델 증류 기술에 '교육 감독' 역할이 도입되어 심층 모델의 증류 및 조정을 통합한 최초의 성과입니다.

논문주소: https://ieeeexplore.ieee.org/abstract/document/9804342

현재 이 결과는 피플스가 독자적으로 개발한 크로스모달 지능형 검색엔진에 적용되고 있습니다. 과학과 기술. "하얀 연못". "Baize"는 그래픽, 텍스트, 오디오 및 비디오와 같은 다양한 양식 간의 정보 표현의 장벽을 허물고 텍스트, 그림, 음성 및 비디오와 같은 다양한 양식 정보를 비디오를 핵심으로 하는 통합 기능 표현 공간으로 매핑합니다. 다중 양식 통합 거리 측정을 사용하면 텍스트, 음성, 비디오 등 다중 모드 콘텐츠의 의미론적 격차를 해소하여 통합 검색 기능을 얻을 수 있습니다.

그러나 방대한 인터넷 데이터, 특히 비디오 빅데이터에 직면하여 크로스 모달 딥 모델에 의한 컴퓨팅 리소스 소비가 점차 증가하고 있습니다. 이 연구 결과를 바탕으로 "Baize"는 알고리즘 성능을 보장하면서 모델 크기를 대규모로 압축할 수 있어 높은 처리량과 저전력 교차 모달 지능형 이해 및 검색 기능을 달성할 수 있습니다. 예비 실용화에 따르면 이 기술은 대형 모델의 매개변수 규모를 평균 4배 이상 압축할 수 있는 것으로 나타났다. 한편으로는 GPU 서버와 같은 고성능 컴퓨팅 리소스의 모델 소비를 크게 줄일 수 있는 반면, 엣지에 배포할 수 없는 대형 모델을 정제 및 압축하여 저전력 배포를 달성할 수 있습니다. 가장자리.

모델 압축을 위한 연합 학습 프레임워크

심층 알고리즘 모델의 압축 및 가속은 증류 학습이나 구조화된 희소 클리핑을 통해 달성할 수 있지만 두 분야 모두에는 몇 가지 제한 사항이 있습니다. 증류 학습 방법의 경우, 복잡하고 큰 모델(즉, 교사 네트워크)을 시뮬레이션하기 위해 경량 모델(즉, 학생 네트워크)을 훈련하는 것을 목표로 합니다. 교사 네트워크의 지도 하에 학생 네트워크는 훈련만 실시하는 것보다 더 나은 성과를 달성할 수 있습니다.

그러나 증류 학습 알고리즘은 학생 네트워크의 성능 향상에만 초점을 맞추고 네트워크 구조의 중요성을 무시하는 경우가 많습니다. 학생 네트워크의 구조는 일반적으로 훈련 과정에서 미리 정의되고 고정됩니다.

구조화된 희소 클리핑 또는 필터 클리핑의 경우 이러한 방법은 중복되고 복잡한 네트워크를 희소하고 컴팩트한 네트워크로 클리핑하는 것을 목표로 합니다. 그러나 모델 자르기는 컴팩트한 구조를 얻기 위해서만 사용됩니다. 기존 방법 중 어느 것도 원래의 복잡한 모델에 포함된 "지식"을 최대한 활용하지 못합니다. 최근 연구에서는 모델 성능과 크기의 균형을 맞추기 위해 증류 학습과 구조화된 희소 가지치기를 결합했습니다. 그러나 이러한 방법은 손실 함수의 단순한 조합으로 제한됩니다.

위의 문제를 심층적으로 분석하기 위해 본 연구에서는 먼저 압축 센싱을 기반으로 모델을 학습시켰으며, 모델 성능과 구조를 분석하여 심층 알고리즘 모델의 두 가지 중요한 속성인 증류 가능성과 희소성을 발견했습니다. .(희소성).

구체적으로 증류 가능성은 교사 네트워크에서 증류할 수 있는 효과적인 지식의 밀도를 의미합니다. 이는 교사 네트워크의 지도 하에 학생 네트워크가 달성한 성과 향상으로 측정할 수 있습니다. 예를 들어, 증류 가능성이 높은 학생 네트워크는 더 높은 성능을 달성할 수 있습니다. 증류 가능성은 네트워크 계층 수준에서 정량적으로 분석될 수도 있습니다.

그림 1-(a)와 같이 막대 그래프는 증류 학습 손실 기울기와 참값 분류 손실 기울기 사이의 코사인 유사성(Cosine 유사성)을 나타냅니다. 코사인 유사성이 클수록 현재 증류에 대한 지식이 모델 성능에 더 도움이 된다는 것을 나타냅니다. 이런 방식으로 코사인 유사성은 증류 가능성의 척도가 될 수도 있습니다. 그림 1-(a)에서 모델 레이어의 개수가 깊어질수록 증류성이 점차 증가하는 것을 볼 수 있습니다. 이는 또한 증류 학습에 일반적으로 사용되는 감독이 모델의 마지막 몇 레이어에 적용되는 이유를 설명합니다. 더욱이, 다양한 훈련 라운드에서 학생 모델은 훈련 시간이 변함에 따라 코사인 유사성도 변하기 때문에 증류 가능성도 다릅니다. 따라서 훈련 과정에서 다양한 층의 증류 가능성을 동적으로 분석하는 것이 필요합니다.

반면 희소성은 제한된 정밀도 손실 하에서 모델이 얻을 수 있는 자르기 비율(또는 압축 비율)을 나타냅니다. 희박성이 높을수록 자르기 속도가 높아질 수 있습니다. 그림 1-(b)에 표시된 것처럼 네트워크의 서로 다른 계층 또는 모듈은 서로 다른 희박성을 나타냅니다. 증류성과 마찬가지로 희박성도 네트워크 계층 수준과 시간 차원에서 분석할 수 있습니다. 그러나 현재 증류성과 희박성을 탐색하고 분석할 수 있는 방법은 없습니다. 기존 방법은 고정된 훈련 메커니즘을 사용하는 경우가 많아 최적의 결과를 얻기가 어렵습니다.

그림 1 심층 신경망의 증류 가능성 및 희소성 도식

본 연구에서는 위의 문제를 해결하기 위해 모델 압축의 학습 과정을 분석하여 증류 가능성에 대한 정보를 얻었습니다. 특성 및 희박성에 대한 관련 연구 결과. 이러한 연구 결과에 영감을 받아 본 연구에서는 동적 증류성과 희소성에 대한 공동 학습을 기반으로 한 모델 압축 방법을 제안합니다. 증류 학습과 구조화된 희소 클리핑을 동적으로 결합하고 증류 가능성과 희소성을 학습하여 공동 훈련 메커니즘을 적응적으로 조정할 수 있습니다. 기존의 "교사-학생" 프레임워크와 달리, 이 기사에서 제안하는 방법은 교사 네트워크, 학생 네트워크 및 학장 네트워크의 세 가지 주요 모듈을 포함하므로 "학교 내 학습" 프레임워크라고 설명할 수 있습니다.

구체적으로는 이전과 동일하게 교사 네트워크에서 학생 네트워크를 가르칩니다. 교장 네트워크는 학생들의 온라인 학습 강도와 학습 방식을 제어하는 ​​역할을 담당합니다. 현재 교사 네트워크와 학생 네트워크의 상태를 획득함으로써 학장 네트워크는 현재 학생 네트워크의 증류 가능성과 희박성을 평가한 다음 증류 학습 감독 및 구조화된 희소 클리핑 감독의 강도를 동적으로 균형을 맞추고 제어할 수 있습니다.

본 논문의 방법을 최적화하기 위해 본 연구에서는 학생 네트워크를 업데이트하는 교대 방향 곱셈 방법을 기반으로 하는 증류 학습 및 클리핑의 공동 최적화 알고리즘도 제안합니다. 본 논문에서는 교수진 네트워크의 최적화 및 업데이트를 위해 메타러닝 기반의 교수진 최적화 알고리즘을 제안한다. 증류성은 감독 신호를 동적으로 조정함으로써 영향을 받을 수 있습니다. 그림 1-(a)에 나타난 바와 같이 본 논문의 방법은 증류에 관한 지식을 합리적으로 활용함으로써 증류성 저하 추세를 지연시키고 전반적인 증류성을 향상시킬 수 있음을 입증하였다.

본 글의 방법에 대한 전체적인 알고리즘 프레임워크와 흐름도는 아래 그림과 같습니다. 프레임워크에는 교사 네트워크, 학생 네트워크 및 학장 네트워크의 세 가지 주요 모듈이 포함되어 있습니다. 그 중 압축 및 다듬어질 초기의 복잡한 중복 네트워크를 교사 네트워크로 간주하고, 이후의 훈련 과정에서 점차적으로 희소화되는 원래 네트워크를 학생 네트워크로 간주합니다. Dean 네트워크는 Teacher 네트워크와 Student 네트워크의 정보를 입력하여 현재 증류성 및 희소성을 측정하여 증류 학습 및 희소성의 감독 강도를 제어하는 ​​메타 네트워크입니다.

이러한 방식으로 매 순간 학생 네트워크는 동적으로 증류된 지식을 통해 안내되고 분산될 수 있습니다. 예를 들어, 학생 네트워크의 증류 가능성이 높을 때 학장은 더 강한 증류 감독 신호가 학생 네트워크를 안내하도록 합니다(그림 2의 분홍색 화살표 신호 참조). 학장은 학생 네트워크에 더 강력한 희소 감독 신호를 행사합니다(그림 2의 주황색 화살표 신호 참조).

그림 2 증류성과 희박성의 공동 학습을 기반으로 한 모델 압축 알고리즘의 도식

실험 결과

실험에서는 이 기사에서 제안한 방법을 24가지 주류 모델 압축 방법(희소 클리핑 방법 포함)과 비교합니다. ) 및 증류 학습 방법)은 소규모 데이터 세트인 CIFAR과 대규모 데이터 세트인 ImageNet에서 비교됩니다. 아래 그림은 실험 결과를 보여주며, 이는 본 논문에서 제안한 방법의 우수성을 입증한다.

표 1 CIFAR10의 모델 자르기 결과 성능 비교:

표 2 ImageNet의 모델 자르기 결과 성능 비교:

자세한 연구 내용은 원본을 참조하세요. 종이.

위 내용은 처음으로 "Teaching Director"가 모델 증류에 도입되었으며 대규모 압축은 24개의 SOTA 방법보다 우수합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!