NAS 병목 현상을 해결하는 새로운 방법인 AIO-P는 작업 전반에 걸쳐 아키텍처 성능을 예측합니다.

Huawei HiSilicon Canada 연구소와 앨버타 대학교는 사전 훈련 및 지식 주입을 기반으로 하는 신경망 성능 예측 프레임워크를 공동으로 출시했습니다.

신경망 성능 평가(정밀도, 재현율, PSNR 등)에는 많은 리소스와 시간이 필요하며 신경망 구조 검색(NAS)의 주요 병목 현상입니다. 초기 NAS 방법에는 처음부터 검색된 각각의 새로운 구조를 교육하기 위해 광범위한 리소스가 필요했습니다. 최근에는 효율적인 성능 평가 방법으로 네트워크 성능 예측기가 더욱 주목을 받고 있습니다.

그러나 현재 예측기는 특정 검색 공간의 네트워크 구조만 모델링할 수 있고 특정 작업에 대한 새로운 구조의 성능만 예측할 수 있기 때문에 사용 범위가 제한됩니다. 예를 들어 훈련 샘플에는 분류 네트워크와 그 정확도만 포함되어 있으므로 훈련된 예측 변수는 이미지 분류 작업에서 새로운 네트워크 구조의 성능을 평가하는 데만 사용할 수 있습니다.

​이러한 경계를 허물고 예측기가 여러 작업에 대한 특정 네트워크 구조의 성능을 예측하고 작업 간 및 데이터 간 일반화 기능을 가질 수 있도록 Huawei HiSilicon Canada 연구소와 앨버타 대학이 공동으로 사전 훈련과 지식 주입을 기반으로 한 신경망 성능 예측 프레임워크. 이 프레임워크는 신경망 구조 검색을 위한 분류, 감지, 분할 등과 같은 다양한 유형의 CV 작업에서 다양한 구조 및 네트워크 유형의 성능을 신속하게 평가할 수 있습니다. 연구 논문이 AAAI 2023에 승인되었습니다.

• 페이퍼 링크: https://arxiv.org/abs/2211.17228
• 코드 링크: https://github.com/Ascend-Research/AIO-P

AIO-P(All-in -One Predictors) 접근 방식은 신경 예측 변수의 범위를 분류를 넘어 컴퓨터 비전 작업으로 확장하는 것을 목표로 합니다. AIO-P는 K-Adapter 기술을 활용하여 작업 관련 지식을 예측 모델에 주입하고 FLOP(부동 소수점 피연산자)를 기반으로 라벨 스케일링 메커니즘을 설계하여 다양한 성능 지표 및 분포에 적응합니다. AIO-P는 고유한 의사 라벨링 방식을 사용하여 K-Adapter를 교육하고 단 몇 분 만에 새로운 교육 샘플을 생성합니다. 실험 결과에 따르면 AIO-P는 강력한 성능 예측 기능을 나타내며 여러 컴퓨터 비전 작업에서 우수한 MAE 및 SRCC 결과를 달성합니다. 또한 AIO-P는 이전에 볼 수 없었던 네트워크 구조의 성능을 직접 마이그레이션하고 예측할 수 있으며 NAS와 협력하여 성능 저하 없이 기존 네트워크의 계산량을 최적화할 수 있습니다.

방법 소개

AIO-P는 여러 작업에 일반화할 수 있는 일반 네트워크 성능 예측기입니다. AIO-P는 예측자 사전 훈련 및 도메인별 지식 주입을 통해 작업 및 검색 공간 전반에 걸쳐 성능 예측 기능을 달성합니다. AIO-P는 K-Adapter 기술을 사용하여 작업 관련 지식을 예측기에 주입하고 공통 CG(계산 그래프) 형식을 사용하여 네트워크 구조를 표현함으로써 궁극적으로 그림과 같이 다양한 검색 공간과 작업의 네트워크를 지원할 수 있습니다. 아래 그림 1에 나와 있습니다.

그림 1. AIO-P가 다양한 작업에 사용되는 네트워크 구조를 나타내는 방법

또한 의사 라벨링 메커니즘을 사용하면 AIO-P가 K-어댑터를 교육하기 위한 새로운 교육 샘플을 빠르게 생성할 수 있습니다. 다양한 작업에 대한 성능 측정 범위 간의 격차를 해소하기 위해 AIO-P는 교차 작업 성능 모델링을 달성하기 위해 FLOP를 기반으로 한 레이블 스케일링 방법을 제안합니다. 광범위한 실험 결과에 따르면 AIO-P는 훈련 샘플을 요구하지 않거나 소량의 미세 조정만으로 자세 추정 및 분할과 같은 다양한 CV 작업에서 정확한 성능 예측을 할 수 있음을 보여줍니다. 또한 AIO-P는 이전에 본 적이 없는 네트워크 구조에서 성능 순위를 올바르게 수행할 수 있으며, 검색 알고리즘과 결합하면 화웨이 얼굴 인식 네트워크를 최적화하는 데 사용되어 성능을 그대로 유지하고 FLOP를 13.5% 이상 줄입니다. 이 논문은 AAAI-23에 의해 승인되었으며 코드는 GitHub에서 오픈 소스로 공개되었습니다.

컴퓨터 비전 네트워크는 일반적으로 특징 추출을 수행하는 '백본'과 추출된 특징을 사용하여 예측을 수행하는 '헤드'로 구성됩니다. "백본"의 구조는 일반적으로 알려진 특정 네트워크 구조(ResNet, Inception, MobileNet, ViT, UNet)를 기반으로 설계되는 반면 "헤드"는 분류, 포즈 추정, 분할, 등이 디자인되었습니다. 기존 NAS 솔루션은 "백본"의 구조를 기반으로 검색 공간을 수동으로 사용자 정의합니다. 예를 들어 "백본"이 MobileNetV3인 경우 검색 공간에는 MBConv 블록 수, 각 MBConv의 매개변수(커널 크기, 확장)가 포함될 수 있습니다. ), 채널 수 등 하지만 이 맞춤형 검색 공간은 보편적이지 않습니다. ResNet을 기반으로 설계된 또 다른 "백본"이 있으면 기존 NAS 프레임워크를 통해 최적화할 수 없으며 검색 공간을 다시 설계해야 합니다.

이 문제를 해결하기 위해 AIO-P는 계산 그래프 수준에서 다양한 네트워크 구조를 표현하기로 선택하여 모든 네트워크 구조에 대한 통일된 표현을 달성했습니다. 그림 2에서 볼 수 있듯이 계산 그래프 형식을 통해 AIO-P는 헤더와 백본을 함께 인코딩하여 전체 네트워크 구조를 나타낼 수 있습니다. 또한 이를 통해 AIO-P는 다양한 작업에 대한 다양한 검색 공간(예: MobileNet 및 ResNet)의 네트워크 성능을 예측할 수 있습니다.

그림 2. 계산 그래프 수준에서 MobileNetV3의 Squeeze-and-Excite 모듈 표현

AIO-P에서 제안된 예측 구조는 단일 GNN 회귀 모델에서 시작됩니다(그림 3, 녹색 블록). , 이미지 분류 네트워크의 성능을 예측합니다. 탐지 또는 분할과 같은 다른 CV 작업에 대한 지식을 추가하기 위해 연구에서는 원래 회귀 모델에 K-Adapter(그림 3, 주황색 블록)를 연결했습니다. K-Adapter는 새 작업의 샘플에 대해 훈련되는 반면 원래 모델 가중치는 고정됩니다. 따라서 본 연구에서는 여러 작업의 지식을 추가하기 위해 여러 K-Adapter(그림 4)를 별도로 훈련합니다.

그림 3. 하나의 K-Adapter를 사용하는 AIO-P 예측기

그림 4. 여러 K-Adapter를 사용하는 AIO-P 예측기

훈련 시간을 더욱 줄이기 위해 K-Adapter의 오버헤드를 고려하여 본 연구에서는 기발한 의사 라벨링 기술을 제안합니다. 이 기술은 잠재 샘플링 방식을 사용하여 다양한 작업 간에 공유할 수 있는 "헤드" 모델을 교육합니다. 그런 다음 공유 헤드는 검색 공간의 모든 네트워크 백본과 쌍을 이루고 10~15분 안에 의사 레이블을 생성하도록 미세 조정될 수 있습니다(그림 5).

그림 5. 서로 다른 작업 간에 공유할 수 있는 "헤드" 모델 교육

머리를 공유하여 얻은 의사 레이블을 사용하는 것은 하루 동안 처음부터 네트워크를 교육하는 것과 동일하다는 것이 실험적으로 입증되었습니다. 이상 획득한 실제 성과는 양의 상관 관계를 가지며 때로는 순위 상관 계수가 0.5를 초과합니다(Spearman 상관 관계).

또한 작업마다 성과 지표가 다릅니다. 이러한 성능 지표는 일반적으로 고유한 특정 분포 범위를 갖습니다. 예를 들어 특정 백본을 사용하는 분류 네트워크는 ImageNet에서 약 75%의 분류 정확도를 가질 수 있는 반면 MS-COCO 개체 감지 작업의 mAP는 30-35%일 수 있습니다. . 이러한 서로 다른 간격을 설명하기 위해 본 연구에서는 정규화 개념을 기반으로 정규 분포로부터 네트워크 성능을 이해하는 방법을 제안합니다. 평신도의 관점에서, 예측 값이 0이면 네트워크 성능은 평균이고,

그림 6. 네트워크 성능을 정규화하는 방법

네트워크의 FLOP는 모델 크기, 입력 데이터와 관련이 있으며 일반적으로 성능에 대해 긍정적인 추세를 보입니다. 이 연구에서는 AIO-P가 학습하는 레이블을 향상시키기 위해 FLOP 변환을 사용합니다.

실험 및 결과

이 연구에서는 먼저 인간 자세 추정 및 객체 감지 작업에 대해 AIO-P를 교육한 후 이를 사용하여 자세 추정(LSP 및 MPII), 감지(OD)를 포함한 여러 작업에서 네트워크 구조의 성능을 예측했습니다. ) ), 인스턴스 분할(IS), 의미론적 분할(SS) 및 파노라마 분할(PS). 제로샷 직접 마이그레이션의 경우에도 AIO-P를 사용하여 이러한 작업에 대한 OFA(Once-for-All) 검색 공간(ProxylessNAS, MobileNetV3 및 ResNet-50)에서 네트워크 성능을 예측하고 최종 예측 결과 1.0% 미만의 MAE와 0.5 이상의 순위 상관관계를 달성했습니다.

또한 이 연구에서는 AIO-P를 사용하여 TensorFlow-Slim 오픈 소스 모델 라이브러리(예: DeepLab 의미론적 분할 모델, ResNets, Inception nets, MobileNets 및 EfficientNets)의 네트워크 성능을 예측했습니다. 구조는 이전에 사용되지 않았을 수 있습니다. AIO-P의 훈련 샘플에 나타납니다.

AIO-P는 FLOP 변환을 활용하여 3개의 DeepLab 의미론적 분할 모델 라이브러리에서 거의 완벽한 SRCC를 달성하는 동시에 4개의 분류 모델 라이브러리 모두에서 긍정적인 SRCC를 달성하고 EfficientNet 모델에서 SRCC=1.0을 달성할 수 있습니다.

마지막으로 AIO-P의 핵심 동기는 이를 검색 알고리즘과 결합하여 임의의 네트워크 구조를 최적화하는 데 사용할 수 있다는 것입니다. 이는 독립적일 수 있으며 검색 공간이나 알려진 모델 라이브러리의 일부가 아닙니다. 한 번도 훈련받은 적이 없는 작업을 위한 구조일 수도 있습니다. 본 연구에서는 AIO-P와 무작위 돌연변이 검색 알고리즘을 사용하여 Huawei 휴대폰에 사용되는 얼굴 인식(FR) 모델을 최적화했습니다. 결과는 AIO-P가 성능(정밀도)을 유지하면서 모델 계산 FLOP를 13.5% 이상 줄일 수 있음을 보여줍니다. (Pr) 및 리콜(Rc)).

관심 있는 독자는 원본 논문을 읽고 더 많은 연구 세부 사항을 알아볼 수 있습니다.

위 내용은 NAS 병목 현상을 해결하는 새로운 방법인 AIO-P는 작업 전반에 걸쳐 아키텍처 성능을 예측합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!