ByteDance는 CNN과 Transformer의 올바른 조합을 잠금 해제하여 효과적인 차세대 시각적 Transformer를 제안합니다.

복잡한 주의 메커니즘과 모델 설계로 인해 대부분의 기존 시각적 변환기(ViT)는 실제 산업 배포 시나리오에서 CNN(컨볼루션 신경망)만큼 효율적으로 수행할 수 없습니다. 이는 다음과 같은 질문을 제기합니다. 시각적 신경망이 CNN만큼 빠르고 ViT만큼 강력하게 추론할 수 있습니까?

이 문제를 해결하기 위해 최근 일부 작품에서 CNN-Transformer 하이브리드 아키텍처를 설계하려고 시도했지만 이들 작품의 전반적인 성능은 만족스럽지 않습니다. 이를 기반으로 ByteDance 연구원들은 실제 산업 시나리오에 효과적으로 배포할 수 있는 차세대 시각적 Transformer인 Next-ViT를 제안했습니다. 대기 시간/정확도 균형 관점에서 Next-ViT의 성능은 뛰어난 CNN 및 ViT와 비슷합니다.

논문 주소: https://arxiv.org/pdf/2207.05501.pdf

Next-ViT 연구팀은 새로운 컨볼루션 블록(NCB)과 트랜스포머 블록(NTB)을 개발했습니다. ), 로컬 및 글로벌 정보를 캡처하기 위한 친숙한 메커니즘을 배포합니다. 그런 다음 이 연구는 다양한 다운스트림 작업의 성능을 향상시키기 위해 효율적인 하이브리드 패러다임에서 NCB와 NTB를 스택하는 것을 목표로 하는 새로운 하이브리드 전략 NHS를 제안합니다.

광범위한 실험을 통해 Next-ViT는 다양한 시각적 작업에 대한 대기 시간/정확도 균형 측면에서 기존 CNN, ViT 및 CNN-Transformer 하이브리드 아키텍처보다 훨씬 뛰어난 성능을 보이는 것으로 나타났습니다. TensorRT에서 Next-ViT는 COCO 감지 작업(40.4 VS 45.8)에서 ResNet보다 5.4mAP, ADE20K 세분화(38.8% VS 47.0%)에서 8.2% mIoU를 능가합니다. 한편 Next-ViT는 CSWin과 비슷한 성능을 달성하고 3.6배 더 빠른 추론을 달성합니다. CoreML에서 Next-ViT는 COCO 감지 작업(42.6 VS 47.2)에서 EfficientFormer보다 4.6mAP, ADE20K 분할에서 3.5% mIoU(45.2%에서 48.7%) 성능을 능가합니다.

Method

Next-ViT의 전체 아키텍처는 아래 그림 2와 같습니다. Next-ViT는 각 단계에 패치 임베딩 레이어와 일련의 컨볼루션 또는 변환기 블록이 있는 계층적 피라미드 아키텍처를 따릅니다. 공간 해상도는 원본의 1/32로 점차 줄어들고 채널 크기는 단계적으로 확장됩니다.

연구원들은 먼저 정보 상호 작용의 핵심 모듈을 심층적으로 설계하고 시각적 데이터의 단기 및 장기 종속성을 시뮬레이션하기 위해 각각 강력한 NCB 및 NTB를 개발했습니다. NTB에서는 로컬 정보와 글로벌 정보의 융합도 수행되어 모델링 기능을 더욱 향상시킵니다. 마지막으로 본 연구에서는 기존 방법의 고유한 단점을 극복하기 위해 컨볼루션과 Transformer 블록의 통합을 체계적으로 연구하고 NCB와 NTB를 적층하는 NHS 전략을 제안하여 새로운 CNN-Transformer 하이브리드 아키텍처를 구축합니다.

NCB

연구원들은 아래 그림 3과 같이 몇 가지 고전적인 구조 설계를 분석했습니다. ResNet[9]에서 제안한 BottleNeck 블록은 고유한 유도 편향과 대부분의 하드웨어 플랫폼에서의 쉬운 배포로 인해 오랫동안 시각적 신경망을 지배해 왔습니다. 불행하게도 BottleNeck 블록은 Transformer 블록보다 덜 효과적입니다. ConvNeXt 블록[20]은 Transformer 블록의 디자인을 모방하여 BottleNeck 블록을 현대화합니다. ConvNeXt 블록은 네트워크 성능을 향상시키지만 TensorRT/CoreML의 추론 속도는 비효율적인 구성 요소로 인해 심각하게 제한됩니다. Transformer 블록은 다양한 비전 작업에서 탁월한 결과를 얻었습니다. 그러나 Transformer 블록의 추론 속도는 TensorRT 및 CoreML의 BottleNeck 블록보다 훨씬 느립니다. 왜냐하면 그 주의 메커니즘이 더 복잡하기 때문입니다. 이는 대부분의 실제 세계에서는 그렇지 않습니다. 견딜 수 없는 산업 시나리오.

본 연구에서는 위에서 언급한 블록 유형의 문제점을 극복하기 위해 BottleNeck 블록의 배치 장점을 유지하면서 Transformer 블록의 뛰어난 성능을 얻는 NCB(Next Convolution Block)를 제안합니다. 그림 3(f)에서 볼 수 있듯이 NCB는 MetaFormer(Transformer 블록에 중요한 것으로 입증된)의 일반 아키텍처를 따릅니다.

또한 효율적인 어텐션 기반 토큰 믹서도 똑같이 중요합니다. 본 연구에서는 Convolutional Operation을 배포하는 효율적인 Token Mixer로 Multi-Head Convolutional Attention(MHCA)을 설계하고 MetaFormer 패러다임에서 MHCA 및 MLP 레이어를 사용하여 NCB를 구축했습니다[40].

NTB

NCB는 로컬 표현을 효과적으로 학습했으며 다음 단계는 글로벌 정보를 캡처해야 합니다. Transformer 아키텍처는 전역 정보(예: 전역 모양 및 구조)를 제공하는 저주파 신호를 캡처하는 강력한 기능을 갖추고 있습니다.

그러나 관련 연구에 따르면 Transformer 블록은 로컬 텍스처 정보 등 고주파 정보를 어느 정도 저하시킬 수 있는 것으로 나타났습니다. 서로 다른 주파수 대역의 신호는 인간의 시각 시스템에 필수적이며, 이를 특정 방식으로 융합하여 보다 본질적이고 고유한 특징을 추출합니다.

이러한 알려진 결과에 영향을 받아 이 연구에서는 경량 메커니즘으로 다중 주파수 신호를 캡처하는 NTB(Next Transformer Block)를 개발했습니다. 또한 NTB는 효율적인 다중 주파수 신호 믹서로 사용되어 전반적인 모델링 기능을 더욱 향상시킬 수 있습니다.

NHS

최근 효율적인 배포를 위해 CNN과 Transformer를 결합하려는 노력이 이루어졌습니다. 아래 그림 4(b)(c)에서 볼 수 있듯이 Shallow 단계에서는 거의 모두 Convolutional 블록을 사용하고 마지막 한두 단계에서는 Transformer 블록만 쌓습니다. 이 조합은 분류 작업에 효과적입니다. 그러나 연구에 따르면 이러한 하이브리드 전략은 세분화 및 감지와 같은 다운스트림 작업에서 쉽게 성능 포화 상태에 도달할 수 있는 것으로 나타났습니다. 그 이유는 분류 작업은 예측을 위해 마지막 단계의 출력만 사용하는 반면, 하위 작업(예: 세분화 및 감지)은 일반적으로 더 나은 결과를 얻기 위해 각 단계의 기능에 의존하기 때문입니다. 이는 기존 하이브리드 전략이 마지막 몇 단계에서 Transformer 블록을 쌓을 뿐이고 얕은 레이어에서는 전역 정보를 캡처할 수 없기 때문입니다.

본 연구에서는 (N+1)*L 하이브리드 패러다임에 컨볼루셔널 블록(NCB)과 트랜스포머 블록(NTB)을 창의적으로 결합한 새로운 하이브리드 전략(NHS)을 제안합니다. NHS는 다운스트림 작업에 대한 모델 성능을 크게 향상시키고 Transformer 블록의 비율을 제어하면서 효율적인 배포를 달성합니다.

우선, 얕은 계층에 전역 정보를 캡처할 수 있는 기능을 부여하기 위해 이 연구에서는 다음과 같이 각 단계에서 N개의 NCB와 하나의 NTB를 쌓는 (NCB×N+NTB×1) 모드 혼합 전략을 제안합니다. 그림 4(d)에 도시되어 있다. 특히 NTB(변압기 블록)는 각 단계의 끝에 배치되어 모델이 얕은 레이어에서 전역 표현을 학습할 수 있도록 합니다. 본 연구에서는 제안된 하이브리드 전략의 우수성을 검증하기 위해 일련의 실험을 수행하였으며, 다양한 하이브리드 전략의 성능은 아래 표 1과 같다.

또한 아래 표 2와 같이 대형 모델의 성능은 점차 포화 상태에 도달하게 됩니다. 이러한 현상은 (NCB × N + NTB × 1) 모드에 대해 N을 확대하여 모델 크기를 늘리는 것, 즉 단순히 더 많은 컨벌루션 블록을 추가하는 것이 (NCB × N + NTB × 1) 모드에 대한 최적의 선택이 아님을 보여줍니다. 모델 성능에 심각한 영향을 미칠 수 있습니다.

따라서 연구자들은 광범위한 실험을 통해 N 값이 모델 성능에 미치는 영향을 탐구하기 시작했습니다. Table 2(중간)에 나타난 바와 같이 연구에서는 3단계에서 N의 값을 다르게 하여 모델을 구축하였다. 공정한 비교를 위해 유사한 지연 시간을 갖는 모델을 구축하기 위해 이 연구에서는 N의 작은 값에 L개의 (NCB × N + NTB × 1) 패턴 세트를 쌓습니다.

표 2에서 볼 수 있듯이 세 번째 단계에서 N = 4인 모델은 성능과 지연 시간 사이에서 최상의 균형을 달성합니다. 본 연구에서는 3단계에서 (NCB × 4 + NTB × 1) × L 모드에서 L을 확장하여 더 큰 모델을 구축합니다. 아래 표 2에서 볼 수 있듯이 Base(L = 4) 및 Large(L = 6) 모델의 성능이 Small 모델에 비해 크게 향상되어 제안된 (NCB × N + NTB × 1) × L을 검증합니다. 모델 일반 효율성.

마지막으로 기존 SOTA 네트워크와의 공정한 비교를 제공하기 위해 연구원들은 세 가지 일반적인 변형, 즉 Next-ViTS/B/L을 제안했습니다.

실험 결과

ImageNet-1K의 분류 작업

CNN, ViT, 하이브리드 네트워크 등 최신 SOTA 방법과 비교하여 Next-ViT는 정확도와 지연 시간 간의 최상의 균형을 이루었으며 결과는 다음과 같습니다. 표 4에서.

ADE20K의 의미론적 분할 작업

이 연구에서는 의미론적 분할 작업을 위해 Next-ViT를 CNN, ViT 및 일부 최신 하이브리드 아키텍처와 비교합니다. 아래 표 5에서 볼 수 있듯이, 광범위한 실험을 통해 Next-ViT가 분할 작업에 탁월한 잠재력을 갖고 있음을 알 수 있습니다.

객체 검출 및 인스턴스 분할

객체 검출 및 인스턴스 분할 작업에 대해 본 연구에서는 Next-ViT와 SOTA 모델을 비교하였으며 그 결과는 아래 표 6과 같다.

절제 실험 및 시각화

Next-ViT를 더 잘 이해하기 위해 연구원들은 ImageNet-1K 분류 및 다운스트림 작업에 대한 성능을 평가하여 각 주요 설계의 역할을 분석하고 기능의 푸리에 스펙트럼 및 히트맵 시각화를 출력했습니다. Next-ViT의 고유한 장점을 보여줍니다.

아래 표 7에서 볼 수 있듯이 NCB는 세 가지 작업 모두에서 최고의 지연 시간/정확도 균형을 달성합니다.

NTB 블록의 경우, 이 연구에서는 NTB의 수축률 r이 Next-ViT의 전체 성능에 미치는 영향을 조사합니다. 결과는 아래 표 8에 나와 있습니다. .

게다가 r = 0.75, r = 0.5인 모델이 순수 Transformer(r = 1) 모델보다 성능이 더 좋습니다. 이는 다중 주파수 신호를 적절한 방식으로 융합하면 모델의 표현 학습 기능이 향상된다는 것을 나타냅니다. 특히, r = 0.75인 모델은 최고의 지연 시간/정확도 균형을 달성합니다. 이러한 결과는 NTB 블록의 효율성을 보여줍니다. 이 연구에서는 Next-ViT에서 다양한 정규화 계층과 활성화 기능의 영향을 추가로 분석합니다. 아래 표 9에서 볼 수 있듯이 LN과 GELU는 성능을 일부 향상시키지만 TensorRT의 추론 지연 시간은 훨씬 더 높습니다. 반면에 BN과 ReLU는 전체 작업에서 최고의 지연 시간/정확도 균형을 달성합니다. 따라서 Next-ViT는 실제 산업 시나리오에서 효율적인 배포를 위해 BN과 ReLU를 균일하게 사용합니다.

마지막으로, 연구에서는 아래 그림 5(a)와 같이 ResNet, Swin Transformer 및 Next-ViT의 출력 기능에 대한 푸리에 스펙트럼과 히트맵을 시각화했습니다. ResNet의 스펙트럼 분포는 컨볼루션 블록이 고주파 신호를 캡처하는 경향이 있고 저주파 신호에 주의를 기울이는 데 어려움이 있음을 보여줍니다. ViT는 저주파 신호를 캡처하는 데 뛰어나고 Next-ViT는 캡처할 수 있습니다. 동시에 고품질 다중 주파수 신호를 전송하며 이는 NTB 효율성을 보여줍니다.

또한, Next-ViT는 그림 5(b)에서 볼 수 있듯이 ResNet 및 Swin보다 더 풍부한 텍스처 정보와 더 정확한 전역 정보를 캡처할 수 있어 Next-ViT의 모델링 기능이 더 강력하다는 것을 알 수 있습니다.

위 내용은 ByteDance는 CNN과 Transformer의 올바른 조합을 잠금 해제하여 효과적인 차세대 시각적 Transformer를 제안합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!