CNN을 기본 모델로 사용하여 변형 가능한 컨볼루션 InternImage가 탐지 및 분할 분야에서 새로운 기록을 달성했습니다!

최근 몇 년간 대규모 비주얼 트랜스포머의 급속한 발전으로 컴퓨터 비전 분야의 성능 경계가 더욱 넓어졌습니다. Vision Transformer 모델은 모델 매개변수와 훈련 데이터의 수를 확장하여 컨벌루션 신경망을 무력화합니다. Shanghai Artificial Intelligence Laboratory, Tsinghua University, Nanda, SenseTime 및 Hong Kong Chinese의 연구원들은 컨볼루션 신경망과 시각적 변환기 사이의 격차를 요약했습니다. 운영자 수준에서 기존 CNN 운영자는 구조적 수준에서 볼 때 장거리 종속성과 적응형 공간 집계 기능이 부족하고 기존 CNN 구조에는 고급 구성 요소가 부족합니다.

위의 기술적 문제를 고려하여, 칭화대학교 푸장 연구소 및 기타 기관의 연구원들은 희소 동적 컨볼루션을 핵심 계산 하위로 사용하는 InternImage라는 컨볼루션 신경망 기반 대규모 모델을 혁신적으로 제안했습니다. , 관련 정보를 조건으로 입력하여 적응형 공간 집합을 달성합니다. InternImage를 사용하면 기존 CNN의 엄격한 귀납적 편향을 줄여 대규모 데이터에서 더욱 강력하고 견고한 대규모 매개변수 패턴을 학습할 수 있습니다. 이미지 분류, 객체 감지, 의미 분할 등 시각적 작업에 대한 효율성이 검증되었습니다. ImageNet, COCO 및 ADE20K를 포함한 까다로운 벤치마크 데이터 세트에서 경쟁력 있는 결과를 얻었으며, 동일한 매개변수 수준에서 시각적 Transformer 구조를 뛰어넘어 대형 이미지 모델에 대한 새로운 방향을 제시했습니다.

• 문서 링크: https://arxiv.org/abs/2211.05778
• 오픈 소스 코드: https://github.com/OpenGVLab/InternImage

기존 컨볼루션 신경망의 한계

모델의 규모를 확장하는 것은 특징 표현의 품질을 향상시키는 중요한 전략입니다. 컴퓨터 비전 분야에서 모델 매개변수 수를 늘리는 것은 효과적으로 향상시킬 수 있을 뿐만 아니라 딥 모델의 표현 학습 능력뿐만 아니라, 대규모 데이터로부터 학습 및 지식 습득도 달성합니다. ViT와 Swin Transformer는 처음으로 깊이 모델을 20억 및 30억 매개변수 수준으로 확장했습니다. ImageNet 데이터 세트에서 단일 모델의 분류 정확도도 기존 CNN 네트워크 및 소규모 모델을 훨씬 뛰어넘는 90%를 초과했습니다. 기술적인 병목 현상을 돌파합니다. 그러나 장거리 종속성 및 공간 관계 모델링 기능이 부족하기 때문에 기존 CNN 모델은 Transformer 구조와 유사한 모델 규모 확장 기능을 달성할 수 없습니다. 연구원들은 전통적인 컨벌루션 신경망과 시각적 Transformer의 차이점을 요약했습니다.

(1) 운영자 수준에서 시각적 Transformer의 다중 헤드 주의 메커니즘은 장거리 종속성과 적응형 공간 집계 기능을 갖추고 있어 다음과 같은 이점을 제공합니다. 여기에서 시각적 변환기는 CNN 네트워크보다 대규모 데이터로부터 더 강력하고 견고한 표현을 학습할 수 있습니다.

(2) 모델 아키텍처의 관점에서 볼 때, 시각적 변환기에는 다중 헤드 주의 메커니즘 외에도 레이어 정규화(LN), 피드포워드 신경망과 같이 CNN 네트워크에 없는 고급 모듈이 있습니다. FFN, GELU 등

최근 일부 작품에서는 장거리 종속성을 얻기 위해 대규모 커널 컨볼루션을 사용하려고 시도하지만 모델 규모와 정확성 측면에서 여전히 최첨단 시각적 변환기와는 거리가 멀습니다.

변형 가능한 컨벌루션 네트워크의 추가 확장

InternImage는 (1) DCNv2 연산자 기반의 DCNv3 연산자를 포함하여 연산자 및 모델 구조를 재설계하여 컨벌루션 모델의 확장성을 개선하고 귀납적 편향을 완화합니다. 그룹 메커니즘 및 샘플 포인트 변조. (2) 기본 모듈, 모델 구축을 위한 기본 모듈 단위로 고급 모듈을 통합합니다. (3) 모듈 스택 규칙, 모델 확장 시 모델의 너비, 깊이, 그룹 수 및 기타 하이퍼 매개변수를 표준화합니다.

이 작업은 대규모 매개변수로 효율적으로 확장할 수 있는 CNN 모델을 구축하는 데 중점을 둡니다. 첫째, 변형 가능한 컨볼루션 연산자 DCNv2는 장거리 종속성에 적응하고 유도 바이어스를 약화시키도록 재설계되었습니다. 그런 다음 조정된 컨볼루션 연산자를 고급 구성 요소와 결합하여 기본 단위 모듈을 설정하고 모듈의 스태킹 및 확장 규칙을 탐색하고 구현합니다. 대규모 매개변수와 강력한 표현을 갖춘 기본 모델을 구축하는 방법은 대규모 데이터에서 학습할 수 있습니다.

연산자 수준에서 이 연구는 먼저 컨볼루션 연산자와 다른 주류 연산자 간의 주요 차이점을 요약합니다. 현재 주류 Transformer 시리즈 모델은 주로 다중 헤드 Self-Attention 메커니즘을 사용하여 대규모 모델 구축을 달성합니다. 해당 운영자는 장거리 기능 간의 연결 관계를 구축하는 데 충분한 장거리 종속성을 가지며 공간 적응형 집계도 갖추고 있습니다. 픽셀 수준의 관계를 달성하는 기능. 그러나 이 글로벌 어텐션 메커니즘은 엄청난 컴퓨팅 및 저장 요구 사항을 갖고 있어 효율적인 훈련과 신속한 수렴을 달성하기 어렵습니다. 마찬가지로, 국소 주의 메커니즘에는 장거리 기능 의존성이 부족합니다. 라지 코어 밀집 컨볼루션은 공간적 집합 능력이 없기 때문에 컨볼루션의 자연스러운 유도 편향을 극복하기 어렵고, 이는 모델 확장에 도움이 되지 않습니다. 따라서 InternImage는 너무 많은 컴퓨팅 및 저장 리소스를 낭비하지 않고 전역 주의 효과를 달성하고 효율적인 교육을 달성하기 위해 동적 희소 컨벌루션 연산자를 설계합니다.

연구진은 DCNv2 연산자를 기반으로 DCNv3 연산자를 재설계, 조정 및 제안했습니다. 구체적인 개선 사항은 다음과 같습니다.

(1) 투사 무게를 공유합니다. 기존 컨볼루션과 유사하게 DCNv2의 다양한 샘플링 지점은 독립적인 투영 가중치를 가지므로 해당 매개변수 크기는 총 샘플링 지점 수와 선형적으로 관련됩니다. 매개변수 및 메모리 복잡성을 줄이기 위해 분리 가능한 컨볼루션 아이디어를 활용하고 그룹화 가중치를 대체하기 위해 위치 독립적 가중치를 사용하며 투영 가중치는 서로 다른 샘플링 지점 간에 공유되며 모든 샘플링 위치 종속성은 유지됩니다.

(2) 여러 메커니즘 세트를 소개합니다. 다중 그룹 설계는 그룹화 컨볼루션에서 처음 도입되었으며 Transformer의 다중 헤드 셀프 어텐션에 널리 사용됩니다. 적응형 공간 집합과 결합하여 기능의 다양성을 효과적으로 향상시킬 수 있습니다. 이에 영감을 받아 연구원들은 공간 집계 프로세스를 여러 그룹으로 나누었고 각 그룹은 독립적인 샘플링 오프셋을 갖습니다. 그 이후로 단일 DCNv3 레이어의 서로 다른 그룹은 서로 다른 공간 집계 패턴을 가지게 되어 풍부한 기능 다양성을 가져옵니다.

(3) 샘플링 포인트 변조 스칼라 정규화. 연구진은 모델 용량 확장 시 발생하는 불안정성 문제를 완화하기 위해 정규화 모드를 샘플별로 Softmax 정규화로 설정했습니다. 이는 대규모 모델의 학습 과정을 더욱 안정적으로 만들 뿐만 아니라 구성도 가능합니다. 모든 샘플링 지점 연결 관계의 모델입니다.

DCNv3 연산자를 구축한 후 먼저 기본 모듈과 모델의 다른 레이어의 전반적인 세부 사항을 정규화한 다음 이러한 기본 모듈의 스택 전략을 탐색하여 InternImage를 구축해야 합니다. 마지막으로 제안된 모델의 확장 규칙에 따라 다양한 매개변수 양을 갖는 모델을 구성한다.

기본 모듈. 본 연구에서는 기존 CNN에서 널리 사용되는 병목 구조와 달리 ViT에 더 가까운 기본 모듈을 채택하고 GELU, LN(Layer Normalization), FFN(Feed-Forward Network) 등 고급 구성요소를 탑재한 것으로 입증되었습니다. 다양한 비전 작업에서 더욱 효율적입니다. 기본 모듈의 세부 사항은 위 그림에 나와 있습니다. 여기서 핵심 연산자는 DCNv3입니다. DCNv3은 가벼운 분리 가능한 컨볼루션을 통해 입력 기능을 전달하여 샘플링 바이어스 및 변조 규모를 예측합니다. 다른 구성 요소는 일반 Transformer와 동일한 설계를 따릅니다.

스태킹 규칙. 블록 스태킹 과정을 명확히 하기 위해 본 연구에서는 두 가지 모듈 스태킹 규칙을 제안합니다. 첫 번째 규칙은 마지막 세 단계의 채널 수이며, 이는 첫 번째 단계의 채널 수에 따라 결정됩니다. 즉, ; 두 번째 규칙은 각 모듈의 그룹 번호가 각 단계의 채널 수에 해당한다는 것입니다. 즉, 세 번째, 스태킹 모드가 "AABA"로 고정됩니다. 1단계, 2단계, 4단계의 모듈 스택 수는 동일 이며 3단계 보다 크지 않습니다. 따라서 매개변수 볼륨이 30M인 모델이 기본으로 선택되었습니다. 구체적인 매개변수는 다음과 같습니다. Steam 출력 채널 수는 64개입니다. 그룹 수는 각 단계의 입력 채널 수의 1/16입니다. , 1, 2, 4단계 모듈 스택 수 는 4개, 3단계의 모듈 스택 수 는 18개, 모델 매개변수는 30M입니다.

모델 확장 규칙. 위의 제약 조건에 따른 최적 모델을 기반으로 본 연구에서는 제한 요소 및 를 사용하여 네트워크 모델의 두 가지 스케일링 차원인 깊이 D(모듈 스택 수)와 너비 C(채널 수)를 정규화했습니다. 따라 복합 계수 는 깊이와 너비, 즉 의 크기를 조정합니다. 여기서 는 실험에 따르면 최적 설정은 입니다.

이 규칙에 따라 본 연구에서는 InternImage-T, S, B, L, XL라는 다양한 규모의 모델을 구축했습니다. 구체적인 매개변수는 다음과 같습니다:

실험 결과

이미지 분류 실험: 427M 공개 데이터 세트를 사용하여: Laion-400M, YFCC15M, CC12M, InternImage-H는 ImageNet-1K에서 89.2%의 정확도를 달성했습니다.

객체 감지: 가장 큰 InternImage-H를 백본 네트워크로 사용하고 DINO를 기본 감지 프레임워크로 사용하여 Objects365 데이터 세트에서 DINO 감지기를 사전 훈련한 다음 실행합니다. COCO에서 미세 조정을 해보세요. 모델은 표적 탐지 작업에서 65.4%의 최적 결과를 달성하여 COCO 표적 탐지의 성능 한계를 돌파했습니다.

Semantic Segmentation: InternImage-H도 좋은 성능을 달성했으며 Mask2Former와 결합하여 ADE20K에서 현재 최고 62.9%를 달성했습니다.

결론

이 연구는 이미지 분류, 객체 감지, 의미론적 분할과 같은 다양한 비전 작업에 대한 강력한 표현을 제공할 수 있는 새로운 대규모 CNN 기반 기본 모델인 InternImage를 제안합니다. 연구원들은 기본 모델의 요구 사항을 충족하도록 유연한 DCNv2 연산자를 조정하고 핵심 연산자를 기반으로 일련의 차단, 스태킹 및 확장 규칙을 개발했습니다. 객체 감지 및 의미론적 분할 벤치마크에 대한 광범위한 실험을 통해 InternImage가 대량의 데이터에 대해 훈련된 잘 설계된 대규모 시각적 변환기와 동등하거나 더 나은 성능을 달성할 수 있음이 확인되었으며, 이는 CNN이 대규모 시각적 기본 모델에서도 상당한 단계임을 나타냅니다. 연구하다. 그럼에도 불구하고 대규모 CNN은 아직 개발 초기 단계에 있으며 연구원들은 InternImage가 좋은 출발점이 될 수 있기를 바랍니다.

위 내용은 CNN을 기본 모델로 사용하여 변형 가능한 컨볼루션 InternImage가 탐지 및 분할 분야에서 새로운 기록을 달성했습니다!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!