YoloCS: 기능 맵의 공간 복잡성을 효과적으로 줄입니다.

논문 주소: YOLOCS: ObjectDetection based on Dense Channel Compression for Feature Spatial Solidification (arxiv.org)

01 Summary

오늘 공유에서 연구자는 특징 정화와 그라데이션의 특징을 조사했습니다. 네트워크 내 순방향 및 역방향 전파에 중점을 두고 역전파 중 채널 특성과 컨볼루션 커널 간의 상관관계를 알아봅니다. 이에 연구진은 밀집채널 압축(Dense Channel Compression)이라는 특징 공간 응고법을 제안했다. 이 방법의 핵심 개념을 기반으로 백본 및 헤드 네트워크를 위한 두 가지 혁신적인 모듈, 즉 기능 공간 강화를 위한 DCFS(밀집 채널 압축)와 비대칭 다중 레벨 압축 분리 헤드(ADH)가 도입되었습니다. YOLOv5 모델에 통합되었을 때 이 두 모듈은 뛰어난 성능을 보여 YOLOCS라는 향상된 모델을 탄생시켰습니다.

MSCOCO 데이터 세트로 평가한 결과, 대형, 중형, 소형 YOLOCS 모델의 AP는 각각 50.1%, 47.6%, 42.5%입니다. YOLOv5 모델과 유사한 추론 속도를 유지하면서 대형, 중형, 소형 YOLOCS 모델은 YOLOv5의 AP에 비해 각각 1.1%, 2.3%, 5.2%의 이점을 달성했습니다.

02 배경

최근 몇 년 동안 컴퓨터 비전 분야에서 객체 감지 기술이 폭넓은 주목을 받아왔습니다. 그 중 Single Shot Multi-Box 알고리즘을 기반으로 한 표적 탐지 기술(Single Shot Multi Box Detector, SSD로 지칭)과 컨볼루션 신경망(Convolutional Neural Networks, CNN으로 지칭) 기반 표적 탐지 기술이 있다. 가장 일반적으로 사용되는 두 가지 표적 탐지 기술. 그러나 싱글샷 다중 프레임 알고리즘의 낮은 정확도와 컨볼루션 신경망 기반 표적 탐지 기술의 높은 계산 복잡도로 인해 효율적이고 고정밀 표적 탐지 기술을 찾는 것이 현재 연구의 핵심이 되고 있습니다. 하나.

DCC(Dense Channel Compression)는 컨벌루션 신경망의 특징 맵을 공간적으로 굳혀 네트워크 매개변수의 압축 및 가속을 달성하는 새로운 컨벌루션 신경망 압축 기술입니다. 그러나 표적 탐지 분야에 DCC 기술을 적용하는 것은 충분히 연구되지 않았습니다. DCC(Dense Channel Compression) 기술은 네트워크 매개변수 수를 줄여 계산 효율성을 향상시키는 것을 목표로 합니다. 구체적으로 DCC는 컨벌루션 계층의 출력 특징 맵에 대해 채널 압축을 수행하여 컨벌루션 계층의 매개변수 수를 줄입니다. 이 압축 기술은 중복되고 불필요한 채널을 제거하거나 낮은 순위 분해와 같은 방법을 사용하여 달성할 수 있습니다. DCC 기술은 영상 분류 작업에 매우 효과적이므로 Dense Channel Compression을 기반으로 한 표적 탐지 기술인 YOLOCS(YOLO with Dense Channel Compression)가 제안됩니다. YOLOCS 기술은 DCC 기술과 YOLO(You Only Look Once) 알고리즘을 결합하여 표적 탐지의 효율적이고 고정밀 처리를 달성합니다. 특히 YOLOCS 기술은 DCC 기술을 사용하여 특징 맵을 공간적으로 강화함으로써 대상 위치의 정확한 위치 지정을 달성하는 동시에 YOLO 알고리즘의 단일 샷 다중 프레임 알고리즘 특성을 사용하여 대상 분류를 빠르게 수행합니다. 계산.

03 New Framework

특징 공간 응고 구조(DCFS)를 위한 고밀도 채널 압축

• 제안된 방법(위 그림 (c))에서 연구원은 균형을 해결했을 뿐만 아니라 균형 네트워크 너비와 깊이 사이의 문제도 3×3 컨볼루션을 통해 서로 다른 깊이 레이어의 기능을 압축하여 기능을 출력하고 융합하기 전에 채널 수를 절반으로 줄입니다. 이 접근 방식을 통해 연구자는 다양한 계층의 기능 출력을 더 크게 개선할 수 있으므로 융합 단계에서 기능의 다양성과 효율성이 향상됩니다.

또한 각 레이어의 압축된 기능에는 더 큰 컨볼루션 커널 가중치(3×3)가 제공되어 출력 기능의 수용 필드를 효과적으로 확장합니다. 이러한 접근 방식을 특징 공간 강화 밀집 채널 압축이라고 합니다. 기능 공간 강화를 위한 고밀도 채널 압축의 근거는 채널 압축을 용이하게 하기 위해 더 큰 컨볼루션 커널을 활용하는 것입니다. 이 기술에는 두 가지 주요 장점이 있습니다. 첫째, 순방향 전파 중에 기능 인식의 수용 필드를 확장하여 지역적으로 관련된 기능 세부 정보가 통합되어 압축 단계 전체에서 기능 손실을 최소화합니다. 둘째, 오류 역전파 시 오류 세부 정보가 향상되어 보다 정확한 가중치 조정이 가능해졌습니다.

이 두 가지 장점을 더 자세히 설명하기 위해 아래와 같이 두 개의 서로 다른 커널 유형(1×1 및 3×3)이 있는 컨볼루션을 사용하여 두 채널을 압축합니다.

네트워크 구조는 다음과 같습니다. 아래 그림에서. 네트워크의 순방향 전파 과정에서 채널을 점진적으로 압축하기 위해 3계층 병목 구조가 채택되었습니다. 모든 분기에 절반 채널 3×3 컨볼루션이 적용되고 BN(배치 정규화) 및 활성화 함수 레이어가 적용됩니다. 그 후, 1×1 컨벌루션 레이어를 사용하여 출력 특징 채널을 입력 특징 채널과 일치하도록 압축합니다. symmetric 다중 레벨 채널 압축 헤드 (ADH)는 yolox 모델에서 분리 된 헤드 문제를 해결하기위한 순서로, 연구원들은 일련의 일련을 수행했습니다. 연구와 실험. 결과는 분리된 헤드 구조의 활용과 관련 손실 함수 간의 논리적 상관관계를 보여줍니다. 특히 다양한 작업의 경우 손실 계산의 복잡성에 따라 디커플링 헤드의 구조를 조정해야 합니다. 또한, 분리된 헤드 구조를 다양한 작업에 적용할 때, 이전 레이어의 특징 채널(아래 참조)을 작업 채널로 직접 압축하면 최종 출력 크기의 차이로 인해 상당한 특징 손실이 발생할 수 있습니다. 이는 결과적으로 모델의 전반적인 성능에 부정적인 영향을 미칠 수 있습니다.

• 또한, 특징 공간 고형화를 위해 제안된 밀집 채널 압축 방법을 고려할 때 출력 채널과 일치하도록 최종 계층의 채널 수를 직접 줄이는 것은 순방향 전파 중 특징 손실로 이어질 수 있으므로 네트워크 성능이 저하될 수 있습니다. . 동시에, 역전파의 맥락에서 이 구조는 최적이 아닌 오류 역전파로 이어져 경사 안정성 달성을 방해할 수 있습니다. 이러한 문제를 해결하기 위해 비대칭 다단계 압축 디커플링 헤드라고 하는 새로운 디커플링 헤드가 도입되었습니다(아래 그림 (b) 참조). 구체적으로 연구원들은 목표 점수 작업 전용 네트워크 경로를 심화하고 3개의 컨볼루션을 사용하여 작업의 수용 필드와 매개 변수 수를 확장했습니다. 동시에 각 컨벌루션 레이어의 특징은 채널 차원을 따라 압축됩니다. 이 방법은 목표 채점 작업과 관련된 훈련 난이도를 효과적으로 완화하고 모델 성능을 향상시킬 뿐만 아니라 분리된 헤드 모듈의 매개변수와 GFLOP를 크게 줄여 추론 속도를 크게 향상시킵니다. 또한 분류 및 경계 상자 작업을 분리하기 위해 1개의 컨볼루셔널 레이어가 사용됩니다. 이는 일치하는 양성 샘플의 경우 두 작업과 관련된 손실이 상대적으로 작아서 과도한 확장을 방지하기 때문입니다. 이 접근 방식은 디커플링 헤더의 매개변수와 GFLOP를 크게 줄여 궁극적으로 추론 속도를 높입니다. 04 실험 시각화

MS-COCO val2017에 대한 절제 실험

MS-COCO 2017의 AP 측면에서 YOLOCS, YOLOX 및 YOLOv5-r6.1[7] 비교 test-dev

위 내용은 YoloCS: 기능 맵의 공간 복잡성을 효과적으로 줄입니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!