정확한 객체 감지를 위한 다중 그리드 중복 경계 상자 주석

1. 소개

현재 주요 객체 감지기는 Deep CNN의 용도가 변경된 백본 분류기 네트워크를 기반으로 하는 2단계 또는 단일 단계 네트워크입니다. YOLOv3은 입력 이미지를 수신하고 이를 동일한 크기의 그리드 매트릭스로 나누는 잘 알려진 최첨단 단일 스테이지 검출기 중 하나입니다. 표적 중심이 있는 그리드 셀은 특정 표적을 탐지하는 역할을 담당합니다.

오늘 우리가 공유한 내용은 정확하고 꼭 맞는 경계 상자 예측을 달성하기 위해 각 대상에 여러 그리드를 할당하는 새로운 수학적 방법을 제안하는 것입니다. 연구원들은 또한 표적 탐지를 위한 효과적인 오프라인 복사-붙여넣기 데이터 향상을 제안했습니다. 새로 제안된 방법은 현재의 일부 최첨단 객체 감지기보다 훨씬 뛰어난 성능을 발휘하며 더 나은 성능을 약속합니다.

2. 배경

객체 감지 네트워크는 이미지에서 객체를 찾고 정밀하게 일치하는 경계 상자를 사용하여 객체에 정확하게 레이블을 지정하도록 설계되었습니다. 최근에는 이를 달성하는 두 가지 방법이 있습니다. 첫 번째 방법은 성능 측면에서 가장 중요한 방법은 2단계 객체 감지(Two-stage object detector)이며 가장 대표적인 것이 RCNN(Regional Convolutional Neural Network)과 그 파생물이다. ], [빠른 R-CNN]. 이에 비해 객체 감지 구현의 두 번째 그룹은 감지 속도가 뛰어나고 경량으로 알려져 있으며 단일 단계 네트워크라고 합니다. 대표적인 예는 [한 번만 보면 통합, 실시간 객체 감지], [SSD: 싱글샷 멀티박스 감지기], [밀집된 물체 감지를 위한 초점 손실]. 2단계 네트워크는 관심 객체를 포함할 수 있는 이미지의 후보 영역을 생성하는 잠재 영역 제안 네트워크에 의존합니다. 이 네트워크에 의해 생성된 후보 영역에는 객체의 관심 영역이 포함될 수 있습니다. 단일 단계 객체 감지에서는 완전한 순방향 패스에서 분류 및 위치 파악과 동시에 감지가 처리됩니다. 따라서 단일 단계 네트워크는 일반적으로 더 가볍고 빠르며 구현하기 쉽습니다.

오늘의 연구는 여전히 YOLO 방법, 특히 YOLOv3를 고수하며 여러 네트워크 단위 요소를 동시에 사용하여 대상 좌표, 카테고리 및 대상 신뢰도를 예측할 수 있는 간단한 핵을 제안합니다. 객체당 다중 네트워크 단위 요소의 이론적 근거는 여러 단위 요소가 동일한 객체에서 작동하도록 강제하여 밀접하게 맞는 경계 상자를 예측할 가능성을 높이는 것입니다.

다중 그리드 할당의 몇 가지 장점은 다음과 같습니다.

객체 감지기는 객체의 클래스와 객체 클래스를 예측하기 위해 하나의 그리드 셀에만 의존하는 대신 감지하는 객체의 다중 뷰 맵을 제공합니다. 좌표.

(b+) 덜 무작위적이고 불확실한 경계 상자 예측. 이는 인근 네트워크 단위가 동일한 개체 범주 및 좌표를 예측하도록 훈련되었기 때문에 높은 정밀도와 재현율을 의미합니다.

(c) 다음을 사용하여 그리드 셀 간의 불균형을 줄입니다. 관심 객체 및 관심 객체가 없는 그리드 셀.

또한 다중 그리드 할당은 기존 매개변수를 수학적으로 활용하는 것이며 CenterNet 및 CornerNet과 같은 해당 대상에 키포인트를 재결합하기 위해 추가 키포인트 풀링 레이어 및 후처리가 필요하지 않기 때문에 앵커가 없거나 키포인트 기반 객체 감지기가 달성하려는 목표를 달성하는 보다 자연스러운 방법입니다. 연구진은 다중 그리드 중복 주석 외에도 정확한 객체 감지를 위한 새로운 오프라인 복사-붙여넣기 기반 데이터 향상 기술을 도입했습니다.

3. MULTI-GRID ASSIGNMENT

위 그림에는 개, 자전거, 자동차 세 가지 대상이 포함되어 있습니다. 간결함을 위해 하나의 객체에 대한 다중 그리드 할당을 설명하겠습니다. 위 이미지는 강아지의 경계 상자에 대한 자세한 내용과 함께 세 개체의 경계 상자를 보여줍니다. 아래 이미지는 강아지의 경계 상자 중앙을 중심으로 위 이미지의 확대된 영역을 보여줍니다. 개 경계 상자의 중심을 포함하는 그리드 셀의 왼쪽 상단 좌표에는 숫자 0이 표시되고, 중심을 포함하는 그리드를 둘러싼 다른 8개 그리드 셀에는 1부터 8까지의 라벨이 지정됩니다.

지금까지 객체 경계 상자의 중심을 포함하는 메시가 객체에 주석을 추가하는 방법에 대한 기본 사실을 설명했습니다. 범주를 예측하고 정확하게 밀착된 경계 상자를 수행하기 위해 개체당 하나의 그리드 셀에만 의존하면 다음과 같은 많은 문제가 발생합니다.

(a) 양수 그리드와 음수 그리드 사이의 큰 격차 불균형, 즉 객체 중심의 그리드 좌표 없음

(b) GT로의 느린 경계 상자 수렴

(c) 예측할 객체의 다중 각도(각도) 보기가 부족합니다.

여기서 물어볼 자연스러운 질문은 "분명히 대부분의 개체에는 둘 이상의 그리드 셀 영역이 포함되어 있으므로 개체의 카테고리와 좌표를 예측하기 위해 이러한 그리드 셀을 더 많이 할당하는 간단한 수학적 방법이 있습니까?"입니다. 중앙 그리드 셀과 함께요?" 이것의 몇 가지 장점은 (a) 불균형 감소, (b) 이제 여러 그리드 셀이 동일한 객체를 동시에 대상으로 하기 때문에 경계 상자로 수렴하는 더 빠른 훈련, (c) 딱 맞는 경계 상자의 예측 증가입니다. 기회(d)는 그리드를 제공합니다. 객체의 단일 지점 뷰 대신 다중 뷰 뷰를 갖춘 YOLOv3와 같은 기반 감지기. 새로 제안된 멀티그리드 할당은 위의 질문에 대한 답을 시도합니다.

Ground-truth 인코딩

IV. 훈련

A. 탐지 네트워크: MultiGridDet

더 가볍게 만들기 위해 6개의 다크넷이 제거되었습니다. 그리고 더 빠릅니다. 컨볼루션 블록에는 Conv2D+Batch Normalization+LeakyRelu가 있습니다. 제거된 블록은 분류 백본(예: Darknet53)에 속하지 않습니다. 대신, 3개의 다중 스케일 감지 출력 네트워크 또는 헤드(각 출력 네트워크에서 2개씩)에서 이를 제거하십시오. 일반적으로 심층 네트워크는 성능이 좋지만 너무 깊은 네트워크는 네트워크에 빠르게 과적합되거나 네트워크 속도가 크게 느려지는 경향이 있습니다.

B. 손실 함수

다른 β 값을 사용한 좌표 활성화 함수 플롯

C. 오프라인 복사 및 붙여넣기 수동 교육 이미지 합성은 다음과 같이 작동합니다. 다음 : 첫째, 간단한 이미지 검색 스크립트를 사용하여 랜드마크, 비, 숲 등과 같은 키워드를 사용하여 Google 이미지에서 배경 객체가 없는 수천 개의 이미지, 즉 관심 대상이 없는 이미지를 다운로드합니다. 그런 다음 전체 교육 데이터 세트의 무작위 q 이미지에서 p 객체와 해당 경계 상자를 반복적으로 선택합니다. 그런 다음 해당 인덱스를 ID로 사용하여 선택된 p 경계 상자의 가능한 모든 조합을 생성합니다. 결합된 세트에서 다음 두 가지 조건을 충족하는 경계 상자의 하위 집합을 선택합니다.

임의의 순서로 나란히 배열된 경우 주어진 대상 배경 이미지 영역

• 내에 맞아야 하며
• 배경 이미지 공간을 전체적으로 또는 적어도 대부분의 객체가 겹치지 않게 효율적으로 활용합니다. coco 데이터 세트의 성능 비교

그림에서 볼 수 있듯이 첫 번째 행은 6개를 보여줍니다. 두 번째 행은 NMS(Non-Maximum Suppression) 이전의 네트워크를 보여주고, 마지막 행은 NMS 이후 입력 이미지에 대한 MultiGridDet의 최종 경계 상자 예측을 보여줍니다.

위 내용은 정확한 객체 감지를 위한 다중 그리드 중복 경계 상자 주석의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!