더욱 세분화된 배경 및 전경 제어, 더욱 빠른 편집: BEVControl의 2단계 접근 방식
- WBOY앞으로
- 2023-09-07 23:21:061362검색
이 글에서는 BEV Sketch 레이아웃을 통해 다시점 스트리트 뷰 이미지를 정확하게 생성하는 방법을 소개합니다
자율주행 분야에서 이미지 합성은 하류 인식 작업의 성능을 향상시키기 위해 널리 사용됩니다
현장에서 컴퓨터 비전의 인식 개선 모델 성능에 대한 오랜 연구 과제는 합성 이미지를 통해 달성됩니다. 비전 중심 자율주행 시스템에서는 멀티뷰 카메라를 사용하는 경우 일부 롱테일 장면을 절대 수집할 수 없기 때문에 이 문제가 더욱 두드러진다
그림 1(a)와 같이 기존의 생성 방식은 의미론적 분할 스타일의 BEV 구조를 생성 네트워크로 변환하고 합리적인 다시점 이미지를 출력합니다. 장면 수준 지표로만 평가할 때 기존 방법은 사실적인 스트리트 뷰 이미지를 합성할 수 있는 것으로 보입니다. 그러나 확대한 후에는 정확한 개체 수준 세부 정보를 생성하지 못하는 것으로 나타났습니다. 그림에서 우리는 생성된 차량이 대상 3D 경계 상자와 비교하여 완전히 반대 방향으로 향하는 최첨단 생성 알고리즘의 일반적인 실수를 보여줍니다. 더욱이, 의미론적 분할 스타일의 BEV 구조를 편집하는 것은 어려운 작업이고 많은 인력이 필요합니다
따라서 그림 1과 같이 보다 미세한 배경 및 전경 기하학적 제어를 제공하기 위해 BEVControl이라는 2단계 방법을 제안합니다. (비). BEVControl은 스케치 스타일의 BEV 구조 입력을 지원하므로 빠르고 쉽게 편집할 수 있습니다. 또한 BEVControl은 컨트롤러를 통한 거리 뷰와 조감도 간의 기하학적 일관성, 코디네이터를 통한 거리 뷰 간의 시각적 일관성
문서 링크: https:// www.php.cn/link/1531beb762df4029513ebf9295e0d34f
Method Framework
- BEVControl은 일련의 모듈 구성으로 구성된 UNet 구조의 생성 네트워크입니다. 각 모듈에는 컨트롤러와 코디네이터라는 두 가지 요소가 있습니다.
- 입력: BEV 스케치, 다중 뷰 노이즈 이미지 및 간편한 편집을 위한 텍스트 프롬프트
- 출력: 생성된 다중 뷰 이미지.
방법 세부정보
- BEV 스케치에서 카메라 조건에 따른 카메라 프로젝션 과정. 입력은 BEV 스케치입니다. 출력은 다중 뷰 전경 조건과 배경 조건입니다.
- Controller: Self-Attention 방식으로 카메라 뷰 스케치의 전경 및 배경 정보를 수신하고, BEV 스케치와 기하학적으로 일치하는 스트리트 뷰 기능을 출력합니다.
- 코디네이터: 새로운 교차 뷰 및 교차 요소 주의 메커니즘을 활용하여 교차 뷰 상황별 상호 작용을 달성하고 외관 일관성을 유지하면서 스트리트 뷰 기능을 출력합니다.
제안된 평가 지표
- 최근 스트리트 뷰 이미지 생성 작업은 장면 수준 지표(예: FID, 도로 mIoU 등)를 기반으로 생성 품질만 평가합니다.
- 우리는 아래 그림과 같이 이러한 측정항목만 사용하여 생성 네트워크의 실제 생성 능력을 평가하는 것이 불가능하다는 것을 발견했습니다. 보고된 정성적 및 정량적 결과에 따르면 두 그룹 모두 FID 점수는 비슷하지만 전경과 배경에 대한 세밀한 제어 기능이 매우 다른 스트리트 뷰 이미지를 생성하는 것으로 나타났습니다.
- 따라서 우리는 발전 네트워크의 제어 능력을 세밀하게 측정하기 위한 일련의 평가 지표를 제안합니다.
정량적 결과
- 제안된 평가 지표에 대한 BEVControl과 최신 방법의 비교.
- 데이터 향상을 위해 BEVControl을 적용하여 표적 탐지 작업을 개선하세요.
정성적 결과
- NuScenes 검증 세트에 대한 BEVControl과 최첨단 방법의 비교.
Demo effect
다시 작성해야 하는 내용은 다음과 같습니다. References
다시 작성해야 하는 내용은 다음과 같습니다. [1] Swerdlow A, Xu R , Zhou B . 조감도 레이아웃에서 스트리트 뷰 이미지 생성[J] arXiv 사전 인쇄 arXiv:2301.04634, 2023.
위 내용은 더욱 세분화된 배경 및 전경 제어, 더욱 빠른 편집: BEVControl의 2단계 접근 방식의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!