本文将介绍一种通过bev sketch布局来精确生成多视角街景图片的方法
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
在自动驾驶领域，图像合成被广泛应用于提升下游感知任务的性能
在计算机视觉领域，提升感知模型性能的一个长期存在的研究难题是通过合成图像来实现。在以视觉为中心的自动驾驶系统中，使用多视角摄像头，这个问题变得更加突出，因为有些长尾场景是永远无法收集到的
根据图1(a)所示，现有的生成方法将语义分割风格的BEV结构输入生成网络，并输出合理的多视角图像。在仅根据场景级指标进行评估时，现有方法似乎能合成照片般逼真的街景图像。然而，一旦放大，我们发现它无法生成准确的对象级别的细节。图中，我们展示了目前最先进生成算法的一个常见错误，即生成的车辆与目标3D边界框相比方向完全相反。此外，编辑语义分割样式的BEV结构是一项艰巨的任务，需要大量人力
因此，我们提出了一种名为BEVControl的两阶段方法，用于提供更精细的背景和前景几何控制，如图1(b)所示。BEVControl支持草图风格的BEV结构输入，可以实现快速简便的编辑。此外，我们的BEVControl将视觉一致性分解为两个子目标：通过控制器（Controller）实现街道视图和鸟瞰视图之间的几何一致性；通过协调器（Coordinator）实现街道视图之间的外观一致性
论文链接：https://www.php.cn/link/1531beb762df4029513ebf9295e0d34f
方法框架
- BEVControl 是一个 UNet 结构的生成网络，由一系列模块组成。每个模块有两个元素，即控制器(Controller )和协调器(Coordinator )。
- 输入：便于编辑的 BEV 草图、多视图噪声图像和文本提示；
- 输出：生成的多视图图像。
方法细节
- BEV草图到相机条件的相机投影过程。输入为BEV草图。输出为多视角的前景条件和背景条件。
- 控制器: 以自注意力的方式接收相机视图草图的前景和背景信息，并输出与 BEV草图具有几何一致性的街景特征。
- 协调器：利用一种新颖的跨视图、跨元素的注意力机制，实现跨视图的上下文交互，输出具有外观一致性的街景特征。
提出的测评指标
- 最近的街景图像生成工作仅根据场景级指标（如 FID、road mIoU 等）来评估生成质量。
- 我们发现仅使用这些指标无法评估生成网络的真正生成能力，如下图所示。报告的定性和定量结果同时表明，两组生成的街景图像虽然具有相似的 FID 分数，但对前景和背景的细粒度控制能力却大相径庭。
- 因此，我们提出一套用于精细衡量生成网络控制能力的评估指标。
定量结果
- BEVControl与最先进的方法在提出的测评指标上的对比。
- 应用BEVControl做数据增强，在目标检测任务上的提升。
定性结果
- BEVControl与最先进的方法在NuScenes验证集上的对比。
Demo效果
需要重写的内容是：参考文献
需要重写的内容是：[1] Swerdlow A, Xu R, Zhou B. 从鸟瞰布局生成街景图像[J]. arXiv预印本 arXiv:2301.04634, 2023.
