ホームページ > 記事 > テクノロジー周辺機器 > より詳細な背景と前景の制御、より高速な編集: BEVControl の 2 段階のアプローチ
この記事では、BEV Sketch レイアウトを通じてマルチビューのストリートビュー画像を正確に生成する方法を紹介します
自動運転の分野では、画像合成が広く使用されています。下流の知覚を改善する タスクのパフォーマンスを改善する
コンピュータ ビジョンの分野において、知覚モデルのパフォーマンスを向上させるための長年の研究課題は、画像を合成することによってそれを達成することです。マルチビューカメラを使用するビジョン中心の自動運転システムでは、一部のロングテールシーンが収集できないため、この問題はより顕著になります。図1(a)、既存の生成方法は、セマンティックセグメンテーションスタイルのBEV構造を生成ネットワークに入力し、合理的な多視点画像を出力します。シーンレベルの指標のみで評価すると、既存の方法はフォトリアリスティックなストリートビュー画像を合成できるように見えます。しかし、ズームインすると、正確なオブジェクトレベルの詳細を生成できないことがわかりました。この図では、最先端の生成アルゴリズムによくある間違い、つまり、生成された車両がターゲットの 3D バウンディング ボックスと比較して完全に反対方向を向いていることを示しています。さらに、セマンティックセグメンテーション方式の BEV 構造の編集は多くの人手を必要とする困難な作業であるため、図 1(b) に示すように、より洗練された背景と前景の形状を提供する BEVControl と呼ばれる 2 段階の手法を提案します。 。 BEVControl はスケッチ スタイルの BEV 構造入力をサポートしており、迅速かつ簡単な編集が可能です。さらに、BEVControl は視覚的な一貫性を 2 つのサブ目標に分解します: コントローラーを介したストリート ビューと鳥瞰図間の幾何学的一貫性、コーディネーターを介したストリート ビュー間の外観の一貫性
##Paperリンク: https://www.php.cn/link/1531beb762df4029513ebf9295e0d34f #メソッドフレームワーク入力: BEV スケッチ、マルチビュー ノイズ イメージ、および簡単に編集できるテキスト プロンプト; 出力: 生成されたマルチビュー イメージ。
提案された評価指標
##書き換える必要がある内容は次のとおりです。 参照
書き換える必要がある内容は次のとおりです。 [1] Swerdlow A、Xu R、Zhou B。鳥瞰図レイアウト[ J]. arXiv プレプリント arXiv:2301.04634, 2023.
以上がより詳細な背景と前景の制御、より高速な編集: BEVControl の 2 段階のアプローチの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。