検索
ホームページテクノロジー周辺機器AIFlashOcc: 占有予測の新しいアイデア、精度、効率、メモリ使用量の新しい SOTA!

原題: FlashOcc: Fast and Memory-Efficient Occupancy Prediction via Channel-to-Height Plugin

論文リンク: https://arxiv.org/pdf/2311.12058.pdf

著者単位: 大連理工大学 Houmo AI アデレード大学

FlashOcc: 占有予測の新しいアイデア、精度、効率、メモリ使用量の新しい SOTA!

論文のアイデア:

3D ターゲット検出の問題 遍在するロングテールの欠点と、複雑な形状に欠けている機能のため、占有予測は自動運転システムの重要なコンポーネントとなっています。ただし、3 次元のボクセル レベルの表現の処理では、メモリと計算の点で必然的に大幅なオーバーヘッドが発生し、これまでの占有予測方法の展開を妨げています。モデルがより大きく、より複雑になる傾向とは反対に、この論文では、理想的なフレームワークは、高い精度を維持しながら、さまざまなチップ間で導入しやすいものでなければならないと主張しています。この目的を達成するために、この文書では、高精度を維持しながら高速でメモリ効率の高い占有予測を統合するためのプラグアンドプレイ パラダイムである FlashOCC を提案します。特に、当社の FlashOCC は、現代のボクセルレベルの占有予測方法に基づいて 2 つの改善を行っています。まず、特徴が BEV に保存されるため、特徴抽出に効率的な 2D 畳み込み層を使用できるようになります。第二に、BEV の出力ロジットを 3D 空間に促進するために、チャネルから高さへの変換が導入されます。このペーパーでは、FlashOCC を困難な Occ3D-nuScenes ベンチマークのさまざまな占有予測ベースラインに適用し、その有効性を検証するために広範な実験を実施します。結果は、当社のプラグアンドプレイパラダイムが精度、ランタイム効率、メモリコストの点で以前の最先端の方法よりも優れていることを確認し、その導入の可能性を示しています。コードは使用できるようになります。

ネットワーク設計:

サブピクセル畳み込み技術 [26] に触発され、画像のアップサンプリングをチャネルの再配置に置き換えて、チャネルから空間への特徴変換を実現します。この研究では、チャネルから高さへの特徴変換を効率的に達成することを目的としています。 BEV 表現の各ピクセルに高さ次元の対応する柱状オブジェクトに関する情報が含まれる BEV 知覚タスクの開発を考慮して、チャネルから高さへの変換を直感的に利用して BEV の特徴を平坦化します。 。したがって、図 1(a) に示すように、私たちの研究は、新しいモデル アーキテクチャを開発するのではなく、汎用的でプラグ アンド プレイの方法で既存のモデルを強化することに焦点を当てています。具体的には、現代の手法における 3D 畳み込みの代わりに 2D 畳み込みを直接使用し、3D 畳み込み出力から導出された占有ロジットを、2D 畳み込みを通じて取得された BEV レベルの特徴のチャネルから高さへの変換に置き換えます。これらのモデルは、精度と時間消費の間で最適なトレードオフを達成するだけでなく、優れた導入互換性を実証します。

FlashOcc は、非常に高い精度でリアルタイムのルックアラウンド 3D 占有予測を完了することに成功し、この分野での独創的な貢献を示しています。分野。さらに、高価なボクセルレベルの特徴処理を必要とせず、ビュートランスフォーマーや 3D (変形可能) 畳み込み演算子が回避されるため、さまざまな車両プラットフォームに展開するための汎用性が向上します。図 2 に示すように、FlashOcc の入力データはサラウンド画像で構成され、出力は密集占有予測結果です。この記事の FlashOcc は、多用途かつプラグアンドプレイの方法で既存のモデルを強化することに焦点を当てていますが、それでも 5 つの基本モジュールに分けることができます: (1) 2D 画像エンコーダー。マルチカメラ画像から画像特徴を抽出します。 (2) 2D 知覚ビュー画像特徴を 3D BEV 表現にマッピングするのに役立つビュー変換モジュール。 (3) BEV エンコーダ。BEV 機能情報の処理を担当します。 (4) 予測モジュールを占有して、各ボクセルのセグメンテーション ラベルを予測します。 (5) パフォーマンスを向上させるために履歴情報を統合するように設計されたオプションの時間融合モジュール。

FlashOcc: 占有予測の新しいアイデア、精度、効率、メモリ使用量の新しい SOTA!

図 1.(a) は、提案された FlashOcc がプラグ アンド プレイ方式でどのように実装できるかを示しています。最新の手法では、3D-Conv によって処理されたボクセルレベルの 3D 特徴を使用して占有率を予測します。対照的に、私たちのプラグイン置換モデルは、(1) 3D-Conv を 2D-Conv に置き換え、(2) 3D-Conv から導出された占有ロジットをチャネルから高さへの変換に置き換えることによって実装されます。 2D-Conv を介して取得された BEV レベルの特徴の予測。 「Conv」という略語はコンボリューションを表します。 (b) は、精度と、速度、推論メモリ消費量、トレーニング期間などの要素との間のトレードオフを示しています。

FlashOcc: 占有予測の新しいアイデア、精度、効率、メモリ使用量の新しい SOTA!

図 2. この図は FlashOcc の全体的なアーキテクチャを示しており、ズーム機能を使用してカラーで表示するのが最適です。破線のボックスで指定された領域は、交換可能なモジュールの存在を示します。各交換可能なモジュールの特徴形状は、それぞれ 2D 画像、BEV レベル、ボクセル レベルの特徴を表すアイコンによって表されます。水色の領域はオプションの時間融合モジュールに対応しており、その使用は赤いスイッチのアクティブ化によって異なります。

FlashOcc: 占有予測の新しいアイデア、精度、効率、メモリ使用量の新しい SOTA!

図 4 は、3D ボクセル レベルの表現処理とこの記事で提案されているプラ​​グイン置換のアーキテクチャの比較を示しています。

実験結果:

FlashOcc: 占有予測の新しいアイデア、精度、効率、メモリ使用量の新しい SOTA!FlashOcc: 占有予測の新しいアイデア、精度、効率、メモリ使用量の新しい SOTA!FlashOcc: 占有予測の新しいアイデア、精度、効率、メモリ使用量の新しい SOTA!

FlashOcc: 占有予測の新しいアイデア、精度、効率、メモリ使用量の新しい SOTA!

FlashOcc: 占有予測の新しいアイデア、精度、効率、メモリ使用量の新しい SOTA!

FlashOcc: 占有予測の新しいアイデア、精度、効率、メモリ使用量の新しい SOTA!

FlashOcc: 占有予測の新しいアイデア、精度、効率、メモリ使用量の新しい SOTA!

#概要:

この記事では、高速でメモリ効率の高い占有予測を実現するために設計された、FlashOCC と呼ばれるプラグ アンド プレイ メソッドを紹介します。この方法では、2D 畳み込みを使用してボクセルベースの占有方法の 3D 畳み込みを直接置き換え、チャネルから高さへの変換を組み合わせて、平坦化された BEV フィーチャを占有ロジットに再形成します。 FlashOCC は、さまざまなボクセルレベルの占有予測方法にわたってその有効性と一般化可能性を実証しています。広範な実験により、この方法が精度、時間消費、メモリ効率、展開の容易さの点で以前の最先端の方法よりも優れていることが実証されています。私たちの知る限り、FlashOCC はサブピクセル パラダイム (チャネルから高さまで) を占有タスクに適用する最初の方法であり、BEV レベルの機能のみを活用し、計算による 3D (変形可能な) 畳み込みやトランスフォーマーの使用を完全に回避します。モジュール。視覚化の結果は、FlashOCC が高さ情報をうまく保持していることを説得力をもって示しています。将来の研究では、この方法は自動運転の認識パイプラインに統合され、効率的なオンチップ展開の実現を目指します。

引用:

Yu, Z., Shu, C.、Deng, J.、Lu, K.、Liu, Z.、Yu, J.、Yang, D.、Li, H.、Chen, Y. (2023). FlashOcc: 高速とメモリ - Channel-to-Height プラグインによる効率的な占有予測。ArXiv. /abs/2311.12058

FlashOcc: 占有予測の新しいアイデア、精度、効率、メモリ使用量の新しい SOTA!

元のリンク: https://mp.weixin.qq.com/ s/JDPlWj8FnZffJZc9PIsvXQ

以上がFlashOcc: 占有予測の新しいアイデア、精度、効率、メモリ使用量の新しい SOTA!の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事は51CTO.COMで複製されています。侵害がある場合は、admin@php.cn までご連絡ください。
Huggingface smollmであなたの個人的なAIアシスタントを構築する方法Huggingface smollmであなたの個人的なAIアシスタントを構築する方法Apr 18, 2025 am 11:52 AM

オンデバイスAIの力を活用:個人的なチャットボットCLIの構築 最近では、個人的なAIアシスタントの概念はサイエンスフィクションのように見えました。 ハイテク愛好家のアレックスを想像して、賢くて地元のAI仲間を夢見ています。

メンタルヘルスのためのAIは、スタンフォード大学でのエキサイティングな新しいイニシアチブによって注意深く分析されますメンタルヘルスのためのAIは、スタンフォード大学でのエキサイティングな新しいイニシアチブによって注意深く分析されますApr 18, 2025 am 11:49 AM

AI4MHの最初の発売は2025年4月15日に開催され、有名な精神科医および神経科学者であるLuminary Dr. Tom Insel博士がキックオフスピーカーを務めました。 Insel博士は、メンタルヘルス研究とテクノでの彼の傑出した仕事で有名です

2025年のWNBAドラフトクラスは、成長し、オンラインハラスメントの成長と戦いに参加します2025年のWNBAドラフトクラスは、成長し、オンラインハラスメントの成長と戦いに参加しますApr 18, 2025 am 11:44 AM

「私たちは、WNBAが、すべての人、プレイヤー、ファン、企業パートナーが安全であり、大切になり、力を与えられたスペースであることを保証したいと考えています」とエンゲルバートは述べ、女性のスポーツの最も有害な課題の1つになったものに取り組んでいます。 アノ

Pythonビルトインデータ構造の包括的なガイド-AnalyticsVidhyaPythonビルトインデータ構造の包括的なガイド-AnalyticsVidhyaApr 18, 2025 am 11:43 AM

導入 Pythonは、特にデータサイエンスと生成AIにおいて、プログラミング言語として優れています。 大規模なデータセットを処理する場合、効率的なデータ操作(ストレージ、管理、アクセス)が重要です。 以前に数字とstをカバーしてきました

Openaiの新しいモデルからの代替案からの第一印象Openaiの新しいモデルからの代替案からの第一印象Apr 18, 2025 am 11:41 AM

潜る前に、重要な注意事項:AIパフォーマンスは非決定論的であり、非常にユースケース固有です。簡単に言えば、走行距離は異なる場合があります。この(または他の)記事を最終的な単語として撮影しないでください。これらのモデルを独自のシナリオでテストしないでください

AIポートフォリオ| AIキャリアのためにポートフォリオを構築する方法は?AIポートフォリオ| AIキャリアのためにポートフォリオを構築する方法は?Apr 18, 2025 am 11:40 AM

傑出したAI/MLポートフォリオの構築:初心者と専門家向けガイド 説得力のあるポートフォリオを作成することは、人工知能(AI)と機械学習(ML)で役割を確保するために重要です。 このガイドは、ポートフォリオを構築するためのアドバイスを提供します

エージェントAIがセキュリティ運用にとって何を意味するのかエージェントAIがセキュリティ運用にとって何を意味するのかApr 18, 2025 am 11:36 AM

結果?燃え尽き症候群、非効率性、および検出とアクションの間の隙間が拡大します。これは、サイバーセキュリティで働く人にとってはショックとしてはありません。 しかし、エージェントAIの約束は潜在的なターニングポイントとして浮上しています。この新しいクラス

Google対Openai:学生のためのAIの戦いGoogle対Openai:学生のためのAIの戦いApr 18, 2025 am 11:31 AM

即時の影響と長期パートナーシップ? 2週間前、Openaiは強力な短期オファーで前進し、2025年5月末までに米国およびカナダの大学生にChatGpt Plusに無料でアクセスできます。このツールにはGPT ‑ 4o、Aが含まれます。

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

SecLists

SecLists

SecLists は、セキュリティ テスターの究極の相棒です。これは、セキュリティ評価中に頻繁に使用されるさまざまな種類のリストを 1 か所にまとめたものです。 SecLists は、セキュリティ テスターが必要とする可能性のあるすべてのリストを便利に提供することで、セキュリティ テストをより効率的かつ生産的にするのに役立ちます。リストの種類には、ユーザー名、パスワード、URL、ファジング ペイロード、機密データ パターン、Web シェルなどが含まれます。テスターはこのリポジトリを新しいテスト マシンにプルするだけで、必要なあらゆる種類のリストにアクセスできるようになります。

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

AtomエディタMac版ダウンロード

AtomエディタMac版ダウンロード

最も人気のあるオープンソースエディター

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

このプロジェクトは osdn.net/projects/mingw に移行中です。引き続きそこでフォローしていただけます。 MinGW: GNU Compiler Collection (GCC) のネイティブ Windows ポートであり、ネイティブ Windows アプリケーションを構築するための自由に配布可能なインポート ライブラリとヘッダー ファイルであり、C99 機能をサポートする MSVC ランタイムの拡張機能が含まれています。すべての MinGW ソフトウェアは 64 ビット Windows プラットフォームで実行できます。