検索
ホームページテクノロジー周辺機器AI高解像度のビデオは本物ではありません。複数の写真でレンダリングされた 3D シーンにより、本物かどうかを区別するのが難しくなります。

高解像度のビデオは本物ではありません。複数の写真でレンダリングされた 3D シーンにより、本物かどうかを区別するのが難しくなります。
高解像度のビデオは本物ではありません。複数の写真でレンダリングされた 3D シーンにより、本物かどうかを区別するのが難しくなります。
上記のアニメーションは完全に複数の写真からレンダリングされた 3D シーンであることに注意してください。人間は自分の欠点を見つけるのが難しいのです。

それでは、このシナリオがどのように実現されるかを見てみましょう。

グリッドとポイントは最も一般的な 3D シーン表現であり、明示的であるため、高速な GPU/CUDA ベースのラスタライゼーションに適しています。対照的に、最先端の神経放射場 (NeRF) 手法は連続シーン表現に基づいて構築されており、多くの場合、ボリューム レイ レンダリングに最適化された多層パーセプトロン (MLP) を使用して、キャプチャされたシーンに新しい視点を合成します。これらのメソッドの連続性は最適化に役立ちますが、レンダリングに必要なランダム サンプリングはコストが高く、ノイズが多くなります。

フレンチ リビエラ大学の研究者らは、これら 2 つの方法の利点を組み合わせた新しい方法を導入しました。3D ガウス表現は SOAT の視覚的品質を備え、トレーニング時間も最適化されますが、タイルベースの雪だるま式アルゴリズム (タイルベースのスプラッティング) は、いくつかのデータ セット上で 1080p 解像度での SOTA リアルタイム レンダリングを実現します。
高解像度のビデオは本物ではありません。複数の写真でレンダリングされた 3D シーンにより、本物かどうかを区別するのが難しくなります。
論文のアドレス: https://huggingface.co/papers/2308.04079
高解像度のビデオは本物ではありません。複数の写真でレンダリングされた 3D シーンにより、本物かどうかを区別するのが難しくなります。
研究チームは、複数の写真で撮影されたシーンをリアルタイムでレンダリングし、典型的な実際のシーンで最速の時間を達成するという目標を設定しました。最適化。 Fridovich-Kei らが以前に提案した手法は高速なトレーニングを実現しましたが、現在の SOTA NeRF 手法で達成される視覚的な品質を達成することは困難であり、トレーニングに最大 48 時間を要しました。シーンに応じたインタラクティブなレンダリング(1秒あたり10~15フレーム)を実現する高速だが低品質の放射線場法も提案されているが、この方法では高解像度でのリアルタイムレンダリングは実現できない。

次に、この記事がどのように実装されるかを見てみましょう。研究チームのソリューションは主に 3 つの部分で構成されています。

まず、柔軟で表現力豊かなシーン表現として 3D ガウシアンを紹介します。入力は NeRF 法と似ています。つまり、カメラは Structure-from-Motion (SfM) を使用して校正され、3D ガウス アンサンブルは SfM プロセスから導出された疎な点群を使用して初期化されます。さらに、この研究では SfM ポイントのみを入力として使用して高品質の結果を得ることができました。 NeRF 合成データセットの場合、私たちの方法はランダムな初期化でも高品質の結果を取得できることに注意してください。研究によると、3D ガウスが良い選択であることがわかっています。
2 番目に、3D ガウス プロパティ、つまり 3D 位置、不透明度、異方性共分散、球面調和関数 (SH) 係数を最適化します。最適化プロセスにより、かなりコンパクトで構造化されていない正確なシーンの表現が生成されます。

3 番目のリアルタイム レンダリング ソリューションでは、この研究では高速 GPU ソート アルゴリズムを使用します。ただし、3D ガウス表現により、ソートとブレンディングのおかげで、可視性の順序を尊重しながら異方性スプライシングを実行することができます。また、必要な数のソートされたスプライスのトラバースを追跡することで、高速かつ正確に後方に渡すことができます。

手法の概要

要約すると、この論文は次のような貢献をします:

高解像度のビデオは本物ではありません。複数の写真でレンダリングされた 3D シーンにより、本物かどうかを区別するのが難しくなります。 放射線場の高品質で非構造化表現としての異方性 3D ガウスの導入。
適応密度制御と組み合わされた 3D ガウス プロパティの最適化手法により、キャプチャされたシーンの高品質な表現を作成します。

可視性を考慮した GPU 用の高速微分可能なレンダリング手法。 -高品質の新しいビューの合成。
高解像度のビデオは本物ではありません。複数の写真でレンダリングされた 3D シーンにより、本物かどうかを区別するのが難しくなります。
実験

次の図は、この記事の方法と以前の方法の効果の比較を示しています。
高解像度のビデオは本物ではありません。複数の写真でレンダリングされた 3D シーンにより、本物かどうかを区別するのが難しくなります。
高解像度のビデオは本物ではありません。複数の写真でレンダリングされた 3D シーンにより、本物かどうかを区別するのが難しくなります。
シーンは上から下まで、Mip-NeRF360 データセットの自転車、庭園、カウンター、部屋、ディープ ハイブリッド データセットのゲーム ルームです (詳細な比較については、元の記事をお読みください)。自転車のスポーク、庭の端にある家のガラス、鉄かごのポール、テディベアなど、さまざまな方法によって生じた大きな違いが図に示されています。

この記事の方法には、以前の方法よりも詳細な点で多くの利点があることがわかります。

高解像度のビデオは本物ではありません。複数の写真でレンダリングされた 3D シーンにより、本物かどうかを区別するのが難しくなります。
ビデオでより明らかな違いを確認できます

さらに、図 6 では、7K の反復 (約 5 分) であっても、この記事の方法では電車の細部までよく捉えています。 30K の反復 (約 35 分) で、背景のアーティファクトが大幅に減少します。庭園のシーンでは、違いはほとんど目立たず、7K の反復 (約 8 分) ですでに非常に高品質です。
高解像度のビデオは本物ではありません。複数の写真でレンダリングされた 3D シーンにより、本物かどうかを区別するのが難しくなります。
研究チームは Mip-NeRF360 によって提案された方法を採用し、データセットをトレーニング/テスト部分に分割し、8 枚ごとに写真をテストして一貫性のある有意義な比較を行い、それによってエラー指標を生成し、最も一般的に使用される文献に記載されている標準 PSNR、L-PIPS、および SSIM インジケーターの詳細データを表 1 に示します。
高解像度のビデオは本物ではありません。複数の写真でレンダリングされた 3D シーンにより、本物かどうかを区別するのが難しくなります。
表 1 は、3 つのデータセットにわたって計算された以前の研究と比較した、新しい手法の定量的評価を示しています。 「†」が付いた結果は原論文からそのまま採用され、その他の結果は実験チームによる実験結果です。
高解像度のビデオは本物ではありません。複数の写真でレンダリングされた 3D シーンにより、本物かどうかを区別するのが難しくなります。
合成 NeRF の PSNR スコア。この記事の方法では、ほとんどの場合にスコアが向上し、最適レベルに達することさえあることがわかります。

アブレーション実験

研究チームは、行われたさまざまな貢献とアルゴリズムの選択を分離し、その効果を測定するための一連の実験を構築しました。アルゴリズムの次の側面がテストされました: SfM からの初期化、高密度化戦略、異方性共分散、勾配のある無制限の数のパッチの許可、および球面調和関数の使用。以下の表は、各オプションの定量的な効果をまとめたものです。
高解像度のビデオは本物ではありません。複数の写真でレンダリングされた 3D シーンにより、本物かどうかを区別するのが難しくなります。
より直感的なエフェクトを見てみましょう。
高解像度のビデオは本物ではありません。複数の写真でレンダリングされた 3D シーンにより、本物かどうかを区別するのが難しくなります。
初期化に SfM ポイントを使用すると、より良い結果が得られます。
高解像度のビデオは本物ではありません。複数の写真でレンダリングされた 3D シーンにより、本物かどうかを区別するのが難しくなります。
クローンと分割の両方のケースにおけるアブレーション高密度化戦略
高解像度のビデオは本物ではありません。複数の写真でレンダリングされた 3D シーンにより、本物かどうかを区別するのが難しくなります。
視覚的な品質に大きな影響を与える、グラデーションを受け入れるポイントの数を制限します。左: 受信した勾配を制限する 10 のガウス ポイント。右: この記事の完全な方法論。

詳しくは元記事をお読みください。

以上が高解像度のビデオは本物ではありません。複数の写真でレンダリングされた 3D シーンにより、本物かどうかを区別するのが難しくなります。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。
AIインデックス2025を読む:AIはあなたの友人、敵、または副操縦士ですか?AIインデックス2025を読む:AIはあなたの友人、敵、または副操縦士ですか?Apr 11, 2025 pm 12:13 PM

スタンフォード大学ヒト指向の人工知能研究所によってリリースされた2025年の人工知能インデックスレポートは、進行中の人工知能革命の良い概要を提供します。 4つの単純な概念で解釈しましょう:認知(何が起こっているのかを理解する)、感謝(利益を見る)、受け入れ(顔の課題)、責任(責任を見つける)。 認知:人工知能はどこにでもあり、急速に発展しています 私たちは、人工知能がどれほど速く発展し、広がっているかを強く認識する必要があります。人工知能システムは絶えず改善されており、数学と複雑な思考テストで優れた結果を達成しており、わずか1年前にこれらのテストで惨めに失敗しました。 2023年以来、複雑なコーディングの問題や大学院レベルの科学的問題を解決することを想像してみてください

Meta Llama 3.2を始めましょう - 分析VidhyaMeta Llama 3.2を始めましょう - 分析VidhyaApr 11, 2025 pm 12:04 PM

メタのラマ3.2:マルチモーダルとモバイルAIの前進 メタは最近、ラマ3.2を発表しました。これは、モバイルデバイス向けに最適化された強力なビジョン機能と軽量テキストモデルを特徴とするAIの大幅な進歩です。 成功に基づいてo

AVバイト:Meta' s llama 3.2、GoogleのGemini 1.5などAVバイト:Meta' s llama 3.2、GoogleのGemini 1.5などApr 11, 2025 pm 12:01 PM

今週のAIの風景:進歩、倫理的考慮、規制の議論の旋風。 Openai、Google、Meta、Microsoftのような主要なプレーヤーは、画期的な新しいモデルからLEの重要な変化まで、アップデートの急流を解き放ちました

マシンと話すための人的費用:チャットボットは本当に気にすることができますか?マシンと話すための人的費用:チャットボットは本当に気にすることができますか?Apr 11, 2025 pm 12:00 PM

つながりの慰めの幻想:私たちはAIとの関係において本当に繁栄していますか? この質問は、MIT Media Labの「AI(AHA)で人間を進める」シンポジウムの楽観的なトーンに挑戦しました。イベントではCondedgを紹介している間

PythonのScipy Libraryの理解PythonのScipy Libraryの理解Apr 11, 2025 am 11:57 AM

導入 あなたが科学者またはエンジニアで複雑な問題に取り組んでいると想像してください - 微分方程式、最適化の課題、またはフーリエ分析。 Pythonの使いやすさとグラフィックスの機能は魅力的ですが、これらのタスクは強力なツールを必要とします

ラマ3.2を実行する3つの方法-Analytics Vidhyaラマ3.2を実行する3つの方法-Analytics VidhyaApr 11, 2025 am 11:56 AM

メタのラマ3.2:マルチモーダルAIパワーハウス Metaの最新のマルチモーダルモデルであるLlama 3.2は、AIの大幅な進歩を表しており、言語理解の向上、精度の向上、および優れたテキスト生成機能を誇っています。 その能力t

Dagsterでデータ品質チェックを自動化しますDagsterでデータ品質チェックを自動化しますApr 11, 2025 am 11:44 AM

データ品質保証:ダグスターと大きな期待でチェックを自動化する データ駆動型のビジネスにとって、高いデータ品質を維持することが重要です。 データの量とソースが増加するにつれて、手動の品質管理は非効率的でエラーが発生しやすくなります。

メインフレームはAI時代に役割を果たしていますか?メインフレームはAI時代に役割を果たしていますか?Apr 11, 2025 am 11:42 AM

MainFrames:AI革命のUnsung Heroes サーバーは汎用アプリケーションで優れており、複数のクライアントの処理を行いますが、メインフレームは大量のミッションクリティカルなタスク用に構築されています。 これらの強力なシステムは、頻繁にヘビルで見られます

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

EditPlus 中国語クラック版

EditPlus 中国語クラック版

サイズが小さく、構文の強調表示、コード プロンプト機能はサポートされていません

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SecLists

SecLists

SecLists は、セキュリティ テスターの究極の相棒です。これは、セキュリティ評価中に頻繁に使用されるさまざまな種類のリストを 1 か所にまとめたものです。 SecLists は、セキュリティ テスターが必要とする可能性のあるすべてのリストを便利に提供することで、セキュリティ テストをより効率的かつ生産的にするのに役立ちます。リストの種類には、ユーザー名、パスワード、URL、ファジング ペイロード、機密データ パターン、Web シェルなどが含まれます。テスターはこのリポジトリを新しいテスト マシンにプルするだけで、必要なあらゆる種類のリストにアクセスできるようになります。

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

このプロジェクトは osdn.net/projects/mingw に移行中です。引き続きそこでフォローしていただけます。 MinGW: GNU Compiler Collection (GCC) のネイティブ Windows ポートであり、ネイティブ Windows アプリケーションを構築するための自由に配布可能なインポート ライブラリとヘッダー ファイルであり、C99 機能をサポートする MSVC ランタイムの拡張機能が含まれています。すべての MinGW ソフトウェアは 64 ビット Windows プラットフォームで実行できます。

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

強力な PHP 統合開発環境