Alibaba’s “trajectory controllable version of Sora” bids farewell to “drawing cards” and makes video generation more consistent with physical laws

You specify the route, and Tora will generate a video of the corresponding trajectory.

Currently, diffusion models are capable of generating diverse and high-quality images or videos. Previously, video diffusion models used the U-Net architecture, which mainly focused on synthesizing videos of limited duration (usually around two seconds), with fixed constraints on resolution and aspect ratio.

The emergence of Sora breaks this limitation. It uses the Diffusion Transformer (DiT) architecture, which is not only good at producing high-quality videos of 10 to 60 seconds, but also because it generates different resolutions, various aspect ratios, and stand out by their ability to obey actual physical laws.

It can be said that Sora is the most favorable demonstration of DiT architecture, however, Transformer-based diffusion model has not been fully explored in effectively generating controllable action videos.

In response to this problem, researchers from Alibaba proposed Tora, the first trajectory-oriented DiT architecture, which integrates text, visual and trajectory conditions simultaneously to generate videos.

Tora is designed to work seamlessly with DiT’s scalability, allowing precise control of video content with different durations, aspect ratios and resolutions. Extensive experiments have proven that Tora excels at achieving high motion fidelity while also simulating the motion of the physical world in detail.

• Paper address: https://arxiv.org/pdf/2407.21705
• Paper homepage: https://ali-videoai.github.io/tora_video/
• Paper title : Tora: Trajectory-oriented Diffusion Transformer for Video Generation

An old-fashioned wooden sailing boat glides smoothly on the mist-shrouded river along the prescribed route, surrounded by dense green forests.

A crucian fish swims gracefully across the red rock surface of Mars, the fish's trajectory is to the left, and the Mars' trajectory is to the right.

The hot air balloon rises into the night sky along different trajectories, one along the prescribed oblique line and the other along the curved trajectory.

Two cute kittens walking side by side on the quiet golden beach.

Bubbles float gently along the tracks among the blooming wildflowers.

The maple leaves tremble on the clear lake, reflecting the autumn forest.

The waterfalls in the mountains pour down, and the themes and backgrounds can be moved along different routes.

In the comparison between Tora and other methods, it can be seen that the video generated by Tora is smoother, follows the trajectory more, and the object does not have deformation problems and has better fidelity.

方法の紹介

Tora は、軌道抽出器 (TE、Trajectory Extractor)、時空間 DiT (Spatial-Temporal DiT)、およびモーション ガイダンス フュージョン ( MGF）、モーションガイドフューザー）。 TE は 3D ビデオ圧縮ネットワークを使用して、任意の軌跡を階層的な時空間モーション パッチにエンコードします。 MGF は、モーション パッチを DiT ブロックに統合して、軌跡をたどる一貫したビデオを生成します。図 3 は Tora のワークフローの概要を示しています。

時空 DiT (ST-DiT)

ST-DiT アーキテクチャには、空間 DiT ブロック (S-DiT-B) と時間 DiT ブロック (T-DiT-) の 2 つの異なるブロック タイプが含まれています。 B) 交互に配置されます。 S-DiT-B は 2 つのアテンション レイヤーで構成され、それぞれが空間セルフ アテンション (SSA) とクロス アテンションを順番に実行し、その後に隣接する T-DiT-B ピースを接続するポイントワイズ フィードフォワード レイヤーが続きます。 T-DiT-B は、SSA を一時的セルフアテンション (TSA) に置き換えることによってのみこのアーキテクチャを変更し、アーキテクチャの一貫性を維持します。各ブロックでは、正規化後の入力はスキップ接続を介してブロックの出力に接続されます。可変長シーケンスを処理する機能を活用することで、ST-DiT のノイズ除去は可変長のビデオを処理できます。

Trajectory Extractor

Trajectory は、生成されたビデオのモーションを制御するためのよりユーザーフレンドリーな方法であることが証明されています。ただし、DiT モデルでは、ビデオ オートエンコーダーと、ビデオをビデオ パッチに変換するパッチ処理プロセスが採用されています。ここでは、各パッチは複数のフレームにわたってエクスポートされるため、フレーム間オフセットを直接取得することは不適切です。この問題を解決するために、本論文で提案する TE は、軌跡をビデオ パッチと同じ潜在空間に位置するモーション パッチに変換します。

モーション ガイド付きフュージョン

DiT ベースのビデオ生成と軌跡を組み合わせるために、このペーパーでは、モーション パッチを各 ST-DiT ブロックに注入する 3 つのフュージョン アーキテクチャのバリアントを検討します。これらの設計を図 4 に示します。

実験結果

実装の詳細に関して、研究者は OpenSora v1.2 の重みに基づいて Tora をトレーニングしました。トレーニング ビデオの解像度は 144p ～ 720p です。異なる解像度と反復ごとのフレーム数で FLOP をトレーニングするために必要なメモリのバランスをとるために、バッチ サイズを 1 から 25 まで調整しました。

トレーニング インフラストラクチャに関しては、研究者は 4 台の NVIDIA A100 と学習率 2 × 10^−5 の Adam オプティマイザーを使用しました。

研究者らは、Tora を一般的な運動指導ビデオ生成方法と比較しました。評価では、16、64、および 128 フレームの 3 つの設定が使用され、すべて解像度 512 × 512 でした。

結果を以下の表 1 に示します。U-Net メソッドで一般的に使用される 16 フレーム設定では、MotionCtrl と DragNUWA は提供された軌道とよりよく位置合わせできますが、それでも Tora よりは弱いです。フレーム数が増加すると、一部のフレームで U-Net メソッドが大幅に偏り、位置ずれエラーの伝播により、後続のシーケンスで変形、モーション ブラー、またはオブジェクトの消失が発生する可能性があります。

対照的に、Tora は、Transformer の統合されたスケーリング機能のおかげで、フレーム レートの変更に対して高い堅牢性を示します。 Tora によって生成される動きはよりスムーズで、物理世界とより一致しています。 128 フレームのテスト設定での評価では、Tora の軌道精度は他の方法の 3 ～ 5 倍であり、優れたモーション制御能力を示しています。

以下の図 5 では、研究者がさまざまな解像度と期間で軌道エラーを分析しています。結果は、時間の経過とともに明らかな軌道誤差が現れる U-Net とは異なり、Tora の軌道誤差は時間の経過とともに徐々に増加することを示しています。これは、DiT モデルで時間が増加するにつれてビデオ品質が低下することと一致しています。 Tora は効果的な軌道制御を長期間維持します。

下の図 6 は、Tora と主流のモーション制御手法の比較分析を示しています。2 人が一緒に移動するシーンでは、どの手法も比較的正確なモーション軌跡を生成できます。ただし、Tora の視覚的な品質は、より長いシーケンス フレームを使用することで優れており、よりスムーズなモーション軌跡とよりリアルな背景レンダリングを実現できます。

Tora によって生成された自転車のシーンでは、人間の脚がリアルなペダリングの動きを示しているのに対し、DragNUWA の脚はほぼ水平に浮遊し、物理的現実を侵害していることがわかります。さらに、DragNUWA と MotionCtrl の両方で、ビデオの最後に深刻なモーション ブラーが発生します。

ランタンが生成される別のシーンでは、DragNUWA は提供された軌道が上昇と下降を続けるため、激しい変形を示します。 MotionCtrl の軌道は比較的正確でしたが、結果のビデオは 2 つのランタンの説明と一致しませんでした。 Tora は軌跡を厳密に追従するだけでなく、オブジェクトの変形を最小限に抑え、より忠実なアクション表現を保証します。

技術的な詳細と実験結果については、元の論文を参照してください。

The above is the detailed content of Alibaba’s “trajectory controllable version of Sora” bids farewell to “drawing cards” and makes video generation more consistent with physical laws. For more information, please follow other related articles on the PHP Chinese website!