Another Sora-level player is coming to hit the streets! We compared it with Sora and Keling.

When Sora failed to come out, OpenAI’s opponents used their weapons to destroy the streets.

Sora は開かずに使用すると本当に盗まれます。

本日、サンフランシスコのスタートアップ Luma AI が切り札を発揮し、新世代の AI ビデオ生成モデル Dream Machine を発表しました。無料で誰でも利用できます。

レポートによると、このモデルは、Sora に匹敵する効果を備えた、簡単なテキストの説明に基づいて、高品質でリアルなビデオを生成できます。

このニュースが発表されるとすぐに、多くのユーザーがそれを試してみようと公式ウェブサイトに殺到しました。

公式は、このモデルはわずか 2 分で 120 フレームのビデオを生成できると主張していますが、トラフィックの急増により、多くのユーザーが公式 Web サイトで何時間も待っています。

Luma の製品成長責任者である Barkley Dai は、説明するために Discord に投稿する必要がありました -

「私たちは現在、膨大な需要に直面しており、処理能力を向上させるために懸命に取り組んでいます。すべてのビデオ生成タスクは、必要に応じて保持します。処理能力が向上したら、すぐにお知らせします。「

」

一部のネチズンは、Lumaが現在AIビデオ分野の新しい王であると述べました。

一部のネチズンは「ソラはもう必要ない！」と言いましたが、OpenAIはこれを見てどう思ったのでしょうか。

しかし、一部のネチズンは、8本の動画を作成した後、システムが「最大使用制限を超えました」というメッセージを表示し、新しい動画を作成するまでどれくらいの時間待つべきか説明しなかったと不満を述べました。

ネチズンが熱狂しています

ここ数日、AIビデオサークルが熱狂しています、あなたは歌うことができ、私も登場します。

まず、Kuaishou Keling がクローズドベータ版をオープンし、50,000 人以上が列を作りました。その後、Luma は誰でも無料で利用できるキラー機能である Dream Machine をリリースしました。

他の AI ビデオ モデルと比較して、Dream Machine には次の特徴があります:

1. 120 秒で 120 フレームを生成できます。

2. アクションは現実的で、スムーズで、統合されています。映画レベルの撮影スキルとドラマティックな緊張感

3. キャラクターの一貫性と物理的な世界をシミュレートする能力

4. シーンの感情に合わせた自然なカメラの動き。

ルマ関係者とネチズンが次々と協力して素晴らしい視覚的な饗宴を披露しました。

たとえば、このテキスト生成ビデオは、道路をレースする車を示しています。運転でもカメラの切り替えでも、すべてがスムーズでリアルです。 地面に低いカメラが小さなハムスターの群れを巣穴の奥深くまで追跡します。このシーンはソラのアリのビデオに似ていますが、Dream Machine は一般に「クッション」として知られる Tusheng ビデオ機能を使用します。

オレンジ色のTシャツを着たハゲ男が部屋中を動き回る、キャラクターのリアルさと画面の構成は大ヒット作に匹敵します。 これは廃墟のシーンのショットです。捨てられたロープ、地面の木の板、壁の落書きが自然でリアルに見えます。写真では、若い女性がスカートを揺らしながら踊っていますが、その動きは滑らかで、まるで高級広告の大ヒット作のようです。ただ、スカートや髪が変形してしまうのが唯一の欠点です。 一部のネチズンは、殺人者との銃撃戦のアクションシーンを生成しました。 ネチズン @ai_mov_director もこれを使用して 1 分間の長編映画「Break The Tie」を作成しました。キャラクターの一貫性を維持するという観点から、Dream Machine には 2 つのブラシがあります。

Dream Machine は、リアルなビデオを生成するだけでなく、さまざまなスタイルを試すこともできます。

たとえば、日本のアニメ スタイル: ディズニー スタイル:

全体的に、Dream Machine はビデオの忠実性と滑らかさの点で賞賛に値しますが、完璧ではありません。

Apple、Samsung、Google、その他の有名ブランドのコマーシャルを監督した Julien Vallee 氏は、Dream Machine は自然なカメラの動きを模倣することができ、特に手持ちで撮影する場合、その効果は非常にリアルであると述べました。ただし、他のモデルと同様に、素晴らしいショットを生み出すには多少の試行錯誤が必要です。

Vincentビデオサークルバトル

2024年は選挙の年で、OpenAIは問題を起こさないようにソラを隠していました。

ソラの「千の声」が届かなかったとき、敵は大きな武器を使って街を破壊しました。

AIビデオ分野は急速な変化を遂げています。

Dream MachineもKelingも「ソラと対戦する」という旗印の下にあるので、単純にアリーナを設置してDream Machine、Keling、Soraを同じステージで戦わせます。

プロンプト 1: コーヒーカップの中で航行する 2 隻の海賊船の写実的なクローズアップビデオ。

ソラ:

ドリームマシン:

ケリング:

プロンプト 2: 電球を殻として使用するヤドカリの夜間映像。

中国語プロンプト単語 2: 逗留の夜電球を甲羅として使用したカニのショット。

ソラ:

ドリームマシン:

Keling:

プロンプト 3: 葉脈の中を小さな列車が移動する様子を示す葉のマクロ撮影。

ソラ：

ドリームマシン：

ケリング：

プロンプト4: スタイリッシュな女性が、暖かく輝くネオンとアニメーションの街の看板で満たされた東京の通りを歩きます。黒い革のジャケット、赤い長いドレス、黒いブーツを着て、サングラスと赤い口紅を持っています。彼女は、色とりどりの光の鏡効果を作り出しながら、自信を持って歩いています。

中国語の即興単語 4: おしゃれな女性が、温かみのあるネオンと鮮やかな街の標識でいっぱいの東京の通りを歩きます。彼女は黒い革のジャケット、赤い長いスカート、黒いブーツを着ており、黒い財布を持っていました。彼女はサングラスと赤い口紅をつけています。彼女は自信を持って楽に歩きました。道路は濡れていて反射しており、色付きの光の鏡効果を生み出しています。多くの歩行者が歩き回っていました。

ソラ：

ドリームマシン：

ケリング：

プロンプト5:考古学者は、砂漠で一般的なプラスチックの椅子を発見し、細心の注意を払って発掘し、埃を払いました。

中国人のヒント 5: 考古学者は砂漠で普通のプラスチックの椅子を見つけ、慎重に掘り出し、埃を払いました。

ソラ:

ドリームマシン:

ケリング:

プロンプト6: コンピューターの前に座っている黒いフード付きスウェットシャツを着たコンピューターハッカーのラブラドル・レトリバーのまぶしさとともに犬が非常に早く入力すると、画面が犬の顔に映ります。

中国語のプロンプトワード 6: 黒いフード付きスウェットシャツを着たコンピューターハッカーのラブラドルレトリバーがコンピューターの前に座っており、素早く入力すると画面が光り、犬の顔に光が当たります。 。

ソラ:

ドリームマシン:

ケリング:

NVIDIA 率いるこの会社の起源は何ですか?

Dream Machine が人気となり、その背後にある会社 Luma AI も脚光を浴びています。

Luma AI は 2021 年に設立され、当初は 3D コンテンツ生成に焦点を当てたテクノロジー企業でした。

CEO の Amit Jain は Apple のコンピューター ビジョン システム エンジニアで、CTO の Alex Yu はカリフォルニア大学バークレー校の大学院生でした (彼は Luma AI を立ち上げるために博士号を放棄しました)。 2人は3Dビジョン、機械学習、リアルタイムグラフィックスなどの分野で功績を残している。

この会社は数回の資金調達を行ったと報告されています。

シリーズ A の資金調達は Amplify Partners、Nventures (Nvidia の投資部門)、General Catalyst が主導し、総額 2,000 万米ドルを調達しました。シリーズ B の資金調達はシリコンバレーのトップベンチャーキャピタル企業である Andreessen Horowitz と Nvidia が主導しました。 、4,300万ドルを調達しました。同社は現在までに7000万ドル以上の資金を調達しており、その価値は2億ドルから3億ドルと評価されている。

昨年 11 月、Luma AI は Discord サーバー上で Vincent 3D モデル Genie を起動しました。その後、バージョン 1.0 がリリースされ、描画時間が 20 秒以上から 10 秒未満に改善されました。

予想外なことに、今回 Luma AI は AI ビデオの分野に直接切り替わりました。

公式ウェブサイトによると、Luma AI コアチームは 34 人しかおらず、名前から判断するとそのうち 5 人が中国人です。

共同創設者兼最高技術責任者（CTO）の Alex Yu は、2021 年にカリフォルニア大学バークレー校を卒業しました。この期間中、バークレー人工知能研究所の金澤アンジュー教授とともに NeRF の研究を実施しました。

Angela Dong は、同じ年にカリフォルニア大学バークレー校を卒業し、Drive.ai、Lyft Level 5、Zipline などの企業でインターンをし、その後、Cruise にシミュレーション エンジニアとして入社し、合成データの作成に注力しました。知覚モデルのトレーニング用。現在、彼女は Luma で機械学習エンジニアとして働いています。

主任研究員 Jiaming Song は清華大学を卒業し、学士号を取得し、スタンフォード大学で修士号と博士号を取得しました。 Luma AI に入社する前は、NVIDIA の学習と知覚の研究チームとディープ イマジネーションの研究チームで研究科学者を務めていました。

さらに、Quei-An Chen と Paul Yoo は Luma の研究科学者を務めています。

(左が Quei-An Chen、右が Paul Yoo)

その中でも、Quei-An Chen は NeRF 分野に深く関わっており、多くの人気のあるオープンソース プロジェクトを立ち上げたことで有名です。 Neural Scene Flow Fields や Instant-NGP など。 Luma に入社する前は、DENSO と LINE で複数の 3D ビジョン テクノロジー プロジェクトに参加していました。

^リンク:

^{https://lumalabs.ai/dream-machine/creations}

The above is the detailed content of Another Sora-level player is coming to hit the streets! We compared it with Sora and Keling.. For more information, please follow other related articles on the PHP Chinese website!