又一Sora级选手来炸街！我们拿它和Sora、可灵PK了下

当Sora「千呼万唤」不出来时，OpenAI 的对手们却纷纷祭出大杀器来炸街。

Sora will really be stolen if it is not open for use!

Today, San Francisco startup Luma AI played a trump card and launched a new generation of AI video generation model Dream Machine. Free and available to everyone.

According to reports, this model can generate high-quality, realistic videos based on simple text descriptions, with effects comparable to Sora.

As soon as the news came out, a large number of users crowded into the official website to try it out.

Although the official claims that the model can generate 120 frames of video in just two minutes, many users have been waiting for hours on the official website due to the surge in traffic.

Barkley Dai, Luma’s head of product growth, had to post on Discord to explain -

"We are currently facing huge demand and are working hard to increase our processing capabilities. All video generation tasks will be retained, just as needed Wait in the queue for a while. Once we increase the processing capacity, I will let you know right here!"

How effective is the Dream Machine?

Some netizens said that Luma is currently the new king in the field of AI video.

Some netizens said, "We no longer need Sora!" I wonder what OpenAI thought after seeing this.

However, some netizens complained that after making 8 videos, the system prompted "maximum usage limit exceeded" and did not explain how long they should wait before making new videos.

Netizens are going crazy

In the past few days, the AI ​​video circle has gone crazy. You can sing and I will appear.

First, Kuaishou Keling opened a closed beta, with more than 50,000 people queuing up. Then Luma launched its killer feature, Dream Machine, which is free for everyone.

Compared with other AI video models, Dream Machine has the following characteristics:

1. Fast, 120 frames can be generated in 120 seconds;

2. The movements are realistic, smooth, and integrated Movie-level photography skills and dramatic tension;

3. Strong character consistency and the ability to simulate the physical world;

4. Natural camera movements that can match the emotions of the scene.

Luma officials and netizens have worked together one after another to present a wonderful visual feast.

For example, this text-generated video shows a car racing down the road. Whether it’s driving or camera transitions, everything is smooth and lifelike. A camera low to the ground tracks a group of small hamsters deep into their burrows. This scene is similar to Sora’s ant video, but Dream Machine uses a Tusheng video function, commonly known as “mat picture”.

A bald man wearing an orange T-shirt moves around the room. The lifelikeness of the character and the composition of the picture are comparable to those of blockbusters. This is a shot of a ruins scene. The discarded ropes, wooden boards on the ground and the graffiti on the walls appear natural and realistic.Dalam gambar, seorang wanita muda sedang menari dengan skirtnya yang melambai, pergerakannya licin dan cair, seperti blockbuster iklan mewah. Walau bagaimanapun, satu-satunya kelemahan ialah skirt dan rambut akan berubah bentuk. Sesetengah netizen malah menghasilkan adegan aksi tembak membunuh. Netizen @ai_mov_director juga menggunakannya untuk menghasilkan filem berdurasi 1 minit - "Break The Tie".

Selain menjana video realistik, Dream Machine juga boleh mencuba gaya yang berbeza.

Contohnya, gaya anime Jepun: Gaya Disney:

Secara keseluruhannya, Dream Machine patut dipuji dari segi kesetiaan dan kelancaran video, tetapi ia tidak sempurna.

Julien Vallee yang pernah mengarahkan iklan untuk Apple, Samsung, Google dan jenama terkenal lain berkata Dream Machine boleh meniru pergerakan kamera semula jadi terutama ketika merakam secara pegang tangan, kesannya sangat realistik. Walau bagaimanapun, seperti model lain, ia memerlukan beberapa percubaan dan kesilapan untuk menghasilkan tangkapan yang hebat.

Vincent Video Circle Battle

2024 ialah tahun pilihan raya, dan OpenAI telah menyembunyikan Sora agar tidak menimbulkan masalah.

Apabila "ribuan panggilan" Sora tidak keluar, pihak lawan menggunakan senjata besar mereka untuk memusnahkan jalanan.

Medan video AI sedang mengalami perubahan pesat.

Oleh kerana kedua-dua Dream Machine dan Keling berada di bawah panji-panji "bertanding melawan Sora", maka kami hanya menyediakan arena dan membiarkan Dream Machine, Keling dan Sora bersaing di pentas yang sama.

Prompt 1:video dekat fotorealistik dua kapal lanun bertempur antara satu sama lain semasa mereka belayar di dalam secawan kopi.

sora:

dream mesin:

keling:

prompt 2: rakaman malam ketam pertapa menggunakan mentol lampu sebagai shells.

perkataan cina 2: sojourn night pukulan ketam menggunakan mentol sebagai cangkerang.

Sora:

Mesin Idaman:

Keling:

Prompt 3: tangkapan makro daun yang menunjukkan kereta api kecil bergerak melalui uratnya. . Dia pakai jaket kulit hitam, gaun merah panjang, dan but hitam, dan membawa dompet hitam Dia memakai cermin mata hitam dan gincu merah Dia berjalan dengan yakin dan bersahaja pejalan kaki berjalan-jalan.

Kata Prompt Bahasa Cina 4: Seorang wanita bergaya berjalan di jalanan Tokyo, yang penuh dengan lampu neon hangat dan papan tanda bandar yang terang. Dia memakai jaket kulit hitam, skirt merah panjang, but hitam, dan memegang dompet hitam. Dia memakai cermin mata hitam dan gincu merah. Dia berjalan dengan yakin dan mudah. Jalan-jalannya basah dan memantulkan cahaya, mencipta kesan cermin lampu berwarna. Ramai pejalan kaki berjalan-jalan.

Sora：

Mesin Impian：

Keling：

Mesin Penjagaan yang hebat di dalam arkitek, pengesanan plastik dan kerusi prompt 5: .

Petua Cina 5: Ahli arkeologi menemui kerusi plastik biasa di padang pasir Mereka dengan berhati-hati menggali dan membersihkannya.

sora:

dream Machine:

keling:

Prompt 6: Retreiver Labrador Hacker Komputer Memakai sweatshirt berkerudung hitam yang duduk di hadapan komputer dengan silau skrin terpancar pada muka anjing itu semasa dia menaip dengan sangat pantas.

Chinese Prompt Word 6: Seorang penggodam komputer Labrador retriever memakai baju peluh bertudung hitam duduk di hadapan komputer dan semasa dia menaip dengan cepat, skrin silau itu mengenai muka anjing itu. .

Sora:

Mesin Idaman:

Keling:

Apakah asal usul syarikat yang dipimpin oleh NVIDIA ini?

Dream Machine telah menjadi popular, dan syarikat di belakangnya, Luma AI, juga telah mencuri tumpuan.

Luma AI diasaskan pada 2021 dan pada mulanya merupakan sebuah syarikat teknologi yang memfokuskan pada penjanaan kandungan 3D.

CEO Amit Jain ialah jurutera sistem penglihatan komputer di Apple, dan CTO Alex Yu ialah pelajar siswazah di University of California, Berkeley (dia melepaskan PhDnya untuk memulakan Luma AI). Kedua-duanya telah membuat pencapaian dalam bidang penglihatan 3D, pembelajaran mesin, grafik masa nyata dan bidang lain.

Khabarnya syarikat ini telah melalui beberapa pusingan pembiayaan.

Pembiayaan Siri A diterajui oleh Amplify Partners, Nventures (cabang pelaburan Nvidia) dan General Catalyst, mengumpul sejumlah AS$20 juta pembiayaan Siri B diterajui oleh firma modal teroka terkemuka Silicon Valley Andreessen Horowitz dan Nvidia; , mengumpul US$43 juta Dolar. Sehingga kini, syarikat itu telah mengumpulkan lebih daripada $70 juta dalam pembiayaan dan bernilai antara $200 juta dan $300 juta.

November lalu, Luma AI melancarkan Vincent 3D model Genie pada pelayan Discord. Kemudian, versi 1.0 telah dilancarkan, yang meningkatkan masa lukisan daripada lebih daripada 20 saat kepada kurang daripada 10 saat.

Tak sangka kali ini Luma AI terus beralih ke bidang video AI.

Menurut laman web rasmi, pasukan teras Luma AI hanya mempunyai 34 orang, dan jika dilihat dari namanya, 5 daripadanya adalah berbangsa Cina.

Pengasas bersama dan CTO Alex Yu, lulus dari University of California, Berkeley pada 2021. Dalam tempoh ini, beliau menjalankan penyelidikan NeRF bersama Profesor Angjoo Kanazawa di Makmal Penyelidikan Kepintaran Buatan Berkeley.

Angela Dong lulus dari University of California, Berkeley pada tahun yang sama Dia telah menjalani latihan di syarikat seperti Drive.ai, Lyft Level 5 dan Zipline, dan kemudian menyertai Cruise sebagai jurutera simulasi, memfokuskan pada mencipta data sintetik. untuk latihan model persepsi. Pada masa ini, dia bekerja sebagai Jurutera Pembelajaran Mesin di Luma.

Ketua Saintis Jiaming Song lulus dari Universiti Tsinghua dengan ijazah sarjana muda dan ijazah sarjana dan kedoktoran dari Universiti Stanford. Sebelum menyertai Luma AI, beliau berkhidmat sebagai saintis penyelidikan dalam pasukan penyelidikan Pembelajaran dan Persepsi NVIDIA dan pasukan penyelidik Deep Imagination.

Selain itu, Quei-An Chen dan Paul Yoo berkhidmat sebagai saintis penyelidikan di Luma.

(Quei-An Chen di sebelah kiri, Paul Yoo di sebelah kanan)

Antaranya, Quei-An Chen terlibat secara mendalam dalam bidang NeRF dan telah menjadi terkenal kerana melancarkan banyak projek sumber terbuka yang popular pada Github seperti Medan Aliran Pemandangan Neural dan Instant-NGP. Sebelum menyertai Luma, beliau mengambil bahagian dalam pelbagai projek teknologi penglihatan 3D di DENSO dan LINE.

^Pautan:

^{https://lumalabs.ai/dream-machine/creations}

以上是又一Sora级选手来炸街！我们拿它和Sora、可灵PK了下的详细内容。更多信息请关注PHP中文网其他相关文章！