0.5 saat, tiada GPU diperlukan, AI Kestabilan dan imej tunggal sumber terbuka VAST pasukan China untuk menjana model 3D TripoSR

Baru-baru ini, model video Vincent Sora telah mencetuskan gelombang baharu model AI generatif, dan keupayaan pelbagai mod model itu telah menarik perhatian meluas.

Kini, model AI telah membuat penemuan baharu dalam penjanaan kandungan 3D.

Selepas berjaya melancarkan projek penjanaan imej dan penjanaan video, Stability AI, yang mengkhusus dalam penjanaan kandungan visual, kini komited untuk berkembang ke dalam bidang 3D. Berita terkini menunjukkan bahawa syarikat itu telah bekerjasama dengan pasukan China VAST untuk bersama-sama membuka sumber projek model 3D terjana imej tunggal yang dipanggil TripoSR. Langkah ini mengukuhkan lagi kedudukan utama Stability AI dalam bidang penjanaan kandungan digital dan membawa pengguna pengalaman produk yang lebih pelbagai dan inovatif.

TripoSR mampu menjana model 3D berkualiti tinggi daripada satu imej dalam 0.5s dan tidak memerlukan GPU untuk dijalankan.

• Kod model TripoSR: https://github.com/VAST-AI-Research/TripoSR

• Berat model TripoSR: https://huggingface.co/stabilityai/TripoSR

  Demo: https://huggingface.co/spaces/stabilityai/TripoSR

• Apabila menguji TripoSR pada NVIDIA A100, ia dapat menjana model jejaring 3D lakaran berkualiti tinggi dengan tekstur dalam kira-kira 0.5 saat, prestasi yang melebihi imej sumber terbuka lain kepada alat model 3D, seperti OpenLRM. Selain kelajuan, TripoSR boleh digunakan sepenuhnya oleh pengguna dengan atau tanpa GPU.

TripoSR diinspirasikan oleh LRM yang dilancarkan oleh Adobe pada November 2023. Ini adalah teknologi inovatif untuk penjanaan imej Model Pembinaan Semula Besar (LRM) 3D. LRM adalah unik kerana ia boleh menjana model 3D yang sepadan daripada mana-mana imej input tunggal dalam beberapa saat sahaja. Teknologi ini adalah terobosan dalam kecekapan dan ketepatannya, membolehkan pengguna menukar imej rata kepada model tiga dimensi yang realistik dengan mudah. TripoSR telah dibangunkan dan dioptimumkan lagi berdasarkan teknologi ini, membolehkan pengguna mencipta pemandangan tiga dimensi yang menakjubkan dengan lebih cepat dan tepat. Dengan menggabungkan LRM

LRM menerobos dan merumuskan tugas model Tusheng 3D menjadi tugas terjemahan urutan-ke-jujukan - membayangkan imej input dan model 3D output sebagai dua bahasa berbeza, tugas Tusheng 3D boleh Memahami ialah proses menterjemah bahasa imej ke dalam bahasa model 3D. "Perkataan" dalam bahasa imej (bersamaan dengan token model bahasa dan tampalan model video) adalah kepingan kecil yang imej input pengguna dibahagikan manakala dalam kaedah LRM, "perkataan" 3D bahasa model ialah sejenis maklumat yang dipanggil Untuk setiap blok kecil dalam perwakilan tiga dimensi "triplane", apa yang LRM lakukan ialah menterjemah "perkataan" dalam bahasa imej kepada "perkataan" dalam bahasa model 3D, supaya dapat masukkan imej dan keluarkan model 3D.

Dengan sokongan seni bina transformer, LRM telah dilatih mengenai lebih daripada satu juta data 3D awam dan menunjukkan kesan dan kecekapan grafik 3D yang fenomenal, sekali gus menimbulkan sensasi hebat dalam akademik dan industri. Walau bagaimanapun, kod dan model yang berkaitan bukan sumber terbuka, dan kos latihan yang besar (128 A100 dijalankan selama seminggu) juga melarang organisasi penyelidikan kecil Faktor-faktor ini telah banyak menghalang pembangunan awam teknologi ini.

Kali ini Tripo AI dan Stability AI bersama-sama melancarkan pelaksanaan sumber terbuka berkualiti tinggi pertama LRM - TripoSR, yang boleh menjana model 3D berkualiti tinggi dalam hampir masa nyata berdasarkan imej yang disediakan oleh pengguna, yang sangat mengisi jurang dalam bidang kecerdasan buatan generatif 3D Jurang kritikal.

Menurut blog Stability dan laporan teknikal, model ini berdasarkan algoritma asal LRM dan meningkatkan pengitlakan dengan ketara daripada data latihan terhad melalui subset set data Objaverse yang ditapis dan diberikan secara halus serta satu siri keupayaan model dan latihan sambil juga mempertingkatkan kesetiaan pembinaan semula 3D. Sehingga kemunculan TripoSR, komuniti akademik dan sumber terbuka telah kekurangan model dan rangka kerja asas generasi 3D yang terbuka, pantas dan berkuasa dengan keupayaan generalisasi yang kukuh. Walaupun terdapat projek sumber terbuka yang ditonton secara meluas seperti threestudio, penjanaan model 3D adalah perlahan dan intensif sumber disebabkan oleh teknologi yang bergantung kepada (seperti pensampelan skor penyulingan) yang memerlukan masa pengoptimuman dan pengiraan yang lama. Projek Stable Zero123 yang dikeluarkan sebelum ini oleh Stability AI di sepanjang baris ini dan percubaan penyepaduannya dalam threestudio telah mencapai sedikit kemajuan tetapi masih gagal menangani isu ini sepenuhnya.

Sumber terbuka TripoSR membolehkan penyelidik, pembangun dan pekerja kreatif di seluruh dunia mengakses model AI termaju 3D termaju, membolehkan pelbagai syarikat menggunakan kandungan 3D untuk mencipta produk dan perkhidmatan yang lebih kompleks, dan meneroka kemungkinan kreatif baharu dalam industri 3D, mempromosikan pasaran yang lebih aktif dan berdaya saing.性 Carta menunjukkan hubungan antara prestasi 3D F-SCORE (lebih tinggi lebih baik) dan masa penaakulan (lebih rendah lebih baik).

Teknologi penjanaan kandungan 3D telah mengalami perkembangan yang mantap dalam bidang grafik komputer dan penglihatan komputer dalam beberapa tahun kebelakangan ini. Pada tahun lalu atau lebih, terutamanya dengan kemunculan set data 3D awam berskala besar dan kemajuan model generatif yang berkuasa dalam bidang imej dan video 2D, teknologi generatif 3D telah mencapai kemajuan yang luar biasa dan pesat, menarik perhatian meluas daripada industri . Dalam konteks ini, walaupun teknologi berdasarkan pensampelan penyulingan skor (SDS) seperti DreamFusion (yang dicadangkan oleh pasukan Penyelidikan Google) telah membuat penemuan dalam menghasilkan model 3D dari pelbagai perspektif, mereka masih menghadapi masa penjanaan yang panjang dan kesukaran dalam aplikasi praktikal. kawalan berbutir ke atas kekangan seperti model yang dihasilkan.

Sebaliknya, penyelesaian teknologi penjanaan berdasarkan set data 3D berskala besar dan seni bina model berskala besar, seperti TripoSR yang dikeluarkan kali ini, menunjukkan keupayaan untuk melatih set data 3D yang berbeza dengan cekap hanya memerlukan Ia memerlukan penaakulan ke hadapan pantas dan kawalan yang mudah dan halus ke atas keputusan model 3D semasa proses penjanaan. Kemunculan teknologi jenis ini bukan sahaja membuka laluan baharu untuk perkembangan pesat teknologi penjanaan 3D, tetapi juga menyediakan kemungkinan baharu untuk aplikasi yang lebih luas dalam industri.

                                                                                      Sumber imej dan data: TripoSR: Pembinaan Semula Objek 3D Pantas daripada Imej Tunggal

Perlu diingat bahawa kali ini, sumber terbuka bersama Stability AI Tripo AI. VAST AI Research, institusi penyelidikan di sebalik Tripo AI, ialah pasukan penyelidikan termaju dalam bidang penjanaan kandungan 3D Ia telah komited untuk sumbangan komuniti sumber terbuka sejak penubuhannya, dan telah berturut-turut membuka sumber kod dan berat yang tinggi. -kerja penyelidikan yang berkualiti seperti Wonder3D, CSD, dan TGS.

Tripo ialah model generatif 3D universal yang dilancarkan oleh VAST sejak Disember 2023 (www.tripo3d.ai). Ia boleh menjana model jaring 3D daripada teks atau gambar dalam masa 8 saat, dan memperhalusinya dalam masa 5 minit Kualiti model yang dihasilkan adalah hampir dengan tahap manual dari segi geometri dan bahan. Menurut blog VAST AI Research, perkembangan pesat AI dalam bidang penjanaan 3D memerlukan "pendekatan universal" yang melepaskan diri daripada pergantungan pada pengalaman manusia dan menggunakan data yang lebih besar, model yang lebih berskala dan penggunaan penuh pengkomputeran yang berkuasa kuasa. Datang dan "belajar". "Pendekatan universal" ini harus termasuk penyatuan data latihan untuk pelbagai modaliti, penyatuan keadaan kawalan untuk pelbagai modaliti, dan infrastruktur model generatif yang biasa kepada pelbagai modaliti.

Untuk mencapai matlamat ini, VAST percaya bahawa kerja perlu dilakukan dari tiga arah: perwakilan, model dan data. Antaranya, pilihan "perwakilan" adalah penting untuk mencari perwakilan 3D yang fleksibel dan mesra pengiraan, sambil memastikan keserasian dengan saluran paip grafik yang sedia ada. Selain itu, menerokai "tokenizer 3D" juga merupakan hala tuju yang menjanjikan, menukar perwakilan 3D ke dalam bentuk yang serupa dengan token bahasa, yang boleh membantu menggunakan pemahaman dan model penjanaan sedia ada pada medan 3D.

Di peringkat "model", penyelidikan VAST bertujuan untuk menggunakan sepenuhnya pengetahuan sedia ada, garis panduan reka bentuk dan pengalaman latihan model besar dalam modaliti lain untuk meningkatkan keupayaan pembelajaran model untuk data 3D. Cabaran di peringkat "data" tidak boleh diabaikan Kekurangan sumber set data 3D yang berkualiti tinggi, asli dan pelbagai mengehadkan prestasi akhir dan keupayaan generalisasi model.

TripoSR membolehkan kami melihat potensi model AI generatif dalam arah 3D, dan kami menantikan lebih banyak penerokaan baharu dalam bidang penjanaan 3D pada tahun 2024.

Pautan rujukan:

https://stability.ai/news/triposr-3d-generation?utm_source=x&utm_medium=website&utm_campaign=blog

Atas ialah kandungan terperinci 0.5 saat, tiada GPU diperlukan, AI Kestabilan dan imej tunggal sumber terbuka VAST pasukan China untuk menjana model 3D TripoSR. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!