Versi 3D SORA ada di sini! DreamTech melancarkan Direct3D, model besar 3D-DiT asli pertama di dunia

Pada Mei 2024, DreamTech secara rasmi mengumumkan model besar Direct3D generasi 3D berkualiti tingginya, dan menerbitkan kertas akademik berkaitan Direct3D: Scalable Image-to-3D Generation melalui 3D Latent Diffusion Transformer.

Pautan: https://arxiv.org/abs/2405.14832

Ini ialah model besar 3D yang pertama dikeluarkan secara terbuka bagi laluan penjanaan 3D asli, (3D-Diffusion Transformer). Ia menyelesaikan masalah penjanaan kandungan 3D berkualiti tinggi yang telah lama melanda industri.

Patuhi laluan teknologi 3D asli dan capai kejayaan

Sebelum ini, laluan teknologi yang biasanya diguna pakai oleh 3D AIGC ialah pemodelan 2D-ke-23D, yang bermaksud peningkatan imej 2D ke 2D. model 3D, yang mewakili Penyelesaian awal termasuk Pensampelan Penyulingan Skor (SDS) yang diwakili oleh DreamFusion yang dicadangkan oleh Google, dan Model Pembinaan Semula Besar (LRM) yang diwakili oleh Instant3D yang dicadangkan oleh Adobe. Walaupun data 3D diperkenalkan secara beransur-ansur ke dalam proses latihan model untuk meningkatkan kualiti, teknologi peningkatan dimensi 2D mempunyai masalah yang wujud seperti berbilang kepala dan muka, rongga dan oklusi Penyelesaian sedia ada sukar untuk memenuhi keperluan aplikasi komersial untuk penjanaan 3D umum.

Pada awal tahun lalu, beberapa orang dalam industri mula mencuba laluan 3D asli, iaitu, untuk mendapatkan model 3D secara langsung tanpa melalui gambar 2D berbilang paparan perantaraan atau pengoptimuman berulang berbilang paparan laluan teknikal boleh mengelakkan kekurangan peningkatan dimensi 2D dan menunjukkan potensi untuk mendapatkan kandungan 3D yang berkualiti tinggi, bebas herotan, tidak lengkap dan tersedia secara komersial. Pada dasarnya, laluan 3D asli mempunyai kelebihan yang ketara berbanding kaedah peningkatan dimensi 2D Walau bagaimanapun, terdapat banyak cabaran dalam latihan model dan pembangunan algoritma Isu yang paling kritikal ialah:

1. Perwakilan model 3D yang cekap: Imej Dan video. boleh mendapatkan ciri terpendam secara langsung melalui pemampatan perwakilan matriks 2D/2.5D Sebaliknya, data 3D mempunyai topologi yang kompleks dan dimensi perwakilan yang lebih tinggi. Cara memampatkan data 3D dengan cekap dan kemudian menganalisis dan mempelajari pengedaran data 3D dalam ruang terpendam 3D adalah masalah yang sentiasa menyusahkan kakitangan industri.

2. Seni bina latihan 3D yang cekap: Seni bina DiT mula-mula digunakan dalam bidang penjanaan imej dan mencapai kejayaan besar, termasuk Stable Diffusion 3 (SD3) dan Hunyuan-DiT Dalam bidang penjanaan video, OpenAI SORA menggunakan seni bina DiT untuk berjaya mencapai kesan penjanaan video yang jauh melebihi Landasan dan Pika dalam bidang penjanaan 3D, dihadkan oleh topologi kompleks dan kaedah perwakilan tiga dimensi, seni bina DiT asal tidak boleh digunakan secara langsung pada penjanaan jejaring 3D.

3. Data latihan 3D berskala besar yang berkualiti tinggi: Kualiti dan skala data latihan 3D secara langsung menentukan kualiti dan keupayaan generalisasi model yang dijana secara amnya dipercayai dalam industri yang sekurang-kurangnya berpuluh juta data latihan 3D berkualiti tinggi diperlukan. Memenuhi keperluan latihan model besar 3D. Walau bagaimanapun, data 3D sangat terhad di seluruh dunia Walaupun terdapat berpuluh juta set data latihan 3D seperti ObjaverseXL, kebanyakannya adalah struktur ringkas berkualiti rendah dan data 3D berkualiti tinggi yang tersedia menyumbang kurang daripada 5 %. . Cara mendapatkan jumlah data 3D berkualiti tinggi yang mencukupi adalah masalah di seluruh dunia.

Sebagai tindak balas kepada masalah teras di atas, DreamTech mencadangkan Direct3D model besar 3D-DiT asli yang pertama di dunia. Melalui pengesahan percubaan yang meluas, kualiti penjanaan model 3D Direct3D dengan ketara mengatasi kaedah dimensi 2D arus perdana semasa, yang terutamanya mendapat manfaat daripada tiga perkara berikut:

1. D3D-VAE: Direct3D mencadangkan model 3D VAE yang serupa dengan OpenAI SORA (Pengekod Auto Variasi) digunakan untuk mengekstrak ciri terpendam data 3D, mengurangkan kerumitan perwakilan data 3D daripada N^3 asal kepada ruang terpendam 3D padat n^2 (n<

2. D3D-DiT: Direct3D mengguna pakai seni bina DiT dan menambah baik serta mengoptimumkan DiT asal Ia memperkenalkan modul penjajaran tahap semantik dan piksel untuk imej input, yang boleh mencapai penjajaran tinggi model output dengan sebarang imej input. .

3. DreamTech 3D Data Engine: Direct3D menggunakan sejumlah besar data 3D berkualiti tinggi dalam latihan, kebanyakannya dihasilkan oleh enjin sintesis data yang dibangunkan sendiri oleh DreamTech. Enjin sintesis DreamTech telah mewujudkan proses pemprosesan data automatik sepenuhnya seperti pembersihan data dan anotasi, dan telah mengumpul dan menghasilkan lebih daripada 20 juta data 3D berkualiti tinggi, melengkapkan bahagian terakhir teka-teki untuk pelaksanaan algoritma 3D asli. Perlu dinyatakan bahawa OpenAI cuba menggunakan berjuta-juta data sintetik 3D dalam proses latihan Shap-E dan Point-E pada tahun 2023. Berbanding dengan penyelesaian sintesis data OpenAI, data 3D yang disintesis oleh DreamTech lebih besar dalam skala dan kualiti yang lebih tinggi .

Mengguna pakai seni bina DiT

Medan 3D sekali lagi telah mengesahkan Undang-undang Skala

Dari segi seni bina teknikal, Direct3D menggunakan Diffusion Open. Seni bina DiT kini merupakan seni bina model besar AIGC yang paling maju. Ia menggabungkan kelebihan dua seni bina utama Resapan dan Transformer untuk memenuhi keperluan skalabiliti, iaitu, ia menyediakan model dengan lebih banyak data dan parameter model yang lebih besar boleh mencapai atau melebihi kualiti generatif manusia. Projek praktikal teknologi DiT semasa termasuk Stable Diffusion 3 (Stablility AI, Februari 2024), Hunyuan-DiT (Tencent, Mei 2024) ke arah penjanaan imej, dan SORA (OpenAI, Februari 2024) ke arah penjanaan video). , Direct3D DreamTech ialah amalan DiT awam pertama di dunia ke arah penjanaan kandungan 3D.

Seni bina DiT mematuhi dan telah disahkan berkali-kali sebagai Undang-undang Penskalaan.

Scaling Law telah membuktikan sepenuhnya keberkesanannya pada model bahasa besar Memandangkan bilangan parameter dan data latihan meningkat, kecerdasan model besar akan bertambah baik dalam bidang penjanaan imej, daripada parameter SD1 The saiz SORA berjulat dari 0.8B hingga 8B SD3, dan saiz parameter Dall-E 3 ialah 12B, semuanya menunjukkan keberkesanan Undang-undang Penskalaan dalam bidang penjanaan video, berbanding dengan Runway, Pika, dll., ia adalah membuat spekulasi bahawa pelaksanaan teknikalnya terutamanya melibatkan perubahan seni bina model Ia telah menjadi DiT, dan parameter model dan data latihan telah dipertingkatkan mengikut urutan magnitud, menunjukkan kesan penjanaan yang mengejutkan dunia sama ada resolusi video, tempoh video atau video kualiti generasi, ia telah bertambah baik.

Begitu juga dalam bidang 3D Direct3D-1B menunjukkan industri seni bina 3D-DiT asli pertama yang boleh dilaksanakan Ia menggunakan enjin sintesis data berkualiti tinggi yang dibangunkan sendiri untuk meningkatkan jumlah data dan model latihan parameter untuk menjana hasil yang semakin bertambah baik, medan penjanaan 3D akan datang akan digantikan sepenuhnya oleh Direct3D (atau seni bina terbitannya) penyelesaian LRM atau SDS sedia ada. Pada masa ini, pasukan DreamTech sedang mempromosikan peningkatan Direct3D secara berterusan, dan merancang untuk melancarkan Direct3D-XL dengan parameter 15B sebelum akhir tahun Pada masa yang sama, ia akan meningkatkan data 3D berkualiti tinggi untuk model latihan daripada 5 kali penjanaan 3D akan menyambut detik penting.

Kualiti penjanaan kandungan 3D telah mencapai tahap komersial

Dengan pelancaran Direct3D, bidang penjanaan 3D telah membuat lonjakan besar ke dalam era komersial. Mengambil cetakan 3D sebagai contoh, model yang dihasilkan menggunakan penyelesaian teknikal seperti SDS dan LRM akan menghadapi masalah berikut:

1. Struktur geometri model terherot dan terdedah kepada kepala dan ekor yang panjang

2. Model mempunyai banyak burr tajam;

3. Permukaan terlalu licin dan tidak mempunyai butiran;

4. Kewujudan masalah ini menyebabkan model yang dihasilkan oleh pelbagai penyelesaian terdahulu tidak dapat dicetak secara normal pada pencetak 3D, dan pelarasan dan pembaikan manual diperlukan. Oleh kerana Direct3D menggunakan laluan teknologi 3D asli dan hanya menggunakan data 3D dalam set latihan, kualiti model 3D yang dihasilkannya lebih hampir kepada kualiti asal, dan ia menyelesaikan isu teras dengan sempurna seperti struktur geometri, ketepatan model, butiran permukaan, dan bilangan tompok mesh. Kualiti model yang dijana oleh Direct3D telah melebihi had atas ketepatan pencetak rumah Hanya pencetak komersil dan perindustrian dengan spesifikasi yang lebih tinggi boleh memulihkan sepenuhnya ketepatan model yang dihasilkan.

Sebelum ini, penyelesaian teknikal seperti SDS dan LRM dihadkan oleh bentuk ekspresi ciri model 3D Secara amnya, bilangan tampalan mesh model yang dihasilkan adalah sekitar 50,000-200,000, dan sukar untuk meningkatkannya. jaringan model 3D Bilangan kepingan doh selalunya perlu mencapai lebih daripada 1 juta-5 juta. Direct3D mencadangkan paradigma ekspresi ciri 3D yang lebih halus, supaya bilangan jejaring model yang dijana tidak mempunyai had atas dan boleh mencapai dan melebihi 10 juta, memenuhi keperluan pelbagai senario perniagaan.

Dengan peningkatan dalam jumlah parameter model Direct3D dan data latihan, penjanaan 3D akan digunakan untuk lebih banyak industri, termasuk industri permainan dan animasi peringkat trilion Dijangka sebelum penghujung tahun 2025. Penjanaan 3D akan Menyedari kerja penggantian kebanyakan permainan, animasi, pemodelan filem dan televisyen, dan menggunakannya secara besar-besaran dalam pelbagai industri.

Direct3D Practice

Berdasarkan model besar Direct3D, DreamTech telah melancarkan dua produk pengguna awal, yang kini dibuka untuk ujian aplikasi (Klik untuk membaca: www. teks asal neural4d.com).

Satunya ialah Animeit untuk pengguna C-side! untuk tindakan Binding, pengguna Animeit boleh bercakap dan berinteraksi secara langsung dengan rakan kongsi AI 3D yang diperibadikan.

Animeit! Watak dua dimensi yang dihasilkan oleh Animeit sangat tepat, dengan perincian kontur muka yang jelas, butiran tangan yang menonjol dan jari-jari yang berbeza Ini adalah tahap kualiti yang tidak dapat dicapai oleh laluan teknologi 3D sebelumnya tersedia untuk pengeluaran MMD dalam komuniti 2D.

Satu lagi produk ialah platform penciptaan kandungan 3D untuk pencipta Pengguna boleh mendapatkan model 3D berkualiti tinggi dalam masa 1 minit melalui penerangan teks seperti menggunakan platform seperti Midjourney, tanpa menunggu pemurnian jangka panjang muat naik hanya satu imej dan tunggu seketika untuk mendapatkan model 3D yang berkualiti tinggi dan dipulihkan dengan tepat.

Mengenai DreamTech

DreamTech terlibat secara mendalam dalam bidang teknologi AI 3D dan komited untuk menggunakan produk dan perkhidmatan yang inovatif untuk meningkatkan pengalaman pencipta AIGC global dan Visi pengguna syarikat gunakan AI canggih Teknologi ini mencipta pengalaman ruang-masa 4D yang disambungkan dengan lancar ke dunia nyata dan berinteraksi dalam masa nyata, serta merealisasikan kecerdasan buatan am (AGI) dengan mensimulasikan kerumitan dan kepelbagaian dunia sebenar.

DreamTech menghimpunkan bakat AI terkemuka dunia, dan pasukan pengasasnya terdiri daripada ahli akademik Akademi British dan Akademi Sains, bakat muda peringkat kebangsaan dan ramai bakat peringkat tinggi di Shenzhen. Ahli teras syarikat itu lulus dari universiti terkenal dunia seperti Universiti Oxford, Universiti Cina Hong Kong dan Universiti Sains dan Teknologi Hong Kong, dan telah bekerja di syarikat peneraju industri seperti Apple, Tencent dan Baidu . Ahli pasukan pengasas telah berjaya mengasaskan beberapa syarikat yang telah menjadi penanda aras dalam bidang 3D Syarikat-syarikat ini kemudiannya diperoleh oleh gergasi industri seperti Apple, Google dan Bosch.

Atas ialah kandungan terperinci Versi 3D SORA ada di sini! DreamTech melancarkan Direct3D, model besar 3D-DiT asli pertama di dunia. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!