Model resapan mengatasi masalah algoritma, AGI tidak jauh! Google Brain mencari laluan terpendek dalam labirin

Bolehkah "model resapan" juga mengatasi masalah algoritma?

Pictures

Seorang penyelidik PhD melakukan eksperimen yang menarik, menggunakan "discrete diffusion" untuk mencari laluan terpendek dalam mez yang diwakili oleh imej.

Gambar

Menurut penulis, setiap labirin dihasilkan dengan menambah dinding mendatar dan menegak secara berulang.

Antaranya, titik permulaan dan titik sasaran dipilih secara rawak.

Sampel laluan sebagai penyelesaian secara rawak dari laluan terpendek dari titik permulaan ke titik sasaran. Laluan terpendek dikira menggunakan algoritma yang tepat.

Gambar

Kemudian gunakan model resapan diskret dan U-Net.

Titik permulaan dan labirin sasaran dikodkan dalam satu saluran, dan model menggunakan penyelesaian dalam saluran lain untuk menghapuskan bunyi labirin.

Gambar

Walaupun maze agak sukar, anda masih boleh melakukannya dengan baik.

Gambar

Untuk menganggarkan langkah denosing p(x_{t-1} | x_t), algoritma menganggar p(x_0 | x_t). Memvisualisasikan anggaran ini (baris bawah) semasa proses menunjukkan "andaian semasa" dan akhirnya memfokuskan pada keputusan.

Pictures

Saintis kanan NVIDIA Jim Fan berkata bahawa ini adalah percubaan yang menarik, dan model resapan boleh "membuat" algoritma. Ia boleh melaksanakan traversal maze dari piksel sahaja, walaupun menggunakan U-Net, yang jauh lebih lemah daripada Transforme.

Saya selalu berfikir bahawa model resapan ialah pemapar, dan Transformer ialah enjin inferens. Nampaknya pemapar itu sendiri juga boleh mengekod algoritma jujukan yang sangat kompleks.

Gambar

Percubaan ini hanya mengejutkan netizen, "Apa lagi yang boleh dilakukan oleh model penyebaran?!"

Pictures

Namun, kajian ini masih belum dikeluarkan secara rasmi, dan penulis memberitahu ia akan dikemas kini di arxiv nanti.

Perlu dinyatakan bahawa dalam percubaan ini, mereka menggunakan model resapan diskret yang dicadangkan oleh pasukan Google Brain pada tahun 2021.

Gambar

Baru-baru ini, kajian ini dikemas kini untuk edisi baharu.

Model Resapan Diskret

"Model Generatif" ialah masalah teras dalam pembelajaran mesin.

Ia boleh digunakan untuk mengukur keupayaan kami untuk menangkap statistik pada set data semula jadi dan untuk aplikasi hiliran yang perlu menjana data berdimensi tinggi seperti imej, teks dan pertuturan.

GAN, VAE, model rangkaian neural autoregresif berskala besar, aliran normal dan kaedah lain mempunyai kelebihan tersendiri dalam kualiti sampel, kelajuan pensampelan, kemungkinan log dan kestabilan latihan.

Baru-baru ini, "model resapan" telah menjadi alternatif paling popular untuk penjanaan imej dan audio.

Ia boleh mencapai kualiti sampel yang setanding dengan GAN dan kemungkinan log yang setanding dengan model autoregresif dengan langkah inferens yang lebih sedikit.

Gambar

Alamat kertas: https://www.php.cn/link/46994a3cd8d943d03b44b8fc9792d435walaupun beberapa orang telah mencadangkan model s, penyelidikan terkini telah tertumpu terutamanya pada Proses resapan Gaussian beroperasi dalam ruang keadaan berterusan (seperti imej bernilai sebenar dan data bentuk gelombang).

Model resapan ruang keadaan diskret telah diterokai dalam bidang pembahagian teks dan imej, tetapi masih belum terbukti sebagai model yang kompetitif dalam tugas penjanaan teks dan imej berskala besar.

Pasukan penyelidik Google mencadangkan model kebarangkalian resapan diskret (D3PM) baharu.

Dalam kajian itu, penulis menunjukkan bahawa pilihan matriks peralihan adalah keputusan reka bentuk penting yang boleh meningkatkan hasil dalam kedua-dua domain imej dan teks.

Selain itu, mereka mencadangkan fungsi kehilangan baharu yang menggabungkan sempadan bawah variasi dan kehilangan entropi silang tambahan.

Dari segi teks, model ini mencapai hasil yang baik dalam penjanaan teks peringkat aksara sambil berskala kepada set data LM1B perbendaharaan kata yang besar.

Pada dataset imej CIFAR-10, model terkini menghampiri kualiti sampel model DDPM ruang berterusan dan melebihi kemungkinan log model DDPM ruang berterusan.

Pictures

Project pengarang

para natier

arnaud pannatier dari Mac 2020 di bawah pengawasan François Fleuret Kumpulan Pembelajaran Mesin memulakan Ph.D.

Beliau baru-baru ini membangunkan HyperMixer, menggunakan rangkaian super untuk membolehkan MLPMixer mengendalikan input pelbagai panjang. Ini membolehkan model memproses input dalam cara pilih atur-invarian dan telah ditunjukkan untuk memberikan model tingkah laku perhatian yang berskala secara linear dengan panjang input.

Di EPFL, beliau menerima ijazah sarjana muda dalam fizik dan ijazah sarjana dalam sains komputer dan kejuruteraan (CSE-MASH).

Rujukan:

https://www.php.cn/link/46994a3cd8d943d03b44b8fc9792d435

84e181b6262704e95372dc9f4dc

Atas ialah kandungan terperinci Model resapan mengatasi masalah algoritma, AGI tidak jauh! Google Brain mencari laluan terpendek dalam labirin. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!