Alat penjanaan imej terkini Meta sangat popular sehingga ia boleh mengubah impian menjadi realiti!

AI sangat pandai melukis.

Baru-baru ini, Meta juga telah membangunkan "pelukis" AI - Make-A-Scene.

Adakah anda masih fikir semudah itu hanya menggunakan teks untuk menghasilkan lukisan?

Anda tahu, hanya bergantung pada perihalan teks kadangkala boleh "terbalik", seperti Parti "artis" yang dilancarkan oleh Google suatu masa dahulu.

"Pinggan tanpa pisang, dan gelas tanpa jus oren di sebelahnya."

Kali ini, Make-A-Scene boleh digambarkan." melalui teks , ditambah dengan lakaran, untuk mencipta rupa yang anda inginkan.

Anda mempunyai kata putus pada bahagian atas dan bawah, kiri dan kanan, saiz, bentuk dan elemen lain dalam gubahan.

Malah LeCun telah keluar untuk mempromosikan produknya sendiri Tidak perlu dikatakan, kreativiti, kuncinya adalah "boleh dikawal"!

Make-A-Scene sangat hebat, mari kita lihat.

Pen ajaib Meta Ma Liang

Semua bercakap tanpa latihan, helah palsu!

Mari kita lihat cara orang menggunakan Make-A-Scene untuk merealisasikan imaginasi mereka.

Pasukan penyelidik akan menjalankan sesi demonstrasi Make-A-Scene bersama artis kecerdasan buatan yang terkenal.

Pasukan artis mempunyai barisan yang kuat, termasuk Sofia Crespo, Scott Eaton, Alexander Reben dan Refik Anadol, dll. Sarjana ini mempunyai pengalaman langsung dalam menggunakan kecerdasan buatan generatif Gunakan pengalaman.

Pasukan R&D membenarkan artis ini menggunakan Make-A-Scene sebagai sebahagian daripada proses kreatif dan memberikan maklum balas semasa menggunakannya.

Seterusnya, mari kita hargai karya yang dicipta oleh master menggunakan Make-A-Scene.

Sebagai contoh, Sofia Crespo ialah seorang artis yang memfokuskan pada persimpangan alam dan teknologi. Dia suka membayangkan bentuk kehidupan tiruan yang tidak pernah wujud, jadi dia menggunakan lakaran Make-A-Scene dan ciri dorongan teks untuk mencipta "makhluk hibrid" serba baharu.

Contohnya, obor-obor berbentuk bunga.

Crespo memanfaatkan keupayaan lukisan percumanya untuk mengulang idea baharu dengan pantas. Beliau berkata bahawa Make-A-Scene akan membantu artis mengekspresikan kreativiti mereka dengan lebih baik dan membolehkan artis melukis menggunakan antara muka yang lebih intuitif.

(obor-obor berbentuk bunga)

Scott Eaton ialah seorang artis, pendidik dan pakar teknologi kreatif yang menyiasat realiti kontemporari dan hubungan antara teknologi.

Dia menggunakan Make-A-Scene sebagai cara untuk mengarang adegan, meneroka perubahan dalam adegan melalui isyarat yang berbeza, seperti menggunakan tema seperti "pencakar langit tenggelam dan reput di padang pasir" untuk menekankan krisis iklim.

(Pencakar Langit di Gurun)

Alexander Reben ialah seorang artis, penyelidik dan ahli robotik.

Dia percaya bahawa mempunyai lebih kawalan ke atas output akan membantu menyatakan hasrat seninya. Dia menggabungkan alat ini ke dalam siri berterusannya.

Bagi artis dan pengarah media Refik Anadol, alat ini ialah cara untuk menggalakkan perkembangan imaginasi dan menerokai wilayah yang tidak diketahui dengan lebih baik.

Sebenarnya alat prototaip ini bukan hanya untuk mereka yang meminati seni.

Pasukan penyelidik percaya bahawa Make-A-Scene boleh membantu sesiapa sahaja mengekspresikan diri mereka dengan lebih baik, termasuk mereka yang mempunyai sedikit bakat seni.

Sebagai permulaan, pasukan penyelidik menyediakan akses separa kepada pekerja Meida. Mereka sedang menguji dan memberikan maklum balas tentang pengalaman mereka dengan Make-A-Scene.

Pengurus Projek Meda Andy Boyatzis menggunakan Make-A-Scene untuk mencipta seni bersama anak-anaknya yang berusia dua dan empat tahun. Mereka menggunakan lukisan yang suka bermain untuk menghidupkan idea dan imaginasi mereka.

Berikut adalah hasil kerja mereka~

Kucing arca yang berwarna-warni~ Comel kan? Tetapi warna ini sebenarnya agak tidak tahan untuk dilihat, seperti kanak-kanak menguli ketulan besar plastisin bersama-sama.

Beruang raksasa menaiki kereta api. Serius, orang yang mempunyai cryptophobia harus menjauhkan diri. Editor segera melompat ke atas selepas membaca gambar ini. Lihatlah lengan pelik ini, badan seperti muka, roda seperti bola mata...

Puncak gunung. Sejujurnya, gambar ini agak artistik. Tetapi adakah anda merasakan bahawa gunung di kejauhan dan kereta api kecil berhampiran tidak sama gayanya?

Teknologi di sebaliknya

Walaupun kaedah semasa menyediakan penukaran yang agak baik antara domain teks dan imej, mereka masih mengalami beberapa isu utama yang ditangani dengan baik: kebolehkawalan , persepsi manusia, kualiti imej.

Kaedah model ini meningkatkan ketekalan struktur dan kualiti imej pada tahap tertentu.

Seluruh adegan terdiri daripada tiga kumpulan pembahagian semantik yang saling melengkapi (panorama, manusia dan muka).

Dengan menggabungkan tiga kumpulan pembahagian semantik yang diekstrak, rangkaian belajar untuk menjana reka letak dan keadaan semantik untuk menjana imej akhir.

Untuk mencipta ruang token adegan, pengarang menggunakan "VQ-SEG", yang merupakan penambahbaikan pada "VQ-VAE".

Dalam pelaksanaan ini, input dan output "VQ-SEG" ialah m saluran. Saluran tambahan ialah peta tepi yang memisahkan kelas dan kejadian yang berbeza. Saluran tepi menyediakan pengasingan untuk contoh bersebelahan kelas yang sama dan menekankan kelas jarang yang mempunyai kepentingan tinggi.

Apabila melatih rangkaian "VQ-SEG", memandangkan setiap bahagian muka menduduki bilangan piksel yang agak kecil dalam ruang pemandangan, ia membawa kepada pembinaan semula bahagian muka (seperti mata, hidung, dsb. ) Segmen semantik bibir, kening) kerap berkurangan.

Dalam hal ini, penulis cuba menggunakan kehilangan muka entropi silang binari berwajaran berdasarkan klasifikasi bahagian muka bersegmen untuk menyerlahkan kepentingan bahagian muka. Selain itu, tepi bahagian muka juga digunakan sebagai sebahagian daripada peta tepi segmentasi semantik yang dinyatakan di atas.

Pengarang mengguna pakai rangkaian VGG pra-latihan yang dilatih pada set data ImageNet dan bukannya rangkaian benam muka khusus dan memperkenalkan kehilangan padanan ciri yang mewakili perbezaan persepsi antara imej yang dibina semula dan imej sebenar.

Dengan menggunakan padanan ciri dan menambah lapisan pensampelan naik tambahan dan lapisan pensampelan bawah pada pengekod dan penyahkod dalam VQ-IMG, resolusi imej output boleh ditingkatkan daripada 256×256.

Saya percaya semua orang sudah biasa dengan Transformer, jadi apakah Transformer berasaskan adegan?

Ia bergantung pada Transformer autoregresif dengan tiga ruang token bebas dan berterusan, iaitu teks, pemandangan dan imej.

Jujukan token terdiri daripada token teks yang dikodkan oleh pengekod BPE, token pemandangan yang dikodkan oleh VQ-SEG dan token imej yang dikodkan atau dinyahkod oleh VQ-IMG.

Sebelum melatih Transformer berasaskan adegan, setiap jujukan token yang dikodkan sepadan dengan tuple [teks, adegan, imej], yang diekstrak menggunakan pengekod yang sepadan.

Selain itu, pengarang juga mengguna pakai bootstrapping tanpa pengelas, iaitu proses membimbing sampel tanpa syarat kepada sampel bersyarat.

Model mencapai hasil SOTA. Mari kita lihat lebih dekat perbandingan dengan kaedah sebelumnya

Kini, penyelidik juga telah mengintegrasikan Make-A-Scene dengan Rangkaian resolusi super, anda boleh menjana imej dengan resolusi 2048x2048 dan 4 kali ganda.

adalah seperti berikut:

Malah, seperti model AI generatif lain, Make-A-Scene mempelajari penglihatan dengan melatih berjuta-juta contoh hubungan imej dengan teks tersebut.

Tidak dapat dinafikan bahawa berat sebelah yang ditunjukkan dalam data latihan mempengaruhi output model ini.

Seperti yang dinyatakan oleh penyelidik, Make-A-Scene masih banyak yang perlu diperbaiki.

Atas ialah kandungan terperinci Alat penjanaan imej terkini Meta sangat popular sehingga ia boleh mengubah impian menjadi realiti!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!