Keasliannya mengejutkan! Google dan Cornell University melancarkan teknologi penyiapan imej sebenar RealFill

Mendapatkan foto yang tampan menjadi lebih mudah dan mudah.

Semasa melancong semasa cuti, mengambil gambar adalah satu kemestian. Walau bagaimanapun, kebanyakan foto yang diambil di tempat yang indah adalah lebih kurang mengesalkan sama ada terdapat sesuatu tambahan di latar belakang, atau ada sesuatu yang hilang.

Mendapatkan imej yang "sempurna" adalah salah satu matlamat yang telah lama diperjuangkan oleh penyelidik CV. Baru-baru ini, penyelidik dari Google Research dan Cornell University bekerjasama untuk mencadangkan teknologi "Penyelesaian Imej Sahih"—RealFill, model generatif untuk penyiapan imej.

Kelebihan model RealFill ialah ia boleh diperibadikan dengan sebilangan kecil imej rujukan pemandangan yang tidak perlu diselaraskan dengan imej sasaran malah boleh sangat berbeza dari segi sudut pandangan, keadaan pencahayaan, apertur kamera atau gaya imej. Setelah pemperibadian selesai, RealFill boleh melengkapkan imej sasaran dengan kandungan yang menarik secara visual dengan cara yang benar kepada adegan asal.

• Sila klik pautan berikut untuk melihat kertas kerja: https://arxiv.org/abs/2309.16668

• Pautan halaman projek: https://realfill.github.io/

Model pengecatan dan pengecatan adalah teknologi yang boleh menjana kandungan imej yang berkualiti tinggi dan munasabah dalam kawasan imej yang tidak diketahui Walau bagaimanapun, kandungan yang dihasilkan oleh model ini mestilah tidak realistik kerana model ini tidak realistik di sana adalah kekurangan dalam maklumat kontekstual tempat kejadian. Sebaliknya, RealFill menjana kandungan yang "sepatutnya" ada, menjadikan hasil penyiapan imej lebih realistik.

Pengarang menunjukkan dalam kertas bahawa mereka mentakrifkan masalah penyiapan imej baharu - "Penyiapan Imej Sahih". Berbeza daripada pemulihan imej generatif tradisional (kandungan yang menggantikan kawasan yang hilang mungkin tidak konsisten dengan adegan asal), matlamat penyiapan imej sebenar adalah untuk menjadikan kandungan yang telah dilengkapkan setepati mungkin dengan adegan asal, menggunakan kandungan yang "sepatutnya muncul sana". Lengkapkan imej sasaran dengan kandungan yang "mungkin ada di luar sana".

Pengarang menyatakan bahawa RealFill ialah kaedah pertama untuk mengembangkan kuasa ekspresif model pembaikan imej generatif dengan menambahkan lebih banyak syarat (iaitu menambah imej rujukan) pada proses tersebut.

RealFill dengan ketara mengatasi kaedah sedia ada pada penanda aras penyiapan imej baharu yang merangkumi set senario yang pelbagai dan mencabar. Matlamat

kaedah

RealFill adalah untuk menggunakan sebilangan kecil imej rujukan untuk melengkapkan bahagian yang hilang pada imej sasaran yang diberikan sambil mengekalkan ketulenan sebanyak mungkin. Khususnya, anda diberikan sehingga 5 imej rujukan dan imej sasaran yang secara kasarnya menangkap pemandangan yang sama (tetapi mungkin mempunyai reka letak atau rupa yang berbeza).

Untuk adegan tertentu, para penyelidik mula-mula mencipta model generatif yang diperibadikan dengan memperhalusi model resapan lukisan yang telah terlatih pada rujukan dan imej sasaran. Proses penalaan halus ini direka bentuk supaya model yang ditala halus bukan sahaja mengekalkan imej prior yang baik, tetapi juga mempelajari kandungan pemandangan, pencahayaan dan gaya dalam imej input. Model diperhalusi ini kemudiannya digunakan untuk mengisi kawasan yang hilang dalam imej sasaran melalui proses pensampelan resapan standard.

Perlu diperhatikan bahawa untuk nilai aplikasi praktikal, model ini memberi perhatian khusus kepada kes yang lebih mencabar dan tidak terhad, iaitu imej sasaran dan imej rujukan mungkin mempunyai sudut pandangan dan persekitaran yang sangat berbeza. keadaan , apertur kamera, gaya imej dan juga objek bergerak.

Hasil eksperimen

Menurut imej rujukan di sebelah kiri, RealFill boleh mengembangkan (menyahcrop) atau membaiki (mengecat) imej sasaran di sebelah kanan, bukan sahaja hasil yang dijana. tetapi juga Selaras dengan imej rujukan walaupun terdapat perbezaan besar antara imej rujukan dan imej sasaran dari segi sudut pandangan, apertur, pencahayaan, gaya imej dan gerakan objek.

^{Kesan keluaran model Isi Sebenar. Memandangkan imej rujukan di sebelah kiri, RealFill boleh mengembangkan imej sasaran yang sepadan di sebelah kanan. Kawasan di dalam kotak putih disediakan kepada rangkaian sebagai piksel yang diketahui, manakala kawasan di luar kotak putih dijana. Hasilnya menunjukkan bahawa RealFill boleh menjana imej berkualiti tinggi yang sesuai dengan imej rujukan walaupun terdapat perbezaan besar antara imej rujukan dan imej sasaran, termasuk sudut pandangan, apertur, pencahayaan, gaya imej dan gerakan objek. Sumber: Kertas}

Eksperimen Terkawal

Para penyelidik membandingkan model RealFill dengan kaedah asas yang lain. Sebagai perbandingan, RealFill menghasilkan hasil berkualiti tinggi dan berprestasi lebih baik dari segi kesetiaan pemandangan dan konsistensi dengan imej rujukan.

Cat-demi-Contoh tidak boleh mencapai tahap kesetiaan pemandangan yang tinggi kerana ia bergantung pada pembenaman CLIP, yang hanya boleh menangkap maklumat semantik peringkat tinggi.

Pengecatan Resapan Stabil boleh menghasilkan hasil yang kelihatan munasabah, tetapi disebabkan kuasa ekspresif yang terhad, hasil akhir yang dihasilkan tidak konsisten dengan imej rujukan.

^{Perbandingan RealFill dengan dua kaedah asas yang lain. Kawasan yang diliputi oleh topeng putih lutsinar ialah bahagian imej sasaran yang tidak diubah suai. Sumber: realfill.github.io}

Limitations

Para penyelidik juga membincangkan beberapa potensi masalah dan batasan model RealFill, termasuk kelajuan pemprosesan, keupayaan untuk mengendalikan keperluan perubahan asas dan keperluan Keupayaan model untuk mengendalikan situasi yang mencabar. Khususnya:

RealFill memerlukan proses penalaan halus berasaskan kecerunan pada imej input, yang menjadikannya agak perlahan untuk dijalankan.

Apabila sudut pandangan berubah antara imej rujukan dan imej sasaran adalah sangat besar, RealFill selalunya tidak dapat memulihkan pemandangan 3D, terutamanya apabila terdapat hanya satu imej rujukan.

Memandangkan RealFill bergantung terutamanya pada imej prior yang diwarisi daripada model asas pra-latihan, ia tidak dapat mengendalikan situasi yang mencabar untuk model asas, seperti model resapan stabil yang tidak dapat mengendalikan teks dengan baik.

Akhirnya, penulis mengucapkan terima kasih kepada rakan usaha sama mereka:

Kami ingin mengucapkan terima kasih kepada Rundi Wu, Qianqian Wang, Viraj Shah, Ethan Weber, Zhengqi Li, Kyle Genova, Boyang Deng, Maya Goldenberg, Noah Snavely Ben Poole, Ben Mildenhall, Alex Rav-Acha, Pratul Srinivasan, Dor Verbin dan Jon Barron untuk perbincangan dan maklum balas yang berharga, dan kami juga berterima kasih kepada Zeya Peng, Rundi Wu dan Shan Nan atas sumbangan mereka kepada set data penilaian. Kami amat berterima kasih kepada Jason Baldridge, Kihyuk Sohn, Kathy Meier-Hellstern dan Nicole Brichtova atas maklum balas dan sokongan mereka terhadap projek itu.

Sila baca kertas asal dan lawati laman utama projek untuk maklumat lanjut

Atas ialah kandungan terperinci Keasliannya mengejutkan! Google dan Cornell University melancarkan teknologi penyiapan imej sebenar RealFill. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!