'Portal Kawalan Adegan: Teleportasi Objek Empat dalam satu, Dihantar & Dihasilkan Semut'

Dalam operasi pengeditan imej biasa, sintesis imej merujuk kepada proses menggabungkan objek latar depan satu imej dengan imej latar belakang yang lain untuk menghasilkan imej komposit. Imej gabungan secara visual serupa dengan memindahkan objek latar depan dari satu imej ke imej latar belakang yang lain, seperti yang ditunjukkan di bawah

Sintesis imej digunakan secara meluas dalam penciptaan seni, reka bentuk poster, e-dagang, realiti maya, penambahan data dan bidang lain

Mungkin terdapat banyak masalah dalam imej komposit yang diperolehi dengan potong dan tampal ringkas. Dalam kerja penyelidikan terdahulu, sintesis imej memperoleh subtugas yang berbeza untuk menyelesaikan submasalah yang berbeza masing-masing. Pengadunan imej, sebagai contoh, bertujuan untuk menyelesaikan sempadan luar tabii antara latar depan dan latar belakang. Pengharmonian imej bertujuan untuk melaraskan pencahayaan latar depan supaya ia selaras dengan latar belakang. Pelarasan perspektif bertujuan untuk melaraskan pose latar depan supaya sepadan dengan latar belakang. Peletakan objek bertujuan untuk meramalkan lokasi, saiz dan sudut perspektif yang sesuai untuk objek latar depan. Penjanaan bayang-bayang bertujuan untuk menghasilkan bayang-bayang yang munasabah untuk objek latar depan di latar belakang

Seperti yang ditunjukkan dalam rajah di bawah, kerja penyelidikan terdahulu melaksanakan sub-tugas di atas secara bersiri atau selari untuk mendapatkan imej sintesis yang realistik dan semula jadi . Dalam rangka kerja bersiri, kami boleh melaksanakan beberapa subtugas secara terpilih mengikut keperluan sebenar

Dalam rangka kerja selari, kaedah yang popular pada masa ini ialah menggunakan model resapan. Ia menerima imej latar belakang dengan kotak sempadan latar depan dan imej objek latar depan sebagai input dan secara langsung menjana imej komposit akhir. Ini boleh menjadikan objek latar depan dan imej latar belakang digabungkan dengan lancar, kesan pencahayaan dan bayang-bayang adalah munasabah, dan postur disesuaikan dengan latar belakang

Rangka kerja selari ini adalah bersamaan dengan melaksanakan berbilang subtugas pada masa yang sama dan tidak boleh. laksanakan beberapa subtugas secara terpilih. Tugas itu tidak boleh dikawal dan mungkin membawa perubahan yang tidak perlu atau tidak munasabah pada postur atau warna objek latar depan

Apa yang perlu ditulis semula ialah:

# 🎜 🎜#

Untuk meningkatkan kebolehkawalan rangka kerja selari dan secara terpilih melaksanakan beberapa sub-tugas, kami mencadangkan model gubahan imej terkawal Komposisi Imej Terkawal (ControlCom). Seperti yang ditunjukkan dalam rajah di bawah, kami menggunakan vektor penunjuk sebagai maklumat keadaan model resapan untuk mengawal sifat objek latar depan dalam imej komposit. Vektor petunjuk ialah vektor perduaan dua dimensi, di mana setiap dimensi mengawal sama ada untuk melaraskan atribut pencahayaan dan atribut postur objek latar depan masing-masing, dengan 1 bermaksud pelarasan dan 0 bermaksud pengekalan. (0 ,0) bermaksud tidak mengubah pencahayaan latar depan mahupun postur latar depan, tetapi hanya menyepadukan objek dengan lancar ke dalam imej latar belakang, yang bersamaan dengan pengadunan imej. (1,0) bermakna hanya menukar pencahayaan latar depan untuk menjadikannya harmoni dengan latar belakang dan mengekalkan postur latar depan, yang bersamaan dengan penyelarasan imej. (0,1) bermakna hanya menukar postur latar depan untuk dipadankan dengan latar belakang dan mengekalkan pencahayaan latar depan, yang bersamaan dengan pelarasan perspektif (sintesis paparan). (1,1) bermaksud menukar pencahayaan dan postur latar depan pada masa yang sama, yang bersamaan dengan sintesis imej selari yang tidak terkawal semasa

Kami menggabungkan empat tugasan ke dalam rangka kerja yang sama dan merealisasikan empat- dalam-satu objek melalui vektor penunjuk Fungsi portal boleh mengangkut objek ke lokasi tertentu di tempat kejadian. Kerja ini telah disiapkan oleh Shanghai Jiao Tong University dan Ant Group Kod dan model akan menjadi sumber terbuka tidak lama lagi. /bcmi/ControlCom-Image-Composition

Dalam gambar di bawah, kami Menunjukkan fungsi sintesis imej yang boleh dikawal

Dalam lajur kiri, postur objek latar depan pada asalnya disesuaikan dengan imej latar belakang, dan pengguna mungkin mahu mengekalkan sikap postur objek latar depan. Kaedah sebelumnya PbE [1] dan ObjectStitch [2] akan membuat perubahan yang tidak perlu dan tidak terkawal pada pose objek latar depan. Versi (1,0) kaedah kami dapat mengekalkan pose objek latar depan, menggabungkan objek latar depan dengan lancar ke dalam imej latar belakang dengan pencahayaan harmoni

Dalam lajur di sebelah kanan, pencahayaan objek latar depan harus konsisten dengan pencahayaan latar belakang yang sama. Kaedah sebelumnya boleh menyebabkan perubahan yang tidak dijangka dalam warna objek latar depan, seperti kenderaan dan pakaian. Kaedah kami (versi 0.1) dapat mengekalkan warna objek latar depan sambil melaraskan posenya secara serentak supaya ia sebati secara semula jadi ke dalam imej latar belakang

Seterusnya, kami menunjukkan lebih banyak hasil daripada empat versi kaedah kami (0,0), (1,0), (0,1), (1,1). Dapat dilihat bahawa apabila menggunakan vektor penunjuk yang berbeza, kaedah kami boleh melaraskan secara selektif beberapa sifat objek latar depan, mengawal kesan imej komposit dengan berkesan, dan memenuhi keperluan pengguna yang berbeza.

Apa yang perlu kita tulis semula ialah: Apakah struktur model yang boleh merealisasikan empat fungsi? Kaedah kami menggunakan struktur model berikut Input model termasuk imej latar belakang dengan kotak sempadan latar depan dan imej objek latar depan. objek latar depan dan ciri tempatan, dan pertama menggabungkan ciri global dan kemudian ciri tempatan. Semasa proses gabungan tempatan, kami menggunakan peta ciri latar depan yang dijajarkan untuk modulasi ciri bagi mencapai pemeliharaan butiran yang lebih baik. Pada masa yang sama, vektor penunjuk digunakan dalam kedua-dua gabungan global dan gabungan tempatan untuk mengawal sepenuhnya sifat objek latar depan

Kami menggunakan algoritma resapan stabil yang telah terlatih untuk melatih model berdasarkan 1.9 juta imej daripada OpenImage. Untuk melatih empat subtugas secara serentak, kami mereka bentuk satu set pemprosesan data dan proses peningkatan. Untuk butiran tentang data dan latihan, sila lihat kertas kerja

Kami telah menguji set data COCOEE dan set data yang kami bina sendiri. Memandangkan kaedah sebelumnya hanya boleh mencapai sintesis imej yang tidak terkawal, kami membandingkan dengan versi (1,1) dan kaedah sebelumnya. Hasil perbandingan ditunjukkan dalam rajah di bawah. PCTNet ialah kaedah penyelarasan imej yang boleh mengekalkan butiran objek, tetapi tidak boleh melaraskan postur latar depan, dan ia juga tidak dapat melengkapkan objek latar depan. Kaedah lain boleh menghasilkan objek yang sama, tetapi kurang berkesan untuk mengekalkan butiran, seperti gaya pakaian, tekstur cawan, warna bulu burung, dll.

Kaedah kami lebih baik untuk mengekalkan butiran latar depan Perincian, lengkapkan objek latar depan yang tidak lengkap, dan laraskan pencahayaan, postur dan penyesuaian objek latar depan ke latar belakang

Kerja ini adalah percubaan pertama untuk sintesis imej yang boleh dikawal dan masih banyak kelemahan, bagaimanapun, prestasi model tidak stabil dan cukup teguh. Di samping itu, sebagai tambahan kepada pencahayaan dan postur, sifat objek latar depan boleh diperhalusi lagi Bagaimana untuk mencapai sintesis imej terkawal yang lebih halus adalah tugas yang lebih mencabar

Untuk mengekalkan niat asal tidak berubah, ia perlu. ditulis semula Kandungannya ialah: Rujukan

Yang, Gu, Zhang, Zhang, Chen, Sun, Chen, Wen (2023). Penyuntingan imej berasaskan contoh dan model penyebaran. Dalam CVPR

[2] Song Yongzhong, Zhang Zhi, Lin Zhilong, Cohen, S. D., Price, B. L., Zhang Jing, Jin Suying, Arriaga, D. G. 2023. ObjectStitch: Sintesis objek generatif. Dalam CVPR

Atas ialah kandungan terperinci 'Portal Kawalan Adegan: Teleportasi Objek Empat dalam satu, Dihantar & Dihasilkan Semut'. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!