Pengarang karya baharu ControlNet mendapat sambutan: P foto boleh ditukar menjadi latar belakang tanpa meminta bantuan, dan pencahayaan AI disepadukan dengan sempurna

Sebuah karya baharu oleh pengarang ControlNet, ia sangat menyeronokkan untuk dimainkan sehingga ia telah menerima 1.2k bintang sejak ia adalah sumber terbuka.

IC-Light digunakan untuk memanipulasi kesan pencahayaan imej, nama penuhnya ialah lmposing Consistent Light.

Permainan ini sangat mudah:

Memuat naik bermakna sistem akan mengasingkan watak dan subjek lain secara automatik, memilih kedudukan sumber cahaya, mengisi kata-kata gesaan, dan anda boleh menyepadukan ke dalam persekitaran baharu tanpa sebarang kelemahan!

Cepat lakukan pencahayaan gaya Wong Kar-wai:

Tidak menyukainya?

Tidak mengapa, hanya mengambil masa seminit untuk beralih kepada cahaya semula jadi yang masuk dari tingkap.

Pada masa ini, IC-Light menyediakan dua jenis model: model pencahayaan semula bersyarat teks dan model bersyarat latar belakang.

Kedua-dua model memerlukan imej latar depan sebagai input.

Memandangkan Controlnet sangat menyeronokkan sebelum ini, IC-Light menarik banyak perhatian apabila ia muncul kali ini, dan beberapa netizen dengan pantas membuat pemalam ComfyUI.

(Ragu-ragu, semua orang bekerja keras dan tidak tidur pun??)

Sama ada jangkaan atau pengalaman selepas digunakan, netizen memberikannya sangat tinggi:

Senang! Tidak sabar untuk mula dan bermain hehehehe.

Siapa boleh tolong saya tukar latar belakang gambar ini?

Dari MCN purba hingga Tieba dan kini Xiaohongshu, dalam setiap era, tiada kekurangan siaran bantuan seperti "Bolehkah sesiapa membantu saya menukar latar belakang?"

Tetapi bantuan daripada netizen yang bersemangat selalunya kelihatan seperti ini:

adalah keterlaluan.

Tetapi sejujurnya, permintaan sebegini bukan sahaja wujud dalam kalangan orang biasa seperti anda dan saya, syarikat e-dagang selalunya mempunyai keperluan yang sama ketika membuat poster produk.

Dengan IC-Light, segala-galanya nampaknya menjadi lebih mudah.

Muat naik imej utama asal + pilih kedudukan sumber cahaya + perkataan gesaan, dan anda sudah selesai.

Mari lihat kesannya:

Imej asli patung Buddha sedemikian, tambahkan kata-kata gesaan "Patung Buddha, wajah terperinci, cahaya RGB sci-fi, cyberpunk", dan kemudian pilih "Cahaya dari kiri".

Anda akan mendapat produk siap yang serba baharu:

Ia sesuai walaupun untuk adegan harian.

Kesan akhir nampak lebih natural pada mata kasar:

Menurut penilaian yang dikongsikan netizen, ia juga sesuai untuk adegan animasi...

Teknologi disebaliknya

, IC-Light kini menyediakan dua jenis Model, kedua-dua model memerlukan imej latar depan sebagai input.

Satu jenis ialah model nyalaan semula bersyarat teks.

Ringkasnya, pengguna boleh melengkapkan penjanaan dengan memasukkan perkataan gesaan.

Sebagai contoh, jika anda memasukkan "cahaya kiri", "cahaya bulan", dsb., model akan menggunakan perkataan gesaan dan pembolehubah pendam awal ini untuk menjana imej yang memenuhi keperluan dan ciri.

Jenis yang lain ialah model keadaan latar belakang.

Yang ini lebih ringkas dan tidak memerlukan kata gesaan yang kompleks Model ini menggabungkan maklumat gesaan latar belakang untuk menukar pencahayaan objek latar depan dalam gaya yang berbeza.

Prinsip teknikal di sebaliknya adalah untuk memastikan output model konsisten di bawah kombinasi sumber cahaya yang berbeza melalui konsistensi ruang terpendam, supaya pelbagai kesan pencahayaan dapat disintesis secara stabil.

Perincian adalah seperti berikut:🎜

Dalam ruang HDR, transmisi cahaya semua pencahayaan adalah bebas antara satu sama lain Kesan pencampuran penampilan sumber cahaya yang berbeza adalah secara matematik (iaitu, dalam keadaan ideal) konsisten dengan penampilan di bawah tindakan langsung pelbagai sumber cahaya. . .

Oleh itu, semasa melatih model pencahayaan semula, para penyelidik menggunakan perceptron berbilang lapisan (MLP)

dalam ruang terpendam untuk menjadikan gabungan dan penghantaran sumber cahaya yang berbeza konsisten dan digunakan untuk membimbing kesan yang dihasilkan.

Hasilnya ialah kesan pencahayaan semula yang sangat konsisten.

Oleh kerana model menggunakan teknologi resapan terpendam, operasi pembelajaran dan pencahayaan semula boleh dilaksanakan dalam ruang terpendam, menghasilkan kesan yang sangat konsisten di bawah pelbagai keadaan pencahayaan.

Hasil ini sangat konsisten - walaupun model tidak menggunakan data peta biasa secara langsung semasa latihan, pencahayaan semula yang berbeza boleh digabungkan menjadi peta biasa.

Lihat gambar di bawah, dari kiri ke kanan adalah input, output model, pencahayaan semula, imej bayang terbelah dan peta biasa yang digabungkan.

Rakan-rakan yang berminat boleh ke alamat di bawah untuk mencuba~

GitHub direct train: https://github.com/lllyasviel/IC-Light?tab=readme-ov-file.

Atas ialah kandungan terperinci Pengarang karya baharu ControlNet mendapat sambutan: P foto boleh ditukar menjadi latar belakang tanpa meminta bantuan, dan pencahayaan AI disepadukan dengan sempurna. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!