Teknologi lukisan semula separa Meitu AI didedahkan! Ubahnya mengikut kehendak anda! Lukisan semula separa gambar yang cantik membolehkan anda melakukan apa sahaja yang anda mahu

Baru-baru ini, fungsi "Pembesaran Imej AI" telah menimbulkan sensasi dengan kesan pembesaran secara tiba-tiba Hasil auto-isi yang lucu dan menarik sering menjadi popular dan mencetuskan kegilaan di Internet. Pengguna secara aktif mencuba ciri ini, dan transformasi 180 darjahnya yang besar juga membuatkan orang kagum, dan populariti topik itu terus meningkat.

Sambil membangkitkan ketawa dan semangat, ini juga bermakna orang ramai sentiasa memberi perhatian sama ada AI benar-benar boleh membantu mereka menyelesaikan masalah dunia sebenar dan meningkatkan pengalaman pengguna. Dengan perkembangan pesat teknologi AIGC, senario aplikasi AI semakin pantas untuk dilaksanakan, yang menunjukkan bahawa kami akan memulakan revolusi produktiviti baharu.

Baru-baru ini, WHEE Meitu dan produk lain telah melancarkan pembesaran imej AI dan fungsi pengubahsuaian imej AI Dengan input segera yang mudah, pengguna boleh mengubah suai imej, mengalih keluar elemen skrin dan mengembangkan skrin sesuka hati Dengan operasi yang mudah dan menakjubkan Kesannya sangat berkurangan ambang untuk penggunaan alat dan membawa pengguna pengalaman penciptaan imej yang cekap dan berkualiti tinggi.

MiracleVision (MiracleVision) menghilangkan hasilnya

MiracleVision (MiracleVision) sebelum kesan penggantian

Vision

Vision

Kesan gambar pengubahsuaian AI Miracle Vision

Keupayaan model yang berkuasa, membolehkan anda mengedit imej sesuka hati

Model lukisan semula tempatan Meitu AI membina rangka kerja model cat & cat luar yang lengkap berdasarkan teknologi model penyebaran untuk melukis semula kawasan dalaman dan menghapuskan sasaran latar depan Dan pengembangan kawasan luaran dan tugas lain disatukan ke dalam penyelesaian yang sama untuk diselesaikan, dan reka bentuk pengoptimuman khas dibuat untuk beberapa masalah kesan tertentu.

Model MiracleVision ialah model graf Vincentian Walaupun ia boleh disesuaikan dengan tugas inpaint dengan mengubah lapisan lilitan pertama dan memperhalusi keseluruhan unet, ini memerlukan pengubahsuaian berat asal unet dalam data latihan membawa kepada penurunan prestasi model.

Oleh itu, untuk menggunakan sepenuhnya keupayaan generasi MiracleVision yang sedia ada, pasukan tidak memperhalusi model unet MiracleVision secara langsung dalam model lukis semula separa, tetapi menggunakan kaedah controlnet untuk menambah cawangan input topeng kawalan.

Pada masa yang sama, untuk menjimatkan kos latihan dan mempercepatkan inferens, modul controlnet termampat digunakan untuk latihan untuk mengurangkan jumlah pengiraan sebanyak mungkin. Semasa proses latihan, parameter model unet akan ditetapkan, dan hanya modul controlnet akan dikemas kini, akhirnya membolehkan keseluruhan model memperoleh keupayaan untuk mengecat.

Meitu AI melukis semula sebahagian rajah seni bina model

tugas cat luar ialah operasi terbalik tugas tanaman. Tugas pemangkasan adalah untuk memangkas imej asal di sepanjang sempadan imej, mengekalkan hanya bahagian yang diperlukan, yang merupakan operasi penolakan kandungan imej manakala tugas outpiant adalah untuk mengembangkan ke luar sepanjang sempadan imej, menggunakan keupayaan penjanaan model; untuk mencipta daripada udara nipis Mengekstrak kandungan yang asalnya tidak wujud adalah operasi penambahan kandungan imej.

Pada asasnya, tugas mengecat luar juga boleh dianggap sebagai tugas mengecat khas, kecuali kawasan topeng terletak di pinggir imej.

MiracleVision AI kesan pengembangan imej

Oleh kerana kawasan topeng dalam tugas cat luar hanya boleh mendapatkan maklumat panduan dari dalam imej, arah lain adalah sempadan imej, jadi kandungan yang dihasilkan adalah lebih unik Randomness akan lebih mencapah. Untuk mengisi kawasan kosong di pinggir imej dan memastikan ketepatan pengembangan gambar, pasukan bergantung pada algoritma pengecaman pemandangan untuk membuat kesimpulan gaya imej dan kandungan, dan menggunakan sepenuhnya korelasi kandungan imej untuk salin piksel dalam imej asal dengan mencerminkan pada tepi yang diperluaskan dan pasangkan hingar rawak untuk menyediakan awalan yang sesuai untuk model, dengan itu memastikan rasional kandungan yang dihasilkan dan menjadikan peralihan sempadan lebih lancar. 🎜🎜🎜Kawal penjanaan dan penyingkiran objek secara bebas melalui pelbagai strategi latihan🎜🎜

Model resapan umum lebih baik untuk menggantikan daripada menghapuskan semasa melaksanakan tugasan dalam cat Apabila sasaran tertentu perlu dihapuskan, model boleh dengan mudah melukis beberapa sasaran latar depan baharu di kawasan topeng yang asalnya tidak wujud, terutamanya apabila kawasan ​. ​kawasan topeng adalah besar Fenomena ini amat jelas apabila sasarannya agak besar, walaupun sasaran ini tidak muncul dalam gesaan. Alasannya adalah terutamanya dari tiga aspek berikut:

1 Gesaan set latihan secara amnya hanya menerangkan apa yang ada dalam imej, tetapi bukan apa yang tidak ada dalam imej berdasarkan gesaan adalah mudah, tetapi tidak membenarkannya menjana sasaran adalah sukar. Walaupun dengan strategi Bimbingan Tanpa Pengelas, penjanaan sasaran ini boleh dihalang dengan menambahkan objek yang tidak diingini pada perkataan negatif, tetapi tidak mungkin untuk menulis semua sasaran yang mungkin menjadi perkataan negatif, jadi model masih akan cenderung untuk Menjana beberapa sasaran yang tidak dijangka. ;

2 Daripada pengedaran data latihan, memandangkan kebanyakan imej dalam set latihan imej berskala besar terdiri daripada latar depan dan latar belakang, perkadaran imej latar belakang tulen Ini bermakna model penyebaran mempunyai mempelajari peraturan yang berpotensi semasa latihan, iaitu, terdapat kebarangkalian tinggi untuk latar depan sasaran tertentu dalam imej (walaupun ia tidak disebut dalam gesaan), yang juga menyebabkan model gagal semasa melaksanakan tugas cat lebih cenderung untuk menjana sesuatu di kawasan topeng, supaya imej keluaran lebih dekat dengan pengedaran semasa latihan

3 Bentuk kawasan topeng kadang-kadang juga mengandungi maklumat semantik tertentu, seperti apabila tidak ada yang lain bimbingan Dalam keadaan ini, model akan lebih cenderung untuk mengisi kucing baru di kawasan topeng dengan bentuk kucing, menyebabkan tugas penyingkiran gagal.

Untuk menjadikan MiracleVision mampu menghasilkan sasaran dan penyingkiran sasaran, pasukan menggunakan strategi latihan pelbagai tugas:

1 Dalam fasa latihan, apabila kawasan topeng jatuh pada kawasan latar belakang tulen dengan tekstur yang kurang , tambah kata kunci gesaan khusus sebagai perkataan panduan pencetus, dan dalam peringkat inferens model, tambahkan kata kunci ini sebagai perkataan panduan ke hadapan pada pembenaman gesaan, menggesa model menjana lebih banyak kawasan latar belakang.

2 Memandangkan imej latar belakang tulen menyumbang bahagian yang agak kecil dalam keseluruhan set latihan, untuk meningkatkan sumbangannya kepada latihan, dalam setiap kumpulan latihan, bahagian tertentu imej latar belakang diambil secara manual dan ditambah pada latihan, jadi bahawa imej latar belakang dimasukkan ke dalam sampel latihan Perkadaran keseluruhan kekal stabil.

3 Untuk mengurangkan pergantungan semantik model pada bentuk topeng, pelbagai topeng bentuk yang berbeza akan dijana secara rawak semasa fasa latihan untuk meningkatkan kepelbagaian bentuk topeng.

Penjanaan tekstur berketepatan tinggi, gabungan lebih semula jadi

Memandangkan data tekstur definisi tinggi dalam set latihan hanya menyumbang sebahagian kecil daripada jumlah data latihan, apabila melaksanakan tugas cat, hasil yang sangat kaya dengan tekstur adalah biasanya tidak dijana, menghasilkan adegan asal Dalam adegan dengan tekstur imej yang kaya, mudah untuk mempunyai gabungan luar tabii dan rasa sempadan.

Untuk menyelesaikan masalah ini, pasukan menggunakan model perincian tekstur yang dibangunkan sendiri sebagai model panduan untuk membantu MiracleVision dalam meningkatkan kualiti penjanaan, menyekat pemasangan berlebihan, dan membuat hubungan antara kawasan yang dijana dan kawasan lain dalam imej asal lebih sesuai.

Imej asal vs.s tanpa butiran tekstur tambahan v.sMiracleVision kesan imej yang diperbesarkan

Kesan yang lebih pantas, lebih baik, interaksi yang lebih cekap!

Penyelesaian model resapan biasanya memerlukan proses resapan terbalik berbilang langkah semasa inferens, mengakibatkan pemprosesan imej tunggal mengambil masa terlalu lama. Untuk mengoptimumkan pengalaman pengguna sambil mengekalkan kualiti penjanaan, pasukan Institut Penyelidikan Pengimejan Meitu (MT Lab) mencipta penyelesaian penalaan khas untuk teknologi lukisan semula separa AI, akhirnya mencapai keseimbangan terbaik antara prestasi dan kesan.

Pertama sekali, sebilangan besar pengiraan matriks dalam proses pra dan pasca pemprosesan dan inferens MiracleVision dipindahkan ke GPU untuk pengkomputeran selari sebanyak mungkin, sekali gus mempercepatkan pengiraan dan mengurangkan beban pada CPU. Pada masa yang sama, semasa proses memasang gambar, kami menggabungkan lapisan sebanyak mungkin, menggunakan FlashAttention untuk mengurangkan penggunaan memori video, meningkatkan prestasi inferens dan menala pelaksanaan Kernel untuk memaksimumkan penggunaan kuasa pengkomputeran GPU untuk grafik NVIDIA yang berbeza. kad.

Selain itu, bergantung pada kaedah pengiraan parameter model yang dibangunkan sendiri, MiracleVision dikuantasikan kepada 8bit tanpa kehilangan ketepatan yang jelas. Memandangkan kad grafik GPU yang berbeza mempunyai sokongan yang berbeza untuk pengkuantitian 8-bit, kami secara inovatif menggunakan strategi ketepatan campuran untuk menyesuaikan secara adaptif pengendali optimum di bawah persekitaran sumber pelayan yang berbeza untuk mencapai penyelesaian optimum bagi pecutan keseluruhan.

Untuk imej input pengguna dengan peleraian yang lebih tinggi, sukar untuk melakukan inferens secara langsung pada resolusi asal kerana pengehadan sumber pelayan dan kos masa. Dalam hal ini, pasukan mula-mula memampatkan resolusi imej kepada saiz yang sesuai, kemudian melakukan inferens berdasarkan MiracleVision, dan kemudian menggunakan algoritma resolusi super untuk memulihkan imej kepada resolusi asal, dan kemudian melakukan gabungan imej dengan imej asal, dengan itu mengekalkan kedua-duanya Ia menjana imej yang jelas dan menjimatkan penggunaan memori dan masa pelaksanaan semasa proses inferens.

Meitu mempunyai kerjasama yang mendalam dengan Samsung untuk mencipta pengalaman penyuntingan imej mudah alih baharu menggunakan AI

Pada 25 Januari, Samsung Electronics mengadakan persidangan pelancaran produk baharu untuk siri Galaxy S24 di China. Meitu telah memperdalam kerjasama dengan Samsung untuk mencipta pengalaman penyuntingan imej AI baharu untuk album telefon mudah alih siri Galaxy S24 baharu Samsung. Penyuntingan generatif yang dibangunkan secara bebas oleh Meitu Imaging Research Institute (MT Lab) - pengembangan imej AI dan fungsi pengubahsuaian imej AI juga. Ia telah dilancarkan secara rasmi untuk membantu membuka ruang baharu untuk penyuntingan dan penciptaan imej mudah alih.

Dengan fungsi penyuntingan imej AI, pengguna boleh dengan mudah mengalih, memadam atau mengubah saiz imej dengan hanya menekan lama imej yang ingin diedit. Di samping itu, apabila garis mendatar gambar tidak menegak, fungsi pengembangan imej AI boleh mengisi kawasan foto yang hilang dengan bijak dan membetulkan komposisi gambar selepas pengguna melaraskan sudut.

Berdasarkan fungsi AI yang dibawa oleh MiracleVision, Meitu bukan sahaja membantu pengguna mencapai kesan pengeditan peringkat profesional dengan mudah pada telefon mudah alih dan mencipta karya foto yang lebih diperibadikan, tetapi juga akan terus mempromosikan dan meningkatkan AI dalam keseluruhan industri telefon mudah alih Keupayaan pemprosesan imej.

Bergantung pada keupayaan teknikal yang berkuasa Institut Penyelidikan Pengimejan Meitu (MT Lab), MiracleVision telah diulang kepada versi 4.0 dalam masa kurang daripada setengah tahun. Pada masa hadapan, Meitu akan terus berusaha untuk meningkatkan pengalaman pengguna dalam e-dagang, pengiklanan, permainan dan industri lain, dan membantu pengamal dalam senario yang berbeza meningkatkan kecekapan aliran kerja mereka.

Atas ialah kandungan terperinci Teknologi lukisan semula separa Meitu AI didedahkan! Ubahnya mengikut kehendak anda! Lukisan semula separa gambar yang cantik membolehkan anda melakukan apa sahaja yang anda mahu. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!