Bolehkah foto bergerak melalui masa? "Face travelling through time" model baharu bertukar menjadi mesin masa AI

Pada masa ini, kecerdasan buatan dan teknologi pembelajaran mendalam menjadi asas penting untuk penjanaan imej teks, resolusi super dan aplikasi lain.

Kini seseorang boleh memasukkan penerangan terperinci tinggi bagi imej untuk mendapatkan imej realistik yang sepadan dengan teks yang diberikan.

Anda juga boleh menukar imej daripada peleraian rendah kepada peleraian tinggi untuk menjana satu siri butiran jelas untuk gambar itu.

Rangkaian saraf nampaknya mempunyai keupayaan yang tidak berkesudahan. Jadi, adakah kaedah ini boleh digunakan untuk perjalanan masa?

Sebagai contoh, pernahkah anda terfikir bagaimana rupa foto diri anda jika ia diambil lima puluh atau seratus tahun yang lalu? Apakah yang akan menjadi pelakon atau pelakon kegemaran anda jika mereka dilahirkan dalam era yang sama sekali berbeza daripada mereka?

Langkah pertama perjalanan masa: menyelesaikan masalah set data

Memandangkan kejayaan StyleGAN baru-baru ini dalam peringkat tinggi sintesis dan penyuntingan muka yang berkualiti Berjaya, banyak karya telah memfokuskan pada penggunaan model StyleGAN terlatih untuk penyuntingan potret.

Walau bagaimanapun, teknik sedia ada biasanya berurusan dengan sifat semantik yang jelas. Contohnya, tambah atau alih keluar senyuman atau tukar umur seseorang dalam gambar.

Logik di sebalik karya ini adalah untuk mengekalkan sifat-sifat yang membentuk identiti seseorang, dan pada masa yang sama, gunakan gerabak kecerdasan buatan ini untuk menghantarnya kembali ke masa lalu atau Pergi ke masa hadapan.

Dalam kes ini, masalah utama yang dihadapi oleh orang ramai ialah kekurangan set data yang sesuai. Seperti yang kita sedia maklum, walaupun dengan model rangkaian neural yang sempurna, set data masih menjadi mimpi ngeri bagi setiap penyelidik kecerdasan buatan.

Data yang tidak seimbang, tidak mencukupi atau tidak tersedia ialah masalah biasa dalam bidang pembelajaran mendalam, yang boleh membawa kepada berat sebelah data atau hasil yang tidak tepat.

Untuk mengatasi masalah ini, pasukan penyelidik yang diketuai oleh Eric Ming Chen (ke-2 dari kiri), seorang saintis China dari Universiti Cornell, mencipta set data FTT (Face Through Time).

Chen bersama-sama menerbitkan penerbitan dengan saintis China Jin Sun dari Universiti Georgia dan lain-lain, menerangkan secara terperinci prinsip kerja set data "Face Through Time".

Imej dalam set data ini adalah daripada Wikimedia Commons. Platform ini menampilkan lima puluh juta imej yang disumberkan ramai dan berlesen terbuka. FTT menganalisis 26,247 potret dari abad ke-19 hingga ke-21, dengan purata kira-kira 1,900 imej setiap dekad.

Hierarki ibu bapa-anak GAN, diubah menjadi "mesin masa" AI

Bagaimanakah perubahan ini dicapai?

Pasukan penyelidik bergantung pada hierarki ibu bapa-anak StyleGAN (Generative Adversarial Network). Apa yang istimewa ialah mereka tidak memilih untuk melatih satu model yang meliputi semua dekad, sebaliknya menambah submodel untuk setiap dekad set imej, melatih set model untuk mensintesis pengedaran data setiap tempoh dengan lebih baik.

Pada masa yang sama, untuk mengekalkan identiti dan postur orang yang diterangkan, pasukan penyelidik menggunakan model induk untuk memetakan maklumat ini ke dalam vektor ruang terpendam.

Pertama, latih set model StyleGAN, satu untuk setiap generasi, menggunakan kehilangan musuh dan kehilangan identiti untuk melatih peta muka campuran. Peta muka ini adalah keluaran model kanak-kanak dan telah diubah suai supaya peta campuran mempunyai warna yang serupa dengan model induk.

Pasukan penyelidik mengingatkan bahawa semasa proses ini, adalah perlu untuk mengelakkan ralat yang disebabkan oleh pengiraan ciri dalam ArcFace, model pengecaman wajah yang popular ketidakkonsistenan kehilangan identiti. Oleh kerana model ArcFace hanya dilatih pada imej moden, para penyelidik mendapati bahawa ia berprestasi buruk pada imej sejarah.

Selepas itu, setiap imej sebenar ditayangkan pada vektor w pada manifold dekad (1960 dalam imej di bawah). Pada vektor ini, penjana G′t dilatih untuk memindahkan butiran halus kepada semua sub-model. Akhir sekali, topeng digunakan pada imej input untuk menggalakkan model mengekalkan butiran muka potret.

Selepas memperhalusi semua submodel, pasukan penyelidik mendapati bahawa submodel FTT era berbeza (oren dalam gambar di bawah) berjaya menangkap perubahan dalam gaya rambut dan solek. Ciri potret setiap imej ke dalam model induk (biru di bawah).

Rangka kerja imej sintetik baharu ini mempunyai dua sorotan utama: pertama, ia menjadikan hasrat potret mengembara melalui masa menjadi kenyataan kedua, apabila mengubah wajah melalui masa, Teknologi juga mengekalkan kebanyakan butiran dalam potret.

Walaupun ia masih mempunyai berat sebelah kecil dalam set data (cth., beberapa wanita berambut pendek muncul dalam imej dari awal abad ke-20), yang membawa kepada ketidakkonsistenan dalam imej keluaran, model ini berprestasi lebih baik daripada kerja sebelumnya Penambahbaikan hebat dalam keaslian.

"The Face Traveling Through Time" memulakan langkah pertama perjalanan masa. Tahap ketepatan yang begitu tinggi membuatkan orang tertanya-tanya: Kali ini potret yang melangkaui masa, tetapi bagaimana dengan kali seterusnya?

Rujukan:

https://www.marktechpost.com/2022/11/09/latest-artificial-intelligence-ai-research-proposes-a-method-to-transform - faces-through-time/

https://facesthroughtime.github.io/

Atas ialah kandungan terperinci Bolehkah foto bergerak melalui masa? "Face travelling through time" model baharu bertukar menjadi mesin masa AI. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!