Mengkaji lebih daripada 60 kajian Transformer, satu artikel meringkaskan kemajuan terkini dalam bidang penderiaan jauh

Teknologi pengimejan penderiaan jauh telah mencapai kemajuan yang ketara dalam beberapa dekad yang lalu. Penambahbaikan berterusan penderia bawaan udara moden dalam ruang, spektrum dan resolusi kini boleh meliputi sebahagian besar permukaan bumi Oleh itu, teknologi penderiaan jauh mempunyai banyak aplikasi dalam ekologi, sains alam sekitar, sains tanah, pencemaran air, glasiologi, pengukuran dan analisis tanah, dll. Bidang penyelidikan memainkan peranan yang penting. Oleh kerana data penderiaan jauh selalunya berbilang modal, terletak di ruang geografi (geolokasi), selalunya pada skala global, dan saiz data sentiasa berkembang, ciri-ciri ini membawa cabaran unik kepada analisis automatik pengimejan penderiaan jauh.

Dalam banyak bidang penglihatan komputer, seperti pengecaman objek, pengesanan dan pembahagian, pembelajaran mendalam, terutamanya rangkaian neural konvolusi (CNN), telah menjadi arus perdana. Rangkaian saraf konvolusi biasanya mengambil imej RGB sebagai input dan melakukan satu siri konvolusi, normalisasi setempat dan operasi pengumpulan. CNN biasanya bergantung pada sejumlah besar data latihan dan kemudian menggunakan model pra-latihan yang terhasil sebagai pengekstrak ciri universal untuk pelbagai aplikasi hiliran. Kejayaan teknologi penglihatan komputer berdasarkan pembelajaran mendalam juga telah memberi inspirasi kepada komuniti penderiaan jauh dan telah mencapai kemajuan yang ketara dalam banyak tugas penderiaan jauh, seperti pengelasan imej hiperspektral dan pengesanan perubahan.

Salah satu asas utama CNN ialah operasi lilitan, yang menangkap interaksi setempat antara elemen dalam imej input, seperti maklumat kontur dan tepi. CNN mengekod bias seperti ketersambungan spatial dan kesetaraan translasi, ciri yang membantu membina seni bina yang serba boleh dan cekap. Medan penerimaan tempatan dalam CNN mengehadkan pemodelan kebergantungan jarak jauh dalam imej (seperti perhubungan antara bahagian yang jauh). Konvolusi adalah bebas kandungan kerana berat penapis konvolusi adalah tetap, menggunakan berat yang sama untuk semua input tanpa mengira sifatnya. Transformer visual (ViT) telah menunjukkan prestasi yang mengagumkan dalam pelbagai tugas dalam penglihatan komputer. Berdasarkan mekanisme perhatian kendiri, ViT secara berkesan menangkap interaksi global dengan mempelajari hubungan antara unsur jujukan. Kajian terbaru menunjukkan bahawa ViT mempunyai keupayaan pemodelan interaksi jarak jauh yang bergantung kepada kandungan dan boleh melaraskan medan penerimaannya secara fleksibel untuk memerangi gangguan dalam data dan mempelajari perwakilan ciri yang berkesan. Akibatnya, ViT dan variannya telah berjaya digunakan dalam banyak tugas penglihatan komputer, termasuk pengelasan, pengesanan dan pembahagian.

Dengan kejayaan ViT dalam bidang penglihatan komputer, bilangan tugasan menggunakan rangka kerja transformer berdasarkan analisis penderiaan jauh telah meningkat dengan ketara (lihat Rajah 1), seperti ultra- klasifikasi imej resolusi tinggi, pengesanan perubahan, Transformer digunakan untuk mengasah warna penuh, pengesanan bangunan dan sari kata imej. Ini membuka era baharu analisis penderiaan jauh, dengan penyelidik menggunakan pelbagai kaedah seperti memanfaatkan pra-latihan ImageNet atau menggunakan pengubah visual untuk melaksanakan pra-latihan penderiaan jauh.

Begitu juga, terdapat kaedah dalam literatur berkaitan berdasarkan reka bentuk transformer tulen atau menggunakan kaedah hibrid berdasarkan transformer dan CNN. Disebabkan oleh kemunculan pesat kaedah berasaskan pengubah untuk masalah penderiaan jauh yang berbeza, ia menjadi semakin mencabar untuk mengikuti kemajuan terkini.

Dalam artikel tersebut, penulis mengkaji kemajuan yang dicapai dalam bidang analisis penderiaan jauh dan memperkenalkan kaedah berasaskan transformer yang popular dalam bidang penderiaan jauh Sumbangan utama artikel adalah seperti berikut:

Tinjauan keseluruhan aplikasi model berasaskan transformer dalam pengimejan penderiaan jauh, dan penulis adalah yang pertama menyiasat penggunaan transformer dalam analisis penderiaan jauh, merapatkan penglihatan komputer dan penderiaan jauh dalam bidang yang pesat membangun dan popular ini jurang antara kemajuan terkini dalam bidang tersebut.

• Berikan gambaran keseluruhan CNN dan Transformer dan bincangkan kelebihan dan kekurangan masing-masing.
• Semak lebih daripada 60 kerja penyelidikan berasaskan transformer dalam literatur dan bincangkan kemajuan terkini dalam bidang penderiaan jauh.
• Bincangkan pelbagai cabaran dan hala tuju penyelidikan transformer dalam analisis penderiaan jauh.

Selebihnya artikel disusun: Bahagian 2 membincangkan penyelidikan lain yang berkaitan tentang pengimejan penderiaan jauh Bahagian 3 menyediakan gambaran keseluruhan mod pengimejan yang berbeza dalam penderiaan jauh gambaran ringkas mengenai CNN dan transformer visual; arah tuju.

Sila rujuk kertas asal untuk butiran lanjut.

• Pautan kertas: https://arxiv.org/pdf/2209.01206.pdf
• Alamat GitHub: https://github.com/VIROBO-15/Transformer-in-Remote-Sensing

Atas ialah kandungan terperinci Mengkaji lebih daripada 60 kajian Transformer, satu artikel meringkaskan kemajuan terkini dalam bidang penderiaan jauh. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!